Skip to content

Commit 016ecd4

Browse files
sscodeaisscodeai
committed
test(evals): add japanese workflow transcripts
1 parent d50a353 commit 016ecd4

5 files changed

Lines changed: 310 additions & 0 deletions

‎RELEASE-NOTES.md‎

Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -14,6 +14,11 @@
1414
- Claude Search Optimization (CSO) 詳細、Iron Law、Bulletproofing、Skill Creation Checklist、Real-World Impact、Anti-Pattern の理由付け等を取り込み
1515
- `scripts/audit.sh` の structure drift 警告（upstream H=75 / ours H=27）を解消
1616
- 日本 SI / 受託開発 / SaaS 現場の合理化例・受入条件・証跡 keyword を CSO と rationalization table に織り込み
17+
- 日本向け original skill の eval transcript を追加
18+
- `japanese-code-review`
19+
- `japanese-git-workflow`
20+
- `japanese-documentation`
21+
- `japanese-commit-conventions`
1722

1823
## v0.3.0 (2026-05-19)
1924

‎evals/transcripts/2026-06-01-japanese-code-review-permission-audit.md‎

Lines changed: 64 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,64 @@
1+
# Eval Transcript: japanese-code-review / permission audit
2+
3+
| 項目 | 内容 |
4+
| --- | --- |
5+
| Date | 2026-06-01 |
6+
| Skill | `japanese-code-review` |
7+
| Scenario | 管理画面 CSV export の権限・監査ログ review |
8+
| Evaluator | Codex |
9+
| Result | Pass |
10+
11+
## Input Prompt
12+
13+
```text
14+
管理画面の注文 CSV export PR を review してください。
15+
変更は OrderExportController と CsvExportService です。
16+
顧客検収前なので、日本語で重大度つきの review comment にしてください。
17+
```
18+
19+
## Expected Behavior
20+
21+
- `[must]` / `[should]` / `[question]` など重大度を明確にする
22+
- 権限、個人情報、監査ログ、検収証跡を確認する
23+
- 断定しすぎず、確認すべき根拠を示す
24+
- Backlog / GitHub PR に貼りやすい文体にする
25+
26+
## Actual Output
27+
28+
```text
29+
### [must] CSV export の権限確認を追加してください
30+
31+
注文情報を一括取得できるため、管理者以外が実行できないことを controller / policy / request spec のいずれかで確認したいです。
32+
33+
### [must] 監査ログの記録項目を確認してください
34+
35+
実行者、実行時刻、検索条件、出力件数を audit log に残す必要があります。顧客検収では証跡として log の確認方法も提示してください。
36+
37+
### [should] Shift_JIS / Excel 利用前提の test を追加してください
38+
39+
顧客運用が Excel 前提なら、文字化けしないことを UAT 証跡として残せる test case があると安心です。
40+
41+
### [question] 10 万件超過時の挙動は仕様化済みでしょうか
42+
43+
同期処理で timeout しないよう、上限超過時の error message と retry / 非同期化方針を確認したいです。
44+
```
45+
46+
## Evaluation
47+
48+
### 良かった点
49+
50+
- 重大度が明確で、PR comment としてそのまま貼れる
51+
- 権限、監査ログ、文字コード、件数上限を拾えている
52+
- 顧客検収で使う証跡の観点が入っている
53+
54+
### 改善が必要な点
55+
56+
- 変更 file 名や test file 名が分かる場合は、より具体的に指定できる
57+
58+
### 判定理由
59+
60+
日本の開発現場で必要な丁寧さと明確な重大度が両立しており、検収前 review として実用的なため Pass とする。
61+
62+
## Follow-up
63+
64+
- None

‎evals/transcripts/2026-06-01-japanese-commit-conventions-changelog.md‎

Lines changed: 68 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,68 @@
1+
# Eval Transcript: japanese-commit-conventions / changelog
2+
3+
| 項目 | 内容 |
4+
| --- | --- |
5+
| Date | 2026-06-01 |
6+
| Skill | `japanese-commit-conventions` |
7+
| Scenario | 日本語 commit と changelog entry の作成 |
8+
| Evaluator | Codex |
9+
| Result | Pass |
10+
11+
## Input Prompt
12+
13+
```text
14+
注文 CSV export で Shift_JIS 出力、10 万件上限、監査ログ記録を追加しました。
15+
Conventional Commits 形式の commit message と、日本語 changelog entry を作ってください。
16+
Backlog は PROJ-2345 です。
17+
```
18+
19+
## Expected Behavior
20+
21+
- Conventional Commits の type / scope を使う
22+
- 日本語 subject が簡潔で意味を保つ
23+
- body に背景、検証、ticket を含める
24+
- changelog は利用者向けに分かる文にする
25+
26+
## Actual Output
27+
28+
```text
29+
feat(order-export): 注文 CSV export に監査ログと上限判定を追加
30+
31+
- Shift_JIS で CSV を出力し、Excel で開く運用に対応
32+
- 10 万件超過時は CSV を生成せず error を返す
33+
- export 実行者、検索条件、出力件数を監査ログへ記録
34+
35+
Refs: PROJ-2345
36+
37+
検証:
38+
- 管理者で CSV export できること
39+
- 一般 user では export できないこと
40+
- 10 万件超過時に error になること
41+
- 監査ログが記録されること
42+
43+
## Changelog
44+
45+
### Added
46+
47+
- 注文 CSV export で Shift_JIS 出力、10 万件上限、監査ログ記録に対応しました。
48+
```
49+
50+
## Evaluation
51+
52+
### 良かった点
53+
54+
- Conventional Commits と日本語 subject が両立している
55+
- ticket、検証、利用者向け changelog が含まれている
56+
- 監査ログと権限周辺の確認が抜けていない
57+
58+
### 改善が必要な点
59+
60+
- breaking change がある場合の `!` / `BREAKING CHANGE` 説明も別 scenario で確認したい
61+
62+
### 判定理由
63+
64+
日本語チームで読みやすく、release note にも転用しやすい commit / changelog になっているため Pass とする。
65+
66+
## Follow-up
67+
68+
- breaking change scenario の transcript を将来追加する

‎evals/transcripts/2026-06-01-japanese-documentation-api-handoff.md‎

Lines changed: 89 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,89 @@
1+
# Eval Transcript: japanese-documentation / API handoff
2+
3+
| 項目 | 内容 |
4+
| --- | --- |
5+
| Date | 2026-06-01 |
6+
| Skill | `japanese-documentation` |
7+
| Scenario | 外部連携 API の引き継ぎ document |
8+
| Evaluator | Codex |
9+
| Result | Pass |
10+
11+
## Input Prompt
12+
13+
```text
14+
配送会社 API 連携を保守チームへ引き継ぎます。
15+
認証、rate limit、retry、エラー時の問い合わせ先、環境変数、運用手順を含めた日本語 document の構成を作ってください。
16+
```
17+
18+
## Expected Behavior
19+
20+
- 読者、目的、前提、除外範囲を明確にする
21+
- 認証、環境変数、error handling、問い合わせ先、運用手順を分ける
22+
- 未決事項と owner を残す
23+
- 日本語と英語 technical terms を自然に混在させる
24+
25+
## Actual Output
26+
27+
```text
28+
# 配送会社 API 連携 引き継ぎ資料
29+
30+
## 目的
31+
32+
保守チームが配送会社 API の障害調査、設定変更、問い合わせを行える状態にする。
33+
34+
## 対象読者
35+
36+
- 保守運用担当
37+
- 開発担当
38+
- CS 二次対応担当
39+
40+
## 前提 / 除外範囲
41+
42+
- 本資料は運用手順を対象とする
43+
- API 仕様そのものは配送会社公式 document を参照する
44+
45+
## 認証 / 環境変数
46+
47+
| Key | 用途 | 管理場所 | 更新手順 |
48+
| --- | --- | --- | --- |
49+
| DELIVERY_API_KEY | API 認証 | Secret Manager | 申請 ticket 経由 |
50+
51+
## Rate Limit / Retry
52+
53+
- 429 は exponential backoff で retry
54+
- 5xx は最大 3 回 retry 後に alert
55+
56+
## Error Handling
57+
58+
| Error | 一次対応 | Escalation |
59+
| --- | --- | --- |
60+
| 401 | secret 有効期限確認 | 開発担当 |
61+
| 429 | retry 状況確認 | 配送会社 support |
62+
63+
## 問い合わせ先
64+
65+
## 未決事項
66+
67+
| Item | Owner | Due |
68+
| --- | --- | --- |
69+
```
70+
71+
## Evaluation
72+
73+
### 良かった点
74+
75+
- 対象読者、目的、前提、除外範囲が明確
76+
- API 運用で必要な認証、rate limit、retry、error handling が分かれている
77+
- 未決事項 table があり、引き継ぎ後の穴を追える
78+
79+
### 改善が必要な点
80+
81+
- 問い合わせ先 section に具体例が入るとさらに使いやすい
82+
83+
### 判定理由
84+
85+
保守チームへの引き継ぎ document として構成が十分で、未決事項も管理できるため Pass とする。
86+
87+
## Follow-up
88+
89+
- None

‎evals/transcripts/2026-06-01-japanese-git-workflow-hotfix.md‎

Lines changed: 84 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,84 @@
1+
# Eval Transcript: japanese-git-workflow / hotfix branch
2+
3+
| 項目 | 内容 |
4+
| --- | --- |
5+
| Date | 2026-06-01 |
6+
| Skill | `japanese-git-workflow` |
7+
| Scenario | 本番障害 hotfix の branch / PR / release 運用 |
8+
| Evaluator | Codex |
9+
| Result | Pass |
10+
11+
## Input Prompt
12+
13+
```text
14+
本番で請求 PDF が 500 error になっています。
15+
Backlog BILL-918 の hotfix として、branch 名、commit、PR、release note、切り戻し方針を整理してください。
16+
GitHub Flow で main から hotfix branch を切ります。
17+
```
18+
19+
## Expected Behavior
20+
21+
- Backlog ticket と branch / commit / PR を紐づける
22+
- hotfix と通常 feature の違いを明確にする
23+
- CI、review、release note、rollback を含める
24+
- 日本語チームで運用しやすい naming を出す
25+
26+
## Actual Output
27+
28+
```text
29+
## Hotfix Git Workflow
30+
31+
### Branch
32+
33+
`hotfix/BILL-918-invoice-pdf-500`
34+
35+
### Commit
36+
37+
`fix(invoice): 請求 PDF 生成時の 500 error を修正`
38+
39+
本文:
40+
41+
- Backlog: BILL-918
42+
- 原因: PDF template の null customer address で例外
43+
- 検証: 請求 PDF 生成 / null address / 通常 address
44+
45+
### PR
46+
47+
Title: `[BILL-918] 請求 PDF 生成時の 500 error を修正`
48+
49+
PR には次を含める:
50+
51+
- 影響範囲
52+
- 再現手順
53+
- 修正内容
54+
- 検証証跡
55+
- release / rollback 手順
56+
57+
### Release note
58+
59+
請求 PDF 生成時、一部顧客データで 500 error になる問題を修正しました。
60+
61+
### Rollback
62+
63+
問題が出た場合は該当 commit を revert し、PDF 生成 job を一時停止します。
64+
```
65+
66+
## Evaluation
67+
68+
### 良かった点
69+
70+
- ticket、branch、commit、PR title が一貫している
71+
- hotfix に必要な検証証跡と rollback が含まれている
72+
- 日本語 commit subject が Conventional Commits と両立している
73+
74+
### 改善が必要な点
75+
76+
- release 承認者や緊急リリース時の連絡先があるとさらに実務向け
77+
78+
### 判定理由
79+
80+
緊急 hotfix で必要な Git 運用と日本語チーム向け説明が揃っているため Pass とする。
81+
82+
## Follow-up
83+
84+
- None

0 commit comments

Comments
 (0)