Skip to content

docs(inventory): #255 의 「한 겹 좁혀졌다」를 정정한다 — 두 박스는 fps 가 달랐다 - #493

Merged
Khyojae merged 1 commit into
mainfrom
docs/inventory-255-correction
Aug 23, 2026
Merged

Khyojae merged 1 commit into
mainfrom
docs/inventory-255-correction

Conversation

@Khyojae

@Khyojae Khyojae commented Aug 23, 2026 •

Copy link
Copy Markdown
Member

오늘 내가 이 칸에 넣은 주장을 되돌린다(#492).

무엇이 틀렸나

«R10-a 가 같은 서명을 «같은 시각·다른 박스» 에서 재현했으므로 시간 축이 빠진다»

틀렸다. 그 두 박스는 --fps 가 달랐다(6.0 ↔ 3.0). 그리고 R10-a §4-1 이 그 차이만으로 271.2 ↔ 318.4 rps(17%)가 난다는 것을 직접 쟀다.

즉 그 17% 는 «설명 안 되는 비재현» 이 아니라 이미 설명된 부하 효과다 — #255 에 대해서는 아무것도 안 말한다. AI CPU 가 양쪽 같았던 것도 «천장이 부하 수준에 안 의존한다» 로 그쪽 문서가 이미 설명하는 자리다.

왜 이런 게 나왔나

fps 를 «남은 후보 넷» 중 하나로 적어 두긴 했다. 그런데 그렇게 적어놓고 헤드라인은 「시간 축이 빠진다」로 세웠다 — 후보 하나가 효과를 통째로 설명하면 그 대조는 애초에 증거가 아니다. 두 문장이 같은 칸에서 서로를 부정하고 있었다.

그래서 지금 상태

08-17 이후 그대로다 — 같은 구성이 라운드를 건너 +17.7%(AI CPU 는 869.3%→869.0% 로 동일)이고, 시간 드리프트도 아직 못 배제했다. 설계부터 필요하다.

🤖 Generated with Claude Code

https://claude.ai/code/session_01CD8Kzie2iw3cbi6BxgfgYj

Summary by CodeRabbit

  • 문서
    • 실험 인벤토리에서 라운드 간 성능 차이의 원인 분석을 정정했습니다.
    • 17.7% 성능 차이는 FPS 설정 차이로 설명되는 부하 효과로 분류했습니다.
    • 시간 드리프트 가능성은 아직 배제되지 않았으며, 추가 검증 설계가 필요하다는 결론을 복원했습니다.

오늘 내가 이 칸에 «R10-a 가 같은 서명을 «같은 시각·다른 박스» 에서 재현했으므로 시간 축이
빠진다» 고 적었다(#492). **틀렸다.**

그 두 박스는 --fps 가 달랐다(6.0 ↔ 3.0). 그리고 R10-a §4-1 이 **그 차이만으로
271.2 ↔ 318.4 rps(17%)가 난다**는 것을 직접 쟀다. 즉 그 17% 는 «설명 안 되는 비재현» 이
아니라 **이미 설명된 부하 효과**이고, #255 에 대해서는 아무것도 안 말한다. AI CPU 가 양쪽
같았던 것도 «천장이 부하 수준에 안 의존한다» 로 그쪽 문서가 이미 설명하는 자리다.

내가 fps 를 «남은 후보 넷» 중 하나로 적어 두긴 했지만, 그렇게 적어놓고 헤드라인은
「시간 축이 빠진다」로 세웠다 — 후보 하나가 효과를 통째로 설명하면 그 대조는 애초에
증거가 아니다. 두 문장이 같은 칸에서 서로를 부정하고 있었다.

→ 이 항목의 상태는 08-17 이후 그대로다. 같은 구성이 **라운드를 건너** +17.7%(AI CPU 동일)이고
**시간 드리프트도 아직 못 배제했다.** 설계부터 필요하다.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01CD8Kzie2iw3cbi6BxgfgYj
@coderabbitai

coderabbitai Bot commented Aug 23, 2026 •

Copy link
Copy Markdown

Review Change Stack

No actionable comments were generated in the recent review. 🎉

ℹ️ Recent review info
⚙️ Run configuration

Configuration used: Path: .coderabbit.yaml

Review profile: CHILL

Plan: Pro Plus

Run ID: de0a44cc-e685-4cc4-af96-11c85d027ab8

📥 Commits

Reviewing files that changed from the base of the PR and between e21edc9 and eff5c98.

📒 Files selected for processing (1)
  • docs/decisions/experiment-inventory.md

Included review availability: Your plan provides up to 1 included review per hour; 0 remain after this review.


Walkthrough

실험 인벤토리에서 라운드 간 성능 차이의 원인 판단을 정정했다. FPS 차이로 설명되는 부하 효과를 분리하고, 시간 드리프트는 아직 배제되지 않은 상태로 기록했다.

Changes

실험 인벤토리 정정

Layer / File(s) Summary
성능 차이 원인 상태 정정
docs/decisions/experiment-inventory.md
R10-a의 FPS 차이 측정 결과를 반영했다. 17% 차이를 설명된 부하 효과로 기록하고, 시간 드리프트를 배제하지 않은 상태로 되돌렸다.

Estimated code review effort: 1 (Trivial) | ~2 minutes

Merge Risk: ⚪ Minimal · up to eff5c

This is a localized documentation correction with no indicated runtime or product behavior change, so no actionable merge-blocking risk remains.

🚥 Pre-merge checks | ✅ 5
✅ Passed checks (5 passed)
Check name Status Explanation
Description Check ✅ Passed Check skipped - CodeRabbit’s high-level summary is enabled.
Title check ✅ Passed 제목은 두 테스트 박스의 fps 차이로 문서의 #255 관련 주장을 정정하는 주요 변경 사항을 정확하고 간결하게 설명합니다.
Docstring Coverage ✅ Passed No functions found in the changed files to evaluate docstring coverage. Skipping docstring coverage check. Docstring coverage is scoped to functions touched by this diff. Analyzed 0 functions across 0 files. (1 skipped: 1 unsupported.)
Linked Issues check ✅ Passed Check skipped because no linked issues were found for this pull request.
Out of Scope Changes check ✅ Passed Check skipped because no linked issues were found for this pull request.
✨ Finishing Touches
🧪 Generate unit tests (beta)
  • Create PR with unit tests
  • Commit unit tests in branch docs/inventory-255-correction

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

Comment @coderabbitai help to get the list of available commands.

@Khyojae

Khyojae commented Aug 23, 2026

Copy link
Copy Markdown
Member Author

@coderabbitai review

@coderabbitai

coderabbitai Bot commented Aug 23, 2026 •

Copy link
Copy Markdown
✅ Action performed

Review finished.

Note: CodeRabbit is an incremental review system and does not re-review already reviewed commits. This command is applicable only when automatic reviews are paused.

@Khyojae
Khyojae merged commit 76b493d into main Aug 23, 2026
2 checks passed
@Khyojae
Khyojae deleted the docs/inventory-255-correction branch August 23, 2026 12:32
Khyojae added a commit that referenced this pull request Aug 23, 2026
#255 가 「원인 가설 없음」으로 엿새 열려 있다. P6-b §5 가 후보 둘(부하기 2→4 vCPU ·
대상 박스 물리 호스트 변경)을 교락으로 남겼고, 그 기제로 «터보 클럭·이웃 소음» 을
지목했는데 **그것을 재는 방법은 안 적었다.** 이 설계의 전부가 그 자리다.

🔑 핵심은 지표를 바꾸는 것이다. 설명해야 하는 값은 처리량이 아니라 **fps / AI vCPU**
(30.78 → 36.25)다 — 「같은 CPU 로 얼마나 일했나」. 그리고 docker stats 의 CPU% 는
**시간** 측정이라 «일의 양» 이 아니다. 물리 호스트의 유효 클럭이 다르면 같은 CPU% 로 다른
양의 일을 한다 — 관측된 서명(«CPU 같은데 처리량 17% 차이»)이 정확히 그 모양이다.

그래서 **박스 보정값**을 넣는다: 단일 스레드로 고정된 추론 N프레임을 돌려 「이 박스가 초당
얼마나 일하는가」를 앱과 무관하게 잰다. rig 은 새로 안 짜도 된다 — R6 의
profile_e2e_and_scaling.py scaling 1워커 판이 정확히 그것이고 1~2분이다.

판정선 ㄴ 이 설계의 전부다 — 처리량 비 ÷ 보정 비 ≈ 1 이면 **박스 성질**이고(우리 문제가
아니다) 1 에서 벗어나면 그 나머지가 우리 몫이다. 「비재현이 있다」는 이미 알고, 물어야
하는 것은 **「그게 우리 문제인가 박스 문제인가」** 다.

축 셋을 값싼 순서로 세웠다. 🔑 **1번(보정을 모든 라운드의 從 으로 상설화)은 EC2 결정이
필요 없고 라운드당 1~2분**이며, 그것만으로 이 항목이 「원인 가설 없음」에서 「다음 비재현이
나타나면 즉시 가른다」로 바뀐다.

🔴 정직하게 — P6 1·2라운드의 보정값은 **영영 없다**(박스가 사라졌다). 이 판이 답하는 것은
「앞으로」이고, 08-16 의 그 +17.7% 자체는 사후 규명이 불가능할 수 있다. 설계가 늦게 나온
대가이고 그래서 상설화가 처방이다.

⚠️ 그리고 R10-a 의 두 박스 대조를 이 증거로 쓰면 안 된다고 §3-A 에 박았다 — fps 가
달랐고(6.0↔3.0) 그 차이만으로 17% 가 난다. 오늘 내가 그걸 증거로 읽었다가 정정했다(#493).


Claude-Session: https://claude.ai/code/session_01CD8Kzie2iw3cbi6BxgfgYj

Co-authored-by: Claude Opus 5 (1M context) <noreply@anthropic.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant