QA 검수 워크벤치 사용 가이드

검수자가 git clone으로 받아서 바로 사용할 때 필요한 절차입니다.

1) 코드 받기

git clone https://github.com/hanoong7/Human_Eval_Test.git
cd Human_Eval_Test

2) 실행

python3 reviewer_server.py --sample-folder {할당 받은 샘플명.}

예시
python3 reviewer_server.py --sample-folder sample_001

브라우저에서 아래 주소를 엽니다.

• http://127.0.0.1:8765

포트가 이미 사용 중이면 다른 포트로 실행하세요.

python3 reviewer_server.py --port 8766

3) 검수 방법

1. 파일 선택에서 검수할 파일을 고릅니다.
2. Question, Answer, Final Report, Original Table (CSV)를 확인합니다.
3. 검수 입력에 지표별 점수와 비고를 입력합니다.
4. 저장 또는 저장 후 다음 문항으로 진행합니다.
5. 필요하면 미검수 파일만 보기를 켜서 남은 항목만 확인합니다.

4) 점수 원칙

• Completeness & Adherence: 1~5점
• Fluency: 1~3점
• Reasoning Relevance: 1~4점
• Insightfulness: 1~5점
• ATA: Original Answer는 검수 대상 제외

5) 결과 제출

작업 중 입력값은 브라우저에 임시 저장됩니다. 제출용 파일은 반드시 내보내기로 생성하세요.

• JSON 내보내기
• CSV 내보내기

6) 주의사항

• 브라우저/프로필이 바뀌면 기존 임시 저장 내용이 보이지 않을 수 있습니다.
• 제출 전 내보내기 파일 생성 여부를 확인하세요.
• 서버 종료: 터미널에서 Ctrl+C