https://arxiv.org/abs/2306.09896
Demystifying GPT Self-Repair for Code Generation (Theo X. Olausson, Jeevana Priya Inala, Chenglong Wang, Jianfeng Gao, Armando Solar-Lezama)
llm으로 코드를 생성하고, 생성된 코드를 실행해본 다음 에러 메시지를 사용해 피드백을 생성하고, 이 피드백을 기반으로 코드를 고치는 파이프라인에 대한 분석. 흥미로운 포인트는 피드백 생성 모델이 GPT-3.5일 때는 이 파이프라인에 의한 개선이 보이지 않지만, GPT-4일 때는 개선이 보인다는 점이네요. 물론 GPT-4 보다도 사람이 피드백을 줄 때의 향상이 더 크긴 합니다.
#llm