https://arxiv.org/abs/2302.07867
Learning Performance-Improving Code Edits (Aman Madaan, Alexander Shypula, Uri Alon, Milad Hashemi, Parthasarathy Ranganathan, Yiming Yang, Graham Neubig, Amir Yazdanbakhsh)
코드를 작성해주는 것도 가능하지만 코드를 수정해서 최적화해주는 모델을 만들면 어떨까라는 아이디어군요. 이 용도의 데이터셋을 구성해서 파인 튜닝하거나 in-context learning을 했더니 25% 케이스에서 2.5배의 속도 향상을 보여줬다는 결과입니다.
#in_context_learning #llm