https://arxiv.org/abs/2210.09261
Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them (Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V. Le, Ed H. Chi, Denny Zhou, Jason Wei)
big-bench에서 llm이 아직 인간 평균을 넘지 못한 23개 과제에 대해 chain of thought prompt와 code-davinci-002를 결합하면 그 중 17개를 풀어낼 수 있다는 결과. 이 과제들이 multistep reasoning을 요구하기 때문에 chain of thought 없이는 풀기 어렵다고 하네요.
#prompt #llm #reasoning