Textbooks Are All You Need — 고품질 교재 데이터로 작은 코드 LLM 성능 끌어올리기

Microsoft Research의 'Textbooks Are All You Need'는 소형 코드 전용 LLM인 phi-1(1.3B 파라미터)을 중심으로, 대규모 모델·데이터 스케일 대신 '교재 품질(textbook-quality)'의 선별된 데이터와 소규모 합성 연습 데이터로도 우수한 코드 생성 성능을 달성할 수 있음을 실험으로 보여준다. 주요 결과(논문 초록과 본문 요약에 근거): phi-1은 1.3B 파라미터 모델로 HumanEval에서 50.6% pass@1, MBPP에서 55.5%를 보고하며, 사전학습용으로 약 6B 토큰(웹 필터링)과 1B 토큰 미만(합성 교재), 미세조정에 약 180M 토큰을 사용했다는 점이 핵심이다.






