추론 노력(Reasoning effort)이 도구 접근보다 에이전트 코드 생성의 첫 시도 신뢰성에 미치는 영향 — 관찰 연구 요약

본 포스트는 Achint Mehta(2026)의 관찰 연구 "Reasoning effort, not tool access, buys first-try reliability in agentic code generation"(arXiv:2607.02436v1)을 근거로 한 기술적 요약과 실무적 해석입니다. 논문은 동일한 요구사항(spec)으로 실시간 회고 게시판(retrospective board)을 구현하도록 90개의 독립적 에이전트 실행을 관찰하고, 고정된 14개 기준(총 42점 만점)으로 기능성 점수와 시각 품질을 평가했습니다. 핵심 결과는 모델 능력 계층(capability tier)과 추론 노력(reasoning effort)이 첫 시도 성공률에 결정적 영향을 주며, 단순히 테스팅 도구를 추가하는 것은 비용만 증가시켰다는 것입니다.



