Benchmarks

평가 방식: Direct vs Thinking

Direct: 모델이 추론 과정 없이 즉시 정답만 출력하는 방식 (max_tokens=64, thinking off). 대부분의 벤치마크 논문에서 사용하는 표준 평가 방식입니다.
Thinking: 모델이 내부 추론 과정을 거친 후 답변하는 방식. 아래 두 가지를 모두 포함합니다:

• CoT Prompting — 프롬프트로 추론을 유도 (예: "단계별로 생각해봐"). 사용자가 켜고 끌 수 있으며, GPT-4o 등 일반 모델에 적용합니다.
• Built-in Thinking — 모델 학습 단계에서 추론 능력이 내장된 방식. o1, Gemini Pro, DeepSeek-R1 등 reasoning 전용 모델이 해당하며, 일부는 끌 수 없습니다.

두 방식 모두 "추론 후 답변"이라는 점에서 평가 관점에서는 동일하게 Thinking으로 분류합니다.

CoT/Thinking의 효과 요약: 모델이 작거나 문제가 어려우면 CoT가 도움되고, 모델이 크거나 문제가 단순하면 오히려 방해됩니다.

조건	CoT 효과	이유
소형 모델 (≤14B)	↑ 효과 큼	단계별 분해 없이는 복잡한 추론 불가
대형 모델 (≥70B)	→ 미미 / ↓	이미 내부적으로 추론 가능, CoT가 노이즈
어려운 문제 (multi-hop)	↑ 효과 있음	단계별 분해가 필수적
쉬운 문제 (지식 회상)	↓ 역효과	overthinking — 맞는 답을 바꿈
임상 텍스트 (EHR)	↓ 86.3% 하락	길고 파편적 텍스트에서 CoT가 혼란 유발

관련 논문 보기

• ▲ 효과 있는 경우:
• KorMedMCQA 평가에서 CoT 적용 시 Direct 대비 최대 4.5% 성능 향상 (59개 LLM 평가) — KorMedMCQA Paper (arXiv, 2024)
• o1 reasoning 모델이 USMLE 사회적 기술 평가에서 97.5%로 1위 — Reasoning-based LLMs surpass human performance (Nature Sci Reports, 2025)
• 의료 교과서에서 추출한 CoT로 소형 모델(7B) 성능 22.3% 향상 — Small LMs learn enhanced reasoning from medical textbooks (npj Digital Medicine, 2025)
• ▼ 효과 없거나 역효과:
• 의료 MCQ에서 CoT prompting 방식에 따라 효과가 상이하며, 일부 방식은 오히려 성능 저하 — Comparative evaluation of CoT for medical QA (Computers in Biology and Medicine, 2025)
• 6개 태스크 중 3개에서 CoT 적용 시 최대 36.3% 정확도 하락 (o1-preview vs GPT-4o) — Mind Your Step (by Step): CoT can Reduce Performance (NeurIPS 2024)
• 최신 모델에서 CoT의 가치가 감소 추세: 20~80% 시간 증가 대비 정확도 개선은 미미 — The Decreasing Value of Chain of Thought in Prompting (Wharton GAIL, 2025)
• 95개 LLM × 87개 임상 태스크 평가에서 86.3%의 모델이 CoT로 성능 하락 — Why Chain of Thought Fails in Clinical Text Understanding (arXiv, 2025)