"think" 도구: 복잡한 도구 사용 상황에서 Claude가 멈추고 생각할 수 있게 하기
"think" 도구는 응답 중간에 구조화된 추론을 위한 전용 공간을 제공하여 복잡하고 다단계 작업을 관리하는 Claude의 능력을 크게 향상시키며, 정책 준수와 도구 사용 일관성에서 눈에 띄는 개선을 가져옵니다.
"think" 도구란 무엇이며 어떻게 작동하는가
"think" 도구는 최종 답변을 생성하는 동안 Claude가 자체 지정 공간을 가진 추가적인 사고 단계를 삽입할 수 있게 해줍니다. 이 기능은 응답이 시작되기 전에 깊은 계획과 반복에 초점을 맞춘 Claude의 "확장 사고" 기능과는 구별됩니다. "think" 도구는 Claude가 이미 응답 생성을 시작했지만 진행하기에 충분한 정보가 있는지 평가하기 위해 멈출 필요가 있는 상황을 위해 설계되었습니다.
"Think"와 확장 사고의 구별
- 확장 사고: 이 기능은 Claude가 어떤 행동을 취하기 전에 계획을 깊이 고려하고 반복하는 것을 포함합니다. 도구가 필요하지 않은 간단한 도구 사용, 코딩, 수학, 물리 문제에 가장 적합합니다.
- "Think" 도구: 이 도구는 Claude가 응답 생성을 시작한 후에 멈추고 생각할 수 있게 합니다. 이는 특히 긴 도구 호출 체인이나 다단계 대화 중에 모델이 다음 행동을 결정하기 위해 외부 정보(예: 도구 호출 결과)를 처리해야 할 때 유용합니다. "think" 도구가 수행하는 추론은 확장 사고보다 덜 포괄적이며, 대신 프로세스 중에 발견된 새로운 정보에 초점을 맞춥니다.
권장 사용 사례
"think" 도구는 실수 비용이 높고 순차적 의사 결정이 중요한 시나리오에 최적화되어 있습니다. 여기에는 다음이 포함됩니다:
- 상세한 지침이 있는 정책 중심 환경 탐색.
- 긴 도구 호출 체인 내에서 도구 출력을 신중하게 분석.
- 각 작업이 이전 작업을 기반으로 구축되는 순차적 결정을 내리는 경우.
반대로, "think" 도구는 비순차적 도구 호출이나 제약이 최소화된 단순한 지시 따르기에는 개선을 제공하지 않습니다.
τ-Bench 성능 분석
$\tau$-Bench(타우-벤치)를 사용한 평가는 실제 고객 서비스 시나리오를 위한 벤치마크로, Claude 3.7이 "think" 도구를 효과적으로 활용했을 때 극적인 개선을 보여주었습니다. $\tau$-Bench는 $k$개의 독립적인 작업 시도가 모두 성공할 확률을 측정하는 $\text{pass}^k$ 메트릭을 사용하여 일관성과 신뢰성을 평가합니다.
항공 도메인 결과
항공 도메인에서 최적화된 프롬프트와 함께 "think" 도구는 $\text{pass}^1$ 메트릭 점수 0.570을 달성했습니다. 이는 0.370을 기록한 기준 구성 대비 54%의 상대적 개선을 나타냅니다. 최상의 성능은 필요한 추론 접근 방식의 예를 제공하는 최적화된 프롬프트와 "think" 도구를 함께 사용했을 때 달성되었습니다.
소매 도메인 결과
소매 도메인에서 "think" 도구만으로 $\text{pass}^1$ 점수 0.812를 달성했으며, 기준선은 0.783이었습니다. 소매 정책이 항공 정책보다 덜 복잡하기 때문에 "think" 도구는 추가 프롬프트 없이도 상당한 이점을 제공했습니다.
$\tau$-Bench의 주요 통찰
상세 분석 결과 두 가지 주요 구현 패턴이 드러났습니다:
- 프롬프트 영향: 어려운 도메인(항공 도메인 등)의 경우 "think" 도구를 최적화된 프롬프트와 함께 사용하면 훨씬 더 나은 결과를 얻을 수 있습니다. 더 쉬운 도메인의 경우 단순히 "think" 도구에 접근할 수 있는 것만으로도 개선에 충분합니다.
- 일관성: "think" 도구 사용으로 얻은 개선 사항은 $k=5$까지의 $\text{pass}^k$에 대해 유지되었으며, 이는 도구가 Claude가 경계 사례와 비정상적인 시나리오를 관리하는 데 효과적으로 도움을 주었음을 나타냅니다.
τ-Bench 성능 분석
$\tau$-Bench(타우-벤치)를 사용한 평가는 실제 고객 서비스 시나리오를 위한 벤치마크로, Claude 3.7이 "think" 도구를 효과적으로 사용했을 때 극적인 개선을 보여주었습니다. $\tau$-Bench는 모든 $k$개의 독립적인 작업 시도가 성공할 확률을 측정하는 $\text{pass}^k$ 메트릭을 사용하여 일관성과 신뢰성을 평가합니다.
항공 도메인의 결과
항공 도메인에서 최적화된 프롬프트와 함께 "think" 도구는 $\text{pass}^1$ 메트릭 점수 0.570을 달성했습니다. 이는 0.370을 기록한 기준 구성 대비 54%의 상대적 개선을 나타냅니다. 최상의 성능은 필요한 추론 접근 방식의 예를 제공하는 최적화된 프롬프트와 "think" 도구를 함께 사용했을 때 달성되었습니다.
소매 도메인의 결과
소매 도메인에서 "think" 도구만으로 $\text{pass}^1$ 점수 0.812를 달성했으며, 기준선의 0.783과 비교됩니다. 소매 정책이 항공 정책보다 덜 복잡하기 때문에 "think" 도구는 추가 프롬프트 없이도 상당한 이점을 제공했습니다.
$\tau$-Bench에서의 주요 통찰
상세 분석 결과 두 가지 주요 구현 패턴이 드러났습니다:
- 프롬프트 영향: 어려운 도메인(항공 도메인 등)의 경우 "think" 도구를 최적화된 프롬프트와 함께 사용하면 극적으로 더 나은 결과를 얻을 수 있습니다. 더 쉬운 도메인의 경우, "think" 도구에 접근할 수 있는 것만으로도 개선에 충분합니다.
- 일관성: "think" 도구 사용으로 얻은 개선 사항은 $k=5$까지의 $\text{pass}^k$에 대해 유지되었으며, 이는 도구가 Claude가 가장자리 사례와 비정상적인 시나리오를 관리하는 데 효과적으로 도움을 주었음을 나타냅니다.
SWE-Bench 성능 분석
"think" 도구가 SWE-bench 설정에 통합되었을 때, Claude 3.7 Sonnet이 0.623의 최첨단 점수를 달성하는 데 기여했습니다. "think" 도구를 사용한 30개 샘플과 사용하지 않은 144개 샘플을 비교한 실험에서 이 도구를 포함한 단독 효과는 평균 1.6%의 성능 향상을 보였습니다(Welch의 $t$-검정: $t_{(38.89)} = 6.71, p < .001, d = 1.47$).
구현 모범 사례
"think" 도구의 효과를 극대화하려면 개발자는 다음 구현 사례를 따라야 합니다:
1. 도메인별 예시를 통한 전략적 프롬프팅
가장 효과적인 전략은 "think" 도구를 언제, 어떻게 사용할지에 대한 명확한 지침을 제공하는 것입니다. 특정 사용 사례에 맞춘 예시를 제공하면 모델 활용도가 크게 향상됩니다. 이러한 예시는 다음을 자세히 설명해야 합니다:
- 추론 과정에서 기대되는 세부 수준.
- 복잡한 지침을 실행 가능한 단계로 분해하는 방법.
- 일반적인 시나리오를 처리하기 위한 의사 결정 트리.
- 필요한 모든 정보가 수집되었는지 확인하는 방법.
2. 시스템 프롬프트에 복잡한 지침 배치
"think" 도구에 대한 지침이 길거나 복잡한 경우, 이를 도구 설명에만 포함하는 것보다 시스템 프롬프트에 배치하는 것이 더 효과적이었습니다. 이 접근 방식은 모델이 더 넓은 맥락에서 사고 과정을 전반적인 행동에 통합할 수 있게 합니다.
"think" 도구를 사용하지 말아야 할 경우
"think" 도구는 상당한 이점을 제공하지만 보편적으로 적용 가능한 것은 아니며 프롬프트 길이와 출력 토큰을 증가시킵니다. 다음 시나리오에서는 성능 향상을 제공하지 않습니다:
- 비순차적 도구 호출: Claude가 단일 도구 호출이나 여러 병렬 호출만 수행하면 되는 경우, "think" 도구를 추가해도 성능이 향상될 가능성은 낮습니다.
- 간단한 지시 따르기: 작업에 제약이 거의 없고 Claude의 기본 동작으로 충분한 경우, 추가적인 사고 단계는 이점을 제공하지 않습니다.
결론
연구에 따르면 "think" 도구는 정책 준수와 긴 도구 호출 체인 전반의 추론이 필요한 복잡한 작업에서 Claude 3.7 Sonnet의 성능을 크게 향상시킵니다. 보편적인 해결책은 아니지만, 최소한의 구현 복잡성으로 올바른 사용 사례에 상당한 이점을 제공합니다.
SUMMARY: Anthropic은 Claude를 위한 "think" 도구를 도입했습니다. 이 도구는 모델이 복잡하고 다단계적인 도구 사용 중에 멈추고 구조화된 추론을 수행할 수 있게 하여 일관성과 정책 준수를 개선합니다.
TITLE: "think" 도구: 복잡한 도구 사용 상황에서 Claude가 멈추고 생각할 수 있게 하기