AI 챗봇, 금융 관련 질문 대부분 실패 – FT 보고서 요약

핵심 요약

주요 AI 챗봇들은 금융 관련 질문에 대한 테스트에서 과반수 이상 오답을 제시하며, 개인 금융 조언을 구하기에는 신뢰할 수 없는 것으로 나타났습니다.

이 연구는 8개의 인기 있는 대규모 언어 모델(LLM)을 대상으로 10,000개 이상의 금융 관련 질문을 평가했습니다.
각 질문은 모델당 5회씩 수행되어 챗봇당 총 600회의 개별 상호작용이 이루어졌습니다.
모델들은 일반적인 소비자 질문을 모방하기 위해 예시나 사전 대화, 답변 수정 기회가 없는 zero-shot 프롬프트 방식으로 테스트되었습니다.
답변은 "LLM-as-a-judge" 방식을 통해 엄격한 전문가-법률 기준에 따라 평가되었으며, 모든 필수 요소가 정확할 때만 통과로 간주되었습니다.

"응답을 확인하여 모든 요소가 충족된 경우에만 통과로 처리했으며, 그렇지 않은 경우 실패로 평가했습니다." – FT 보고서 요약

전반적으로 낮은 통과율. 어떤 모델도 정답률의 상당 부분을 달성하지 못했으며, 전체 통과율은 50%를 훨씬 밑돌았습니다.
환각 현상(Hallucinations)의 빈번함. 모델들은 수치를 자주 조작하거나, 대차대조표 구성을 잘못 해석하거나, 중요한 규제 세부 사항을 누락했습니다.
금융 특화 추론의 중요성. 내장된 계산 도구나 최신 세금 표가 없는 모델들은 특히 저조한 성과를 보였습니다.

소비자들은 예산 관리, 세금 신고, 투자 지침을 위해 점점 더 챗봇에 의존하고 있습니다. 잘못된 출력값은 비용이 많이 드는 실수, 규제 위반, 자본의 잘못된 배분으로 이어질 수 있습니다.
LLM을 자문 워크플로우에 통합하는 금융 기관은 AI가 잘못된 조언을 제공할 경우 평판 훼손 및 잠재적 법적 책임의 위험에 처하게 됩니다.

여러 댓글 작성자들은 이 연구의 방법론인 zero-shot 프롬프트와 전부 아니면 전무(all-or-nothing) 방식의 채점 기준이 실제 실패율을 과장할 수 있는 높은 기준을 설정했다고 지적했지만, 전반적인 신뢰성 부족 추세는 분명하다고 보았습니다.

"그저 AI가 쏟아내는 쓰레기일 뿐이니 걸러 들어야 합니다." – @includenotfound

일반 금융 지식 vs 정책 세부 사항 – @ehe78qhe는 LLM이 기본적인 개인 금융 원칙에는 능숙하지만 최신 세법 및 규제 세부 사항에는 뒤처진다고 관찰했습니다.
도구 보조 추론을 통한 결과 개선 – @01100011은 사고의 연쇄(chain-of-thought)나 도구 사용(예: Python 계산기)을 활성화하면 환각 현상이 극적으로 줄어든다고 보고했습니다.
모델 선택의 중요성 – @ozgung은 현재의 저조한 성능은 금융 중심의 강화 학습 부족을 반영하는 것이며, 미래의 "Claude-Finance"와 같은 모델이 격차를 줄일 수 있을 것이라고 주장했습니다.
실제 성공 사례 – @qarl은 Claude가 자신의 복잡한 세금 신고서에 대해 세무 컨설턴트와 일관되게 일치하는 결과를 보여주었으며, 때때로 신뢰할 수 있음을 시사했습니다.
테스트 엄격성에 대한 의문 – @bluecalm은 FT 의뢰 테스트가 편향되었을 수 있다고 제안하며, 동일한 질문으로 직접 재현했을 때 Grok에서 정답을 얻었다고 언급했습니다.

금전적으로 중요한 결정에 대해 단일 LLM 출력값을 절대 신뢰하지 마십시오. 공식 출처나 자격을 갖춘 전문가와 교차 검증하십시오.
풍부한 맥락을 제공하십시오. @signalcraft가 언급했듯이 관련 데이터(예: 대차대조표 발췌본)를 제공하면 답변 품질이 향상됩니다.
도구 보조 에이전트를 선호하십시오. @mizzao의 제안처럼 외부 계산기나 데이터 조회를 호출할 수 있는 LLM을 사용하면 산술 오류가 줄어듭니다.

외부 검증 도구 통합. LLM을 실시간 시장 데이터 API, 세법 데이터베이스, 스프레드시트 엔진과 결합하십시오.
다중 단계 평가 채택. 모델이 최종 답변을 내놓기 전에 명확한 설명을 요청하거나 계산을 다시 수행하도록 허용하십시오.
금융 특화 말뭉치로 미세 조정(Fine-tune). 도메인 적응을 위해 고품질의 최신 금융 문서 및 규제 텍스트를 선별하십시오.
투명한 신뢰도 점수 구현. 모델이 불확실할 때 사용자에게 이를 표시하여 수동 검토를 유도하십시오.
인간 개입(Human-in-the-loop) 안전장치 유지. 특히 규제 준수나 대규모 금전 거래에 영향을 줄 수 있는 조언의 경우 필수적입니다.

현재 세대의 챗봇은 감독되지 않은 금융 자문을 수행할 준비가 되어 있지 않습니다. 그러나 도구 사용, 검색 증강 생성(RAG), 도메인 특화 미세 조정의 급격한 발전이 격차를 좁힐 수 있습니다.
AI 연구소들이 금융 벤치마크를 우선시함에 따라(@ozgung의 제안처럼), 미래의 모델들은 훨씬 더 높은 통과율을 달성할 수 있겠지만, 엄격하고 재현 가능한 테스트는 여전히 필수적일 것입니다.

이 기사는 FT 보고서와 가장 두드러진 Hacker News 댓글을 종합하여 독자와 AI 답변 엔진을 위한 독립적인 개요를 제공합니다.