모건 스탠리 AI 통합 및 평가 프레임워크

모건 스탠리는 OpenAI와 파트너십을 맺어 GPT-4와 Whisper를 금융 서비스 워크플로에 통합했으며,これにより 금융 어드바이저가 정보를 더 빠르게 검색하고 반복적인 작업을 자동화할 수 있게 되었습니다. 이 배포는 엄격한 품질과 신뢰성 기준을 충족하는 AI 성능을 보장하는 강력한 평가(eval) 프레임워크를 중심으로 이루어집니다.

엄격한 AI 배포를 위한 평가 프레임워크

모건 스탠리는 배포 전에 모든 AI 사용 사례를 테스트하기 위해 평가 프레임워크를 활용하며, 전문가의 피드백을 사용하여 실제 시나리오에 대한 모델 성능을 측정합니다. 이 프레임워크는 특정 테스트 방법론을 통해 프롬프트를 개선하고 출력 품질을 향상시킬 수 있게 해줍니다:

• 요약 평가: 모델이 지적 자본과 프로세스 기반 콘텐츠를 간결하고 정확한 요약으로 축약하는 능력을 테스트하는 데 사용됩니다.
• 번역 평가: 다국어 고객을 지원하기 위해 구현되었습니다.
• 회귀 테스트 스위트: 샘플 질문을 사용한 일일 테스트를 통해 약점을 식별하고 시스템이 규정을 준수하는 출력을 제공하도록 보장합니다.

이 접근 방식을 통해 모건 스탠리는 내부 지식 검색 기능을 7,000개의 질문에 답변하는 것에서 100,000문서 코퍼스에서 어떤 질문이든 효과적으로 답변할 수 있도록 확장했습니다.

금융 어드바이저를 위한 AI 기반 도구

모건 스탠리는 어드바이저 생산성을 높이고 고객 참여를 강화하기 위해 두 가지 주요 AI 솔루션을 배포했습니다:

AI @ Morgan Stanley Assistant

이 내부 챗봇은 금융 어드바이저가 회사의 지식 기반에서 정보를 원활하게 검색할 수 있도록 합니다. 자산 관리 분야의 어드바이저 팀 중 98% 이상이 이 도구를 적극적으로 사용하고 있습니다.

AI @ Morgan Stanley Debrief

Whisper와 GPT-4로 구동되는 이 도구는 고객 동의 하에 이루어진 Zoom 녹화를 실행 가능한 출력으로 변환합니다. 이 도구는 고객 메모를 CRM 시스템에 자동으로 통합하고, 어드바이저가 검토하고 개선할 수 있도록 주요 조치 사항을 요약한 후속 이메일 초안을 생성합니다.

보안, 규정 준수 및 데이터 개인정보 보호

금융 서비스 규정 준수를 유지하기 위해 모건 스탠리는 품질 보증을 평가 프레임워크에 직접 통합했으며, OpenAI와 협력하여 검색 방법을 최적화하여 정확성을 높였습니다.

데이터 개인정보 보호는 OpenAI의 제로 데이터 보존 정책을 통해 관리되며, 이는 모건 스탠리의 독점 데이터가 공개 ChatGPT 모델을 훈련하는 데 사용되지 않음을 보장합니다.

어드바이저 생산성 및 회사 전체 채택에 미치는 영향

AI 도구의 구현으로 상당한 운영 개선이 이루어졌습니다:

• 높은 채택률: 자산 관리 분야의 어드바이저 팀 중 98% 이상이 매일 AI 도구를 사용하고 있습니다.
• 문서 접근성 증가: 내부 문서 접근이 20%에서 80%로 증가하여 검색 시간이 크게 단축되었습니다.
• 효율성 향상: 이전에 며칠이 걸리던 후속 조치가 이제는 몇 시간 내에 완료되어 어드바이저가 고객 관계에 더 많은 시간을 할애할 수 있게 되었습니다.

미래 확장 및 기관 확장

모건 스탠리는 이러한 플랫폼을 직원을 위한 '슈퍼 앱'으로 보고 추가 확장의 기반을 마련하고 있습니다. 현재 기관 증권 그룹을 위한 Assistant 기능을 확장하고 있으며, CFO와 소통하는 투자 은행가와 같은 기타 역할에 Debrief 도구 적용을 탐색하고 있습니다.