InternLM/Intern-Decision

해결하는 문제

Intern-Decision는 주어진 상태(선택적 이미지 포함)와 여러 유형의 질문을 특정한 결정과 관련된 확률로 변환하도록 설계되었습니다. 다중 선택, 점수 부여, 예/아니오 질문과 같은 다양한 형식에서 결정에 대한 보정된 신뢰 수준을 제공할 수 있는 모델의 필요성을 해결합니다.

작동 방식

이 프로젝트는 Qwen3.5의 언어 백본만을 파인튜닝하고, 비전 타워와 프로젝터는 고정합니다. 자가 회귀적 마스크된 언어 모델링 목적 함수를 사용하며, 어시스턴트의 입력은 JSON 스키마입니다. 모델은 단일 인과적 순전파에서 각 필드에 대한 답변 기호를 예측합니다. 추론 시, 로짓은 유효한 답변 기호로 제한되고, 소프트맥스를 적용하여 확률을 도출합니다. 또한 확률의 정확도를 향상시키기 위해 온도 보정 프로세스를 포함합니다 (Brier 및 ECE 메트릭스).

대상 사용자

브라우저 사용, 게임(예: Mario, Doom), 일반적인 의사결정 벤치마크 등 다양한 작업에서 라벨뿐 아니라 정확도에 대한 보정된 확률을 제공하는 의사결정 모델이 필요한 AI 연구자 및 개발자에게 적합합니다.

주요 특징

• 다양한 유형의 의사결정 지원: choice, score, noul (예/아니오) 질문 유형을 처리합니다.
• 높은 정확도: 4B 모델은 7개의 평가 세트에서 평균 90.02%의 정확도를 달성합니다.
• 낮은 지연 시간: RTX 4090에서 4B 모델의 평균 로컬 요청 지연 시간은 44.16ms입니다.
• 보정된 신뢰도: 분포 보정 벤치마크와 온도 스케일러를 조정하여 확률 신뢰도를 향상시키는 도구를 포함합니다.
• 유연한 추론: 네이티브 Hugging Face와 XTuner 두 가지 추론 백엔드를 제공합니다.