Phocinae/Phocinae-Largha-150M-v1

해결하는 문제

이 모델은 명령 승인, 도구 선택, 출력 필터링과 같은 구조화된 결정을 대규모 언어 모델(LLM) API에 데이터를 보내는 지연 시간, 비용, 개인 정보 보호 문제 없이 빠르고 로컬하며 예측 가능한 방식으로 내릴 수 있게 해줍니다.

작동 방식

이 모델은 mmBERT-small 아키텍처를 기반으로 하는 1억 4430만 파라미터의 "타입 기반 결정 모델"입니다. 챗봇과 달리 텍스트를 생성하지 않습니다. 대신 state(컨텍스트)와 일련의 타입 기반 질문(예/아니오, 객관식, 2~10점 척도)을 제공합니다. 단일 순방향 패스를 수행하여 정확한 답변과 신뢰 점수를 반환합니다. CPU를 포함한 자체 하드웨어에서 로컬로 실행되도록 설계되었으며, 0개의 토큰을 출력합니다.

대상 사용자

결정론적이고 지연 시간이 짧은 의사 결정이 필요한 자동화 워크플로, 승인 게이트 또는 라우팅 시스템을 구축하는 개발자를 위한 모델입니다. 결정이 반복적이고 고정된 구조를 따르는 시나리오에 적합하지만, 개방형 대화나 장문 작성에는 적합하지 않습니다.

주요 특징

• 제로 토큰 출력: 구조화된 데이터(부울, 인덱스 또는 정수)를 직접 반환합니다.
• 로컬 우선: 완전히 자체 머신에서 실행됩니다. API 호출 없음, 속도 제한 없음, 데이터가 환경을 벗어나지 않습니다.
• 고성능: 표준 CPU에서 초당 8~20개의 결정, GPU에서는 결정당 약 21ms.
• 이중 언어 지원: 영어와 중국어 데이터 세트로 훈련되었습니다.
• 결정 라우팅: 비용 절감 게이트로 사용할 수 있으며, 불확실한 결정만 더 크고 비싼 LLM으로 에스컬레이션합니다.