mohit67890/imajev

Open Jev-style typed-decision model that also takes images: photo + app state + typed questions in, calibrated probabilities out, locally.

📸 imajev – 사진과 비즈니스 기록을 읽는 의사 결정 모델

정의 – 사진(또는 두 장)과 구조화된 텍스트 데이터(예: 제품 목록, 지원 티켓, 송장)를 입력받아 유형화된 답변(선택, 예/아니오, 점수)을 보정된 확률과 명시적인 판단 불가 플래그와 함께 반환하는 소형 오픈소스 멀티모달 모델(2B, 4B, 9B 매개변수) 제품군입니다. 모델은 Qwen-3.5 시리즈, 동결된 비전 타워, 그리고 TypeSafe의 Jev 시스템에서 사용하는 것과 동일한 JSON 계약으로 결정을 출력하도록 학습하는 LoRA 어댑터를 기반으로 합니다.

🎯 핵심 아이디어

비즈니스급 결정 – 대량의 명확하게 정의된 작업(예: "사진이 목록과 일치합니까?")을 자동화하고 불확실한 경우는 인간에게 위임합니다.
확률적, 기권 가능 출력 – 각 답변에는 제공한 모든 옵션에 대한 확률과 unknown_probability가 포함됩니다. 모델이 충분히 확신하지 못하면 임계값을 설정하고 사람이 요청을 처리하도록 할 수 있습니다.
로컬 실행 – 가중치는 Apache-2.0 라이선스이며 단일 GPU 또는 Apple 실리콘 Mac(MLX)에서 실행할 수 있습니다. 데이터가 네트워크를 벗어나지 않습니다.

🚀 하이라이트(README에서)

기능	중요성
사진 + 기록 – 요청당 최대 2개의 이미지(참조 + 대상)와 최대 약 32KB의 구조화된 데이터.	카탈로그에 대해 배송을 검증하고, 알려진 양호한 참조에 대해 부품을 확인할 수 있습니다.
유형화된 JSON 계약 – Jev와 동일한 요청/응답 형식(선택, `noul` 점수, `unknown_probability`).	기존 텍스트 전용 의사 결정 파이프라인을 쉽게 대체할 수 있습니다.
훈련된 판단 불가 – 모델이 정말로 모를 때를 학습합니다(ImajevBench에서 18/21 알 수 없는 항목).	환각을 줄이고 비용이 많이 드는 잘못된 작업을 방지합니다.
소형, 로컬 – 2B-9B 매개변수, H100에서 원시 추론 약 0.1초, 출하 시 보정 약 0.35초.	단일 GPU 또는 최신 Mac에 적합합니다. 실시간 워크플로우를 위한 낮은 지연 시간.
최첨단 벤치마크 점수 – JevBench, Image JevBench에서 1위, DecisionBench에서 3위, 수백억 매개변수 시스템을 능가합니다.	작은 크기에도 불구하고 경쟁력 있는 품질을 보여줍니다.

📊 성능 스냅샷(공식 리더보드, 2026년 9월)

JevBench v1.4.2.2 – 1️⃣ / 91개 모델, 점수 67.4(4B).
Image JevBench v0.1.3 – 1️⃣ / 49개 모델, 점수 76.4(4B).
DecisionBench(영어) – 3️⃣ / 56개 모델, 점수 79.65, GPT-5.6 Luna보다 앞섬.
ImajevBench(이미지-텍스트 결정 벤치마크) – 83.9% 정확도(4B), 18/21 알 수 없음 올바르게 플래그 지정.

🛠️ 사용 방법

클론 및 설치

git clone https://github.com/mohit67890/imajev && cd imajev
python3.11 -m venv .venv && source .venv/bin/activate
pip install -e "[serve,mlx]"   # Apple 하드웨어가 아닌 경우 "torch" 엑스트라 사용

모델 다운로드(예: 4B 버전)

python scripts/download_model.py --model 4b   # Qwen-3.5-4B 및 LoRA 어댑터 가져오기
hf download mohit67890/imajev-4b --local-dir adapters/imajev-4b

로컬 서버 실행

PYTHONPATH=src:scripts python scripts/playground/server.py \
  --model-bundle artifacts/model-qwen4b.json \
  --adapter adapters/imajev-4b/mlx \
  --calibration adapters/imajev-4b/calibration.json \
  --model-name imajev-4b --port 8765

API 호출(제품 목록 및 사진 예시)

curl -s http://127.0.0.1:8765/v1/systemone \
  -F 'request={"state":{"listing":{"title":"Blue mug","color":"blue"}},
            "questions":{"matches":{"type":"noul","instructions":"Does the photo show the listed item?"}}}' \
  -F image=@photo.jpg

응답에는 선택된 옵션, 옵션별 확률, confidence, unknown_probability가 포함됩니다.

라이브 데모는 Hugging Face Spaces에서 호스팅됩니다: https://huggingface.co/spaces/mohit67890/imajev.

📂 저장소 레이아웃(높은 수준)

src/ – 요청을 구문 분석하고 모델을 실행하며 JSON 응답을 형식화하는 핵심 라이브러리.
scripts/ – 가중치 다운로드, 데모 서버 시작, 실제 시나리오(비즈니스 검사, 텍스트 전용, 옷장, 스타일리스트, 트레이싱 패드)를 보여주는 플레이그라운드 앱을 위한 유틸리티.
docs/ – 자산, 벤치마크 스크린샷, 기술 보고서.
artifacts/ – 서버에 로드할 기본 모델과 LoRA를 지정하는 모델 번들 JSON.

🏷️ 라이선스

Apache-2.0 – 코드와 모델 가중치 모두 오픈소스이며 상업적 사용 및 수정이 가능합니다.

🤝 누가 만들었나요?

Mohit Garg가 만들었습니다. 운영, 지원 및 백오피스 팀을 위한 결정 자동화에 중점을 둔 AI 컨설턴트입니다. 자세한 정보: https://mohitgarg.ai.

📌 imajev를 언제 사용하나요?

소매/마켓플레이스 – 제품 사진이 카탈로그 항목과 일치하는지 확인하고 반품 검증을 자동화합니다.
제조/현장 서비스 – 배송된 부품을 참조 이미지와 비교하여 손상을 감지합니다.
고객 지원 – 티켓을 라우팅하고, 긴급성을 표시하고, 첨부된 스크린샷을 기반으로 환불 자격을 검증합니다.
신뢰 및 안전 – 정책을 위반하는 콘텐츠를 신속하게 거부하고, 불확실한 경우 사용자에게 더 선명한 이미지를 요청합니다.
*명확한 답변 옵션을 정의할 수 있고 모델이 확실하지 않을 때 기권하기를 원하는 대량의 저위험 결정.*

📈 결론

imajev는 순수 텍스트 LLM(예: Jev)과 대형 비전 API 사이의 격차를 메우는 실용적이고 로컬에서 실행 가능한 멀티모달 결정 엔진을 제공합니다. 작은 설치 공간, 보정된 판단 불가 동작, 강력한 벤치마크 순위는 자체 하드웨어에서 빠르고 신뢰할 수 있는 자동화가 필요한 기업에게 확실한 선택입니다.