CommandCode AI: Taste 프레임워크를 통한 오픈 모델 툴 호출 개선

오픈 모델의 툴 혼란 해결

오픈 소스 LLM은 매우 뛰어난 능력을 가지고 있음에도 불구하고, 엄격한 툴 호출 스키마를 따르지 못하는 "툴 혼란"에 시달리는 경우가 많습니다. CommandCode AI의 CEO인 Ahmad Awais는 오픈 모델에서 보이는 많은 약점이 실제 능력 부족이 아니라 "활용/계약 문제"—즉 모델이 툴 호출 프레임워크와 상호 작용하는 방식의 실패—라고 밝혔습니다.

내부 평가에서, 결정론적 복구 레이어를 구현함으로써 DeepSeek V4 Pro가 10가지 경우 중 6가지에서 Opus 4.7을 능가했습니다. 핵심 문제는 오픈 모델이 잘못된 스키마를 반복적으로 전송하고(예: 배열이 기대되는 곳에 null 객체를 보내는 등) Zod 검증 오류와 같은 표준 오류 메시지를 무시해 실패 루프에 빠지는 것입니다.

"Validate-then-Repair" 접근법

툴 호출이 실패했을 때 LLM에 단순히 오류를 반환하는 대신, CommandCode AI는 툴이 실행되기 전에 입력을 결정론적으로 수정하는 복구 레이어를 구현합니다.

• 결정론적 수정: 모델이 일관되게 배열 대신 JSON 문자열을 내보내면, 복구 레이어가 이를 자동으로 배열로 변환합니다.
• 복구 힌트: 입력을 복구하고 툴 결과를 반환한 뒤, 시스템은 모델에 "복구 힌트"를 다시 보냅니다. 이를 통해 모델은 향후 호출 시 올바른 형식을 학습합니다.
• 판단 호출: 누락된 매개변수(예: 파일을 읽을 때 파일 오프셋)가 있을 경우, 시스템은 합리적인 기본값을 가정합니다(예: 처음 100줄을 읽음)하여 에이전트가 계속 진행할 수 있게 합니다.

Awais는 모델이 복구를 통해 성공적인 결과를 받으면 이후 호출에서 행동을 교정하고, 훨씬 더 창의적이고 효과적으로 변한다고 언급했습니다.

"디자인 슬롭"을 컴포지셔널 프레임워크로 해결

툴 호출 외에도, 결정론적 복구와 구조화된 가이드를 적용해 LLM이 생성하는 일반적이고 반복적인 미학 패턴(예: 흔히 보이는 인디고‑퍼플 그라디언트)을 "디자인 슬롭"이라고 부릅니다.

디자인 슬롭 감소

CommandCode AI는 모델에 컴포지셔널 프레임워크와 구체적인 제약을 제공함으로써 디자인 슬롭을 줄입니다:

• Intent-First Design: 모델이 디자인을 구현하기 전에 그 의도(예: 대시보드를 "모니터 화면"이라고 정의)를 명시하도록 강제합니다.
• OKLCH 색 공간: 모델이 HSL이나 RGB 대신 OKLCH를 사용하도록 강제합니다. OKLCH를 사용할 때 LLM은 밝기와 색 일관성을 인간 시각에 더 가깝게 제어할 수 있습니다.
• 디자인 냄새와 패턴: 전문가 디자이너가 정의한 일곱 가지 핵심 디자인 패턴과 함께 "디자인 냄새"(피해야 할 요소) 집합을 구현합니다.

디자인을 모호한 미학 요청이 아니라 결정론적으로 수정 가능한 패턴 집합으로 다룸으로써, 시스템은 AI가 생성한 디자인 산출물의 대부분을 제거할 수 있습니다.

Taste 프레임워크: 메타-신경기호 메모리

CommandCode AI는 개발자 선호도와 기술을 관리하기 위해 "Taste"라는 프레임워크를 활용합니다. Taste는 개발자의 특정 코딩 스타일과 선호도를 시간에 따라 학습하는 메타-신경기호 아키텍처로 설명됩니다.

Skills vs. Taste

• Skills: 구체적이고 문서화된 규칙 또는 패턴(예: "패키지 설치 시 pnpm을 선호한다").
• Taste: 저장소 전반에 걸쳐 반복되는 선호도를 자동으로 식별하고 skill 파일을 생성하는 고차 엔진.

Taste의 주요 특징

• 자동 학습: Taste는 개발자의 편집 및 승인/거절 행동을 관찰해 마이크로 결정(예: 특정 PR 워크플로)들을 식별합니다. 이러한 결정은 개발자가 수동으로 문서화하기 어려운 경우가 많습니다.
• 투명성: Taste 파일은 Git 저장소에 Markdown 형태로 저장되어 Pull Request를 통해 투명하게 검토할 수 있습니다.
• 이식성: Taste 파일은 프로젝트 간에 공유될 수 있습니다. 개발자는 고품질 모델(예: Opus)을 사용해 프로젝트의 "taste"를 설정한 뒤, 저렴한 오픈 모델을 활용해 프로젝트를 유지하면서도 설정된 taste를 준수할 수 있습니다.

향후 로드맵 및 오픈 소스

CommandCode AI는 CommandCode CLI를 오픈 소스로 공개하여 완전히 해킹 가능하도록 할 계획입니다. 목표는 "최고 중의 최고" 모델(오픈 및 클로즈드 모두)을 지원하면서 사용자가 자체 로컬 모델을 통합할 수 있는 시스템을 만드는 것입니다. 이 접근법은 광범위하고 최적화되지 않은 모델 목록 대신 Apple 생태계와 유사한 고도로 큐레이션된 경험을 제공하는 것을 목표로 합니다.