itayinbarr/little-coder

A harness optimized to smaller LLMs

解決する課題

little-coder は、小型のローカル LLM 専用に設計されたコーディングエージェントです。複雑なコーディングタスクには通常 GPT-4 のようなフロンティアモデルが必要とされるというギャップを埋め、Qwen3.6-35B-A3B などのモデルを使用して、ノートPC上で直接高性能なコーディングアシスタントを実行できるようにします。

仕組み

pi エージェントフレームワークをベースに構築された little-coder は、30 以上の専用拡張機能、30 のスキル markdown ファイル、および Python ベンチマークハーネスを追加しています。バンドルされた拡張機能のみを読み込むランチャーを使用することで、予測可能で最小限のコンテキスト(約 7k tokens)を維持します。

主な動作メカニズムは以下の通りです:

  • Plan Mode: エージェントがタスクを調査し、明確化のための質問を行い、実装前に計画を立てるリサーチファーストのアプローチ。
  • Sub-coders (dispatch): メインの会話を乱すことなく、隔離された読み取り専用のサブセッションを生成して質問を調査する機能。
  • Deep Research: 外部およびオンラインリサーチ専用のモードで、引用付きの markdown レポートを作成します。
  • Tool Skill Cards: 現在のニーズ(エラー回復、最新性、意図)に基づいて、ツールの短い使用ガイドを動的に注入します。
  • Background Jobs: 長時間実行されるコマンド(ビルドやトレーニングなど)をバックグラウンドで実行し、特定のイベントが発生したときのみモデルを起動します。

対象ユーザー

プライバシーの保護、コスト削減、または小型モデルの性能実験のために、自身のハードウェア(llama.cpp、Ollama、または LM Studio 経由)で強力なコーディングエージェントを実行したい開発者。

ハイライト

  • ローカルファーストの最適化: Qwen3.6-35B-A3B などのモデル向けに調整されており、MoE (Mixture of Experts) 用の特定設定により、限られた VRAM に大型モデルを収めることができます。
  • 柔軟なモデルルーティング: ローカルプロバイダー(llama.cpp、Ollama、LM Studio)およびクラウドプロバイダー(Anthropic、OpenAI)をサポートし、簡単に設定を上書きできます。
  • 階層的なタスク管理: 計画と実装を分離することで、コンテキストウィンドウの効率を維持します。
  • 高度な TUI: 累積トークン数、キャッシュヒット率、コンテキストウィンドウの使用状況を追跡する詳細なステータスラインが含まれています。
  • 拡張性: ユーザーは設定ディレクトリを通じて独自の拡張機能を追加できます。

関連

  • プロジェクト
  • Dispatch
  • プロジェクト
  • プロジェクト