Hugging Face 本地模型於 OpenClaw PR 分類

Hugging Face 本地模型於 OpenClaw PR 分類

代理式分類架構

系統採用「代理式分類」的概念，模型不僅僅接受提示，而是能主動尋求額外的上下文資訊，然後回傳結構化的結果。核心組件包括：

  • Agent Harness： 系統使用 Pi 作為 harness 以呼叫本地模型端點。
  • Restricted Shell (reposhell)： 為防止惡意 PR 或 issue 的提示注入攻擊，代理程式不具備完整的 bash 存取權限。相反地，它使用 reposhell，一個受限的 shell，只允許對 OpenClaw 倉庫執行唯讀操作（例如 ls、find、cat、grep）。
  • Structured Output： 代理程式使用 final_json 工具提交最終分類標籤，依據預先定義的類別集合（例如 local_models、self_hosted_inference、agent_runtime）。

編排管線

從 GitHub 事件到 Discord 通知的工作流程遵循半代理式路徑，以最大化速度與資源效率：

  1. Mirroring（鏡像）： openclaw/gitcrawl 在本地鏡像倉庫，將新 PR 與 issue 正規化為 SQLite 資料庫。
  2. Context Building（上下文建構）： 工作者建立一個 GitHub 上下文物件，包含標題、內容、標籤與 diff 摘要，減少模型直接瀏覽 GitHub 的需求。
  3. Inference（推論）： localpager-agent 處理提示。代理程式可能使用 reposhell 檢查程式碼庫，以提升準確度，然後輸出最終的 JSON 分類。
  4. Notification（通知）： 決定性規則根據使用者自訂的通知政策，將已分類的項目傳送至 Discord。

模型效能與基準測試

測試在一個包含 330 筆資料的評估集上進行，標籤由 GPT-5.5 與 Opus 4.8 的共識驗證。模型在配備 128 GB 統一記憶體的 NVIDIA GB10 上執行。

指標 gemma-4-26b-a4b qwen3.6-35b-a3b DeepSeek-V4-Flash
精確率 (Precision) 0.716 ± 0.010 0.831 ± 0.007 0.938
召回率 (Recall) 0.905 ± 0.004 0.818 ± 0.006 0.714
F1 0.800 ± 0.008 0.824 ± 0.002 0.811
完全匹配 (Exact Match) 0.410 ± 0.014 0.540 ± 0.014 0.509
偽陽性 (False Positives) 227.0 ± 10.5 105.7 ± 6.4 30
偽陰性 (False Negatives) 60.0 ± 2.6 115.3 ± 4.0 181
每筆牆時秒數 (Wall seconds / row) 1.41 ± 0.04 13.51 ± 0.79 144.14
輸出 token/秒 (Agg) 402.6 145.3 13
總參數量 26B 35B 284B
活躍參數量 4B 3B 13B

主要發現：

  • Gemma 4 (26b-a4b)： 展示了最高的召回率與每筆資料最快的牆時耗時。使用 vLLM 搭配 NVFP4 量化時，其總輸出 token 數每秒超過 700。
  • Qwen 3.6 (35b-a3b)： 提供了較高的精確率與比 Gemma 更少的偽陽性。
  • DeepSeek-V4-Flash： 雖然偽陽性率最低，但其體積與低吞吐量（13 token/秒）使其在指定硬體上無法實時本地執行。

驗證與即時稽核

為驗證本地系統，Hugging Face 透過 OpenClaw 每兩小時執行一次使用 GPT-5.5 的平行稽核迴圈。此最先進模型充當裁判，辨識本地模型產生的偽陽性與偽陰性。此稽核流程每月約花費 $9，作為校準機制以確保本地分類器的可靠性。

高通量分流的更廣泛影響

此實作證明中等規模的本地模型能以足夠的準確度執行零樣本分類，取代昂貴的雲端 API 用於高量過濾任務。團隊建議此「代理式分類」方法——結合快速本地模型與受限工具存取——可應用於其他領域，包括新聞分類、客服工單分流與內容審核申訴。

SUMMARY: Hugging Face 展示了如何將 Gemma 4 與 Qwen 3.6 等本地模型部署於代理式 harness 中，實現對 OpenClaw 倉庫的 GitHub issue 與 pull request 進行即時、零成本的分流。

TITLE: Hugging Face 本地模型於 OpenClaw PR 分類

Sources