Cactus Needle 3 发布：8‑29 MB 基础模型，支持设备端工具调用与结构化提取
Needle 3 在极小体积下实现 DeepSeek 级性能
Cactus Compute 宣布推出 Needle 3，这是一个 8‑29 MB 的二进制基础模型，能够在移动设备上的工具调用和提取基准测试中 与 DeepSeek V4 Flash 相媲美甚至超越，同时完全离线运行于从 Raspberry Pi 5 到微控制器的各类设备上。该模型体积小巧，使其在智能家居中枢、可穿戴设备、机器人乃至嵌入式控制器中具有实际应用价值。
开箱即用的核心能力
- 工具调用 – Needle 3 可解析用户语句，从开发者提供的工具箱中选择合适的函数，并填入所有参数。它返回一个 JSON 列表；若无匹配工具，则返回空列表，而非产生幻觉。
- 结构化提取 – 通过提供 Pydantic 模式，开发者可从杂乱文本（如发票、预订信息）中获得类型化 JSON 对象。解码语法保证了语法正确性。
- 文本嵌入 – 同一模型可生成句子向量，用于设备端语义搜索、重复检测和路由。
这些基础能力可支持端到端的产品，例如：
- 语音控制的智能家居命令（
"Dim the bedroom and lock up"）。 - 机器人指令序列化（
"clean the kitchen but leave the bedroom"）。 - 针对手机、可穿戴设备、AR 眼镜和车载舱室的设备端助手。
智能分层：单一二进制文件，多个子网络
Needle 3 基于 Simple Attention Networks 与 CQ2‑bit 量化 构建。29 层主干（29 L）包含 121 M 参数，但从 2 L 到 20 L 的每个前缀均可构成一个功能子网络。开发者可选择满足延迟或内存约束的最小子网络，然后在下游任务上进行微调。
- 4 层（4 L）微调模型 在任务特定数据上仅需一个训练周期即可匹配 DeepSeek V4 Flash 的表现。
- 子网络大小范围从 9 MB（2 L） 到 29 MB（20 L），覆盖广泛的微型硬件。
- 训练使用了 3600 亿个标记 的专有结构化数据，在 Raspberry Pi 5 上实现 400‑4000 个标记/秒的解码速度。
跨 12 个平台部署，引擎小于 1 MB
Cactus 提供了预构建的推理引擎（< 1 MB），支持 macOS、Linux（x86_64、arm64、armv7、riscv64、mipsel）、Windows、Android、iOS、tvOS、watchOS、WebAssembly 和 WASI 组件。needle build --platform 命令会获取相应引擎，并将 needle3.cact 权重文件放置于其旁。
| 平台 | 引擎文件 |
|---|---|
| macOS (arm64) | needle CLI、libneedle.a、needle.h |
| Linux (多种) | 与 macOS 相同，外加各 ABI 的二进制文件 |
| Windows (x86_64/arm64) | needle.exe、libneedle.a、needle.h |
| Android / iOS / watchOS / tvOS | 静态库 + 头文件 |
| 浏览器 (Wasm) | needle.js、needle.wasm、needle.h |
| WASI 组件 | needle.component.wasm、needle.wit |
开发者工作流：从工具定义到执行
- 定义工具 – 使用装饰器修饰 Python 函数；函数签名提供参数类型，文档字符串提供自然语言描述，
run()执行调用。 - 可选触发器 – 正则表达式模式可强制匹配时调用，绕过置信度门控。
- 提取 – 将 Pydantic 模型传入
extract()以获取类型化对象。 - 置信度门控 – 每个响应包含校准后的置信度分数（最低 0.1）。低于该阈值的调用将被忽略；更高分数可用于决定是否自动执行、请求确认或拒绝。
- 微调 – 使用提供的 Python 包对冻结的基础模型进行 LoRA 微调，然后导出 4 位的
.cact文件以供任意子网络使用。
社区真实反馈
"turn all the lights on/off" 和 "it's too dark in the bathroom" 能正常工作，但更间接的表达方式失败；恒温器命令有时会反转温度方向。（gs17）
模型在处理超过 ≈10 个工具 后开始出现混淆。（sourcecodeplz）
在智能家居演示中，"warm the house" 错误地调整了灯光亮度而非温度，暴露出对灯光意图的偏向性。（Retro_Dev）
用户报告偶发的误路由，例如 "turn it up" 降低了汽车音量，且模型有时会生成无关动作，如对 "I need a wee" 回应播放音乐。（IanCal）
有参与者指出，当无工具匹配时，模型 返回空列表，这比产生幻觉调用更优。（eriwang915）
多位评论者称赞其 设备端隐私保护 以及在 ESP32 等受限硬件上运行的能力，尽管在更新的 ESP32‑P4 上的表现尚未测试。（digdugdirk, viccis）
局限性与待解问题
- 通用推理：模型在工具选择和参数填充方面表现出色，但仍偶有无意义的推理（例如将 "cat puked" 映射为吸尘操作）。这反映了为极小体积牺牲广泛世界知识的权衡。
- 数据集依赖性：社区成员强调，底层结构化数据集的质量对处理用户表达智能家居命令的多种方式至关重要。
- 硬件限制：虽然推理可在 Raspberry Pi 5 上运行，但目前 未 利用 Apple GPU 进行推理，限制了 macOS 设备的性能表现。
- 与更大开源模型的对比：基准测试显示 Needle 3 在工具调用上优于 Qwen 3.8 并接近 Gemma 4‑E4B，但在通用分类任务（如 MNLI）上仍落后。
为何 Needle 3 对设备端 AI 至关重要
Needle 3 证明了 结构化 JSON 输出与可靠工具调用可在小于 30 MB 的模型中实现，为无法承载千兆级 LLM 的设备打开了隐私保护型助手的大门。通过提供子网络阶梯，Cactus 让开发者在延迟、内存与精度之间取得平衡，使设备端 AI 在智能家居中枢、可穿戴设备、车载信息娱乐系统及工业边缘控制器中成为现实。
Sources
相关
- Dispatch
- Dispatch
- Dispatch
- 项目
- Dispatch