ashhart/TensorFold

解决的问题

TensorFold 提供了一个高性能、独立的方式，在 Apple Silicon 和 NVIDIA GPU 上提供语言模型服务，无需安装 Python 或 MLX。它通过提供一个原生二进制文件，直接处理检查点读取、分词和内核执行，简化了特定合格模型的部署。

运作方式

此引擎以 Zig 构建，直接执行 Metal 或 CUDA 内核来执行模型权重。它支持 OpenAI 兼容的 API 进行聊天完成，以及 Anthropic Messages。主要技术特点包括：

• Living Weights：一项实验性功能，允许运行中的模型通过直接将新事实写入检查点文件来学习，使学习到的信息在重启后仍能持久保存。
• Context Compaction：与其拒绝超出上下文窗口的请求，它可以将较旧的对话轮次摘要成“记忆笔记”，同时保留最近的轮次原文。
• Exact Decoding：确保草拟的响应与原生引擎的参考输出完全一致。
• Prompt Caching：支持保留前缀预算，以加速常见提示前缀的处理。

适用对象

希望在 macOS（M1-M5）或 Linux（NVIDIA Ampere/Blackwell）上以最少依赖和高效率运行 LLM 的开发者和用户。

亮点

• 零 Python 依赖：以原生 Zig 二进制文件提供模型服务。
• Living Weights：实现实时、持久地将新事实学习到模型权重中。
• uma 3D 可视化：包含 3D 视图，用于监控事实如何整合到神经元和层中。
• 广泛的硬件支持：针对 Apple Silicon（Metal）和 NVIDIA GPU（CUDA）优化。
• 上下文管理：智能压缩以防止上下文溢出。