CrankGPT: 本地人力驱动 AI 推理

CrankGPT 是一个本地 AI 推理系统，允许用户通过手摇或脚踏提供物理能量来生成 token。通过将电源从电网转移到人力，该项目旨在提供一种私密的、离网的云端 AI 服务替代方案，同时减少对企业数据中心的依赖。

硬件架构与电源管理

CrankGPT 使用 Raspberry Pi 5 作为其主要计算引擎，运行针对 CPU 推理优化的模型。为了弥补不稳定的动力生成与硬件所需的稳定电压之间的差距，系统采用了特定的电源管理技术栈：

• 能量生成： 系统使用了一种现成的 20W 可切换电压手摇发电机，专为紧急 USB 充电设计。
• 电压稳定： 由于 Raspberry Pi 5 的电流需求在重度 CPU 推理期间会增加——有时会飙升至 5A——发电机的电压可能会跌落至 4.8V 以下，或触发过流保护。
• 储能装置： 为了防止电压骤降并允许用户进行短暂休息，开发了一个定制的电容板，用于平滑发电机的输出，并作为约 20 秒的短期储能装置。

AI 工作负载的分层能量模型

CrankGPT 根据维持工作负载所需的物理努力程度对 AI 工作负载进行分类，并提出了不同“层级”的人力驱动硬件：

• 手摇驱动模型： 旨在用于基础的、日常的家庭使用。
• 脚踏驱动模型： 为需要更强大模型的高级用户和小型公司设计。
• 健身房/健身工作室合作伙伴关系： 为需要持续、高输出能量生成的复杂智能体（agentic）和企业级工作流提议。

隐私与可持续发展目标

该项目被定位为对大规模 AI 相关的环境和隐私成本的批判。它强调了两个主要优势：

1. 数据主权： 通过完全在设备上运行，CrankGPT 确保用户数据、提示词（prompts）和“古怪的应用想法”保持私密，不会被大型企业访问。
2. 环境影响： 该项目突出了科技公司为了建设 AI 数据中心而放弃气候承诺、转而建造燃气发电厂的趋势，并提议用户“停止燃烧石油，开始燃烧卡路里”。

社区见解与技术讨论

社区中的技术讨论突出了该项目的可行性及其概念性特征：

• 能量效率： 一些用户指出，推理所需的能量出奇地易于管理。一位贡献者估计，60 分钟的高强度骑行（约 200Wh）可能足以为 H100 GPU 提供约 20 分钟的动力。
• 工程约束： 社区将手摇动力的约束视为一种富有成效的工程挑战，这可能导致更可持续且更高效的软件框架设计。
• 讽刺 vs. 实用性： 虽然许多人将该项目视为一种“恶作剧”或讽刺——将其比作《黑镜》的剧集——但也有人建议它可能会演变成一个合法的太阳能驱动推理盒，让用户摆脱订阅制和电网依赖。

"I really like the idea of trying to design things with the constraint of it having to be able to run off a hand-crank. I feel like it is not only an interesting engineering challenge but one that might lead to a more efficient and sustainable framing."

技术资源

对于对底层实现感兴趣的人，该项目引用了 GitHub 上的 edge_voice_agent 仓库，并通过 Squeezlabs 提供详细的技术文档。