OthersideAI/self-operating-computer

解决的问题

自动执行计算机任务通常需要编写脚本，但界面变化时脚本会失效。该框架让多模态模型观察屏幕并像人类一样采取行动——点击、输入、滚动——从而无需自定义代码即可处理动态或不熟悉的界面。

工作原理

模型接收当前屏幕的截图和文本目标，然后输出一系列鼠标和键盘操作，由框架执行。框架包含多种模型集成（GPT-4o、GPT-4.1、o1、Gemini Pro Vision、Claude 3、Qwen-VL、LLaVa）和特殊模式：

• OCR模式：使用光学字符识别创建文本元素的可点击地图，提高准确性。
• Set-of-Mark（SoM）模式：使用简单的对象检测器标记按钮，增强视觉接地。 还通过--voice标志支持语音输入。

适用人群

希望尝试计算机使用代理、测试不同多模态模型或基于此早期开源示例进行构建的开发者和研究人员。需要所选模型的API密钥，并支持Mac、Windows和Linux（带X服务器）。

亮点

• 最早的全计算机使用开源框架之一（2023年11月）。
• 多种模型后端：GPT-4o、GPT-4.1、o1、Gemini Pro Vision、Claude 3、Qwen-VL和LLaVa（通过Ollama）。
• OCR模式将文本映射到坐标，实现可靠点击。
• Set-of-Mark提示增强视觉接地。
• 语音输入，免提输入目标。
• 简单安装和运行：pip install和operate命令。