nikkigallery/Whimbox

解決的問題

Whimbox 是專為遊戲「Infinity Nikki」設計的 AI 代理，旨在自動化遊戲流程。它幫助玩家無需手動操作即可完成重複性的日常任務、探索遊戲世界並執行特定的遊戲內活動。

工作原理

該系統作為一個後端服務運行，結合大型語言模型（LLMs）和影像識別（OCR、YOLO）來與遊戲互動。它不修改遊戲檔案或讀取記憶體，而是透過截取螢幕截圖並模擬滑鼠與鍵盤輸入來控制遊戲。可透過自然語言命令或專用應用程式進行控制。

適用對象

擁有中高階電腦並希望自動化遊戲內日常流程、資源收集及複雜任務的《Infinity Nikki》玩家。

主要亮點

• 日常任務自動化：自動處理材料挖掘、試煉、週常任務等活動。
• 世界導航：支援路徑錄製與編輯，實現自動移動與資源採集（釣魚、抓蟲、清潔）。
• AI 驅動控制：支援透過自然語言對話執行功能，並可透過微信遠端控制。
• 宏錄製功能：可錄製並重播特定操作序列。
• MIDI 集成：將 MIDI 音樂譜轉換為遊戲內自動鋼琴演奏腳本。