go-skynet/go-llama.cpp

解決的問題

本專案提供 llama.cpp 的 Go (Golang) 綁定，讓開發者無需撰寫 C++ 程式碼，即可直接將大型語言模型 (LLM) 推論功能整合至 Go 應用程式中。

運作方式

它作為 llama.cpp 庫的高階封裝。為維持效能並避免從 Go 呼叫 C 函式（CGO）所帶來的額外開銷，專案將大部分運算密集型工作保留在 C/C++ 程式碼中，同時為開發者提供簡化的 Go 介面。

適用對象

希望使用 gguf 檔案格式在本機執行 LLM 並利用硬體加速的 Go 開發者。

主要特色

• 硬體加速：支援多種後端，包括 OpenBLAS、CuBLAS（NVIDIA）、ROCM（AMD）、OpenCL 和 Metal（Apple Silicon）。
• GGUF 支援：完全相容新的 gguf 模型格式。
• 高階介面：設計簡潔易用，同時最小化 CGO 橋接的計算成本。