mudler/vllm.cpp

vllm.cpp 是一個純 C++ 推論引擎,其效能與功能與資源密集的 vLLM Python 伺服器一致,但體積僅約 66 MiB。它可在 CPU、CUDA、Metal、Vulkan 等平台上執行 GGUF 量化 LLM(及多模態模型),提供逐 token 相同的輸出、連續批次處理、預測解碼,以及 OpenAI 兼容的 HTTP API,且完全不需 Python 執行時環境。

zexadev/gemini-web2api-go

一個 Go 伺服器,反向代理 Google Gemini 的網頁 UI 協定,並以 OpenAI 相容 API(聊天、模型、串流、影片、影像、音樂、網頁搜尋)形式公開。支援匿名或使用 Google Cookie,包含速率限制、代理與 Cookie 池、SQLite/MySQL 持久化,以及輕量級管理 UI。

carloslfu/slotstream

slotstream 是一個基於 Swift 的推論引擎,可在 Apple Silicon Mac 上執行 1250 億參數的 Qwen‑3.8‑Flash‑Next 模型。它會從 SSD 流式傳輸 4 位元量化權重至 RAM 快取,使 48 GB Mac 可達每秒約 12 個 token 的速度。該工具提供 CLI、與 Ollama 兼容及 OpenAI 兼容的 HTTP API、可選的視覺支援、預測解碼功能,並提供 Swift 套件以嵌入應用程式。

narumiruna/pi-extensions

Pi Coding Agent 的模組化擴充功能與函式庫集合,增加了編碼、瀏覽器自動化與工作流可觀測性功能。

stacklok/toolhive

一個基於容器隔離與集中治理的開源平台,用於安全地執行與管理 Model Context Protocol (MCP) 伺服器。

signerless/llm-checker

一款由 AI 驅動的 CLI 工具,可分析硬體並從多來源註冊表中推薦最佳的本地 LLM 模型,具備整合式安全驗證與 MCP 支援。

tile-ai/TileRT

一個基於瓦片的即時執行引擎,用於超低延遲的 LLM 推理,最小化 NVIDIA B200 GPU 上大型模型的每個輸出 token 的時間。

huggingface/skills

一組標準化的任務定義與指示,使 AI 編碼代理能在 Hugging Face Hub 上執行複雜的 AI/ML 工作流。

hybridgroup/yzma

一個整合 llama.cpp 的 Go 函式庫,用於本地 LLM 和 VLM 推論並支援硬體加速,無需 CGo 或外部伺服器。

ikawrakow/ik_llama.cpp

一個高性能的 llama.cpp 分支,提供更佳的 CPU 推論速度與對更多先進量化類型的支援。

manticoresoftware/manticoresearch

一個高效率、開源的搜尋資料庫,提供全文、向量與混合搜尋功能,是 Elasticsearch 的快速替代方案。

harbor-framework/terminal-bench-science

一個用於評估 AI 代理在跨多個科學領域的專家策劃研究工作流程上的表現的基準,已在終端環境中驗證。

aimen08/noty

一款原生 macOS 便利貼筆記應用,採用螢幕邊緣展開式牌組 UI,可快速、不顯眼地進行筆記記錄。

optuna/optuna

一個使用執行時定義 API 的自動超參數最佳化框架,可高效找到機器學習模型的最佳參數。

AnkleBreaker-Studio/unity-mcp-server

一個連接 AI 助手與 Unity 編輯器及 Unity Hub 的 MCP 伺服器,為 AI 驅動的遊戲開發與自動化提供超過 330 個工具。

stackql/stackql

一個開源的 SQL 介面,用於跨多個提供者部署、管理和查詢雲端資源與 SaaS API。

huggingface/datasets

一個輕量級程式庫,用於機器學習訓練與評估中,實現大規模多模態資料集的一鍵載入與高效預處理。

microsoft/power-platform-skills

一套專為 Claude Code 與 GitHub Copilot CLI 所設計的智能體插件,用於自動化 Power Platform 應用、網站與流程的開發。

liaohch3/claude-tap

一個用於 AI 編碼代理的本地代理與追蹤檢視器,允許使用者檢視 API 流量、系統提示與工具呼叫,以調試代理行為。

CodeBoarding/CodeBoarding

CodeBoarding 結合靜態分析與 LLM 推理,為程式碼庫建立視覺化架構圖與文件,協助開發者與 AI 代理理解系統結構。

vwxyzjn/cleanrl

一個深度強化學習函式庫,提供單檔、透明的流行演算法實作,以簡化研究、除錯與原型開發。

vercel-labs/just-bash

一個具備虛擬檔案系統的模擬 bash 環境,允許在沙箱中安全執行類似 bash 的指令,而不會危及主機系統的實際檔案或設定。

deepseek-ai/DeepGEMM

專為 NVIDIA SM90 與 SM100 GPU 優化的 LLM 高性能 CUDA 內核庫,提供針對 FP8、FP4 與 BF16 的優化 GEMM 與融合 MoE 原語。

smtg-ai/claude-squad

一個在隔離的 git 工作區中管理多個 AI 編碼代理的終端機應用程式,讓開發者可以同時執行多個任務而不會產生衝突。

samanhappy/mcphub

一個自架設的 MCP 網關與管理平台,提供統一方式連接、管理與操作多個 Model Context Protocol 伺服器。

daymade/claude-code-skills

一個針對 Claude Code 的生產就緒外掛程式市場,透過專用於開發、金融與文件工作的流程擴展其能力。

eclipse-zenoh/zenoh

一種為分散式系統統一了發佈/訂閱、地理分散式儲存與運算的超高效能通訊協定。

caura-ai/caura

Caura 是一個開源治理的記憶層,專為 AI 代理艦隊設計,支援跨多個代理的共享、自我改善的知識儲存與檢索。

Aaronontheweb/dotnet-skills

一個包含 30 個技能與 5 個專用代理的程式庫,確保 AI 編碼助手在 .NET 開發中遵循生產驗證的模式與最佳實務。

zilliztech/claude-context

一個 MCP 插件,為 AI 程式編寫代理加入語意程式碼搜尋功能,讓它們能使用向量資料庫有效地從大型程式碼庫中檢索相關片段。

datadrivenconstruction/OpenConstructionERP

一個開源、自託管的建築專案管理 ERP,提供 BOQ、BIM/CAD 算量、4D 進度計畫和 5D 成本建模工具。

mensfeld/code-on-incus

一個使用 Incus 系統容器提供隔離環境的 AI 編碼代理安全沙箱,具備即時威脅偵測與憑證保護功能。

Rizzo-AI-Academy/rizzo-pii

一款針對義大利法律文本的本地可逆PII匿名化工具,讓使用者在使用雲端LLM時無需傳送敏感個人資料。

midudev/canirun.ai

一種硬體偵測和推薦工具,根據使用者的CPU、RAM和GPU,告知使用者哪些開放權重AI模型將在其特定機器上執行最佳。

NVIDIA/physicsnemo

一個用於物理與科學機器學習的開源 PyTorch 框架,為科學與工程中的 AI 提供可重複使用的元件與訓練配方。

hanlinwenyuan/hlwy-ai-checker

一種透過將其統計輸出指紋與官方 API 基準進行比較,來驗證第三方 AI API 供應商是否使用真實模型的工具。

comeonzhj/Auto-Redbook-Skills

一個用於從 Markdown 自動生成主題圖像卡片並發布為小紅書筆記的工具。

BlessedRebuS/Krawl

一個使用偽裝頁面、蜘蛛陷阱與 AI 生成內容的雲原生 Web 蜜罐伺服器,用於偵測與分析惡意網路爬蟲與攻擊者。

open-webui/computer

一個基於網頁的工作站介面,可將您本地電腦的檔案、終端機與 Git 狀態提供給任何瀏覽器,並配備用於機器自動化的整合 AI 代理。

justlovemaki/AIClient2API

一個API代理,將僅限用戶端的AI模型介面轉換為標準的OpenAI相容API,使受限模型可以在任何應用程式中使用。

pullfrog/pullfrog

一個基於 GitHub Actions 的框架,包裝 AI 編碼代理,使用您自己的 LLM 金鑰或訂閱來自動化 PR 審查、CI 修復與問題分類。

Liquid4All/cookbook

一套完整的範例與教學,用於在行動裝置、桌面與瀏覽器環境中部署與微調 Liquid AI 的開源權重 Liquid Foundation Models (LFMs)。

southleft/figma-console-mcp

一個將 AI 助理連接至 Figma 的 MCP 伺服器,支援設計系統提取、雙向 Token 同步以及程式化設計建立。

dagster-io/dagster

用於管理機器學習模型與資料表等資料資產的雲原生資料管道編排器,具備整合的血緣追蹤與可觀測性。

capitalone/VulnHunter

一種代理型AI安全工具,透過模擬攻擊者路徑並使用偽證明引擎最小化誤報,識別原始碼中可利用的漏洞。

apache/tvm

Apache TVM 是一個開源機器學習編譯框架,採用 Python-first 方法,將模型優化並部署為最小化的可部署模組。

ai-sdlc-framework/ai-sdlc

一個用於規範驅動型 AI 開發的決策引擎和編排框架,透過要求 AI 代理在執行任務前進行人工主導決策來確保軟體穩定性。

JerBouma/FinanceToolkit

一個提供500多種透明計算方法的開源財務工具包,消除對不一致專有資料來源的依賴。