vLLM-Omni 為 Qwen3-Omni-30B-A3B-Instruct 推論服務進行的優化
vLLM-Omni 透過三階段流水線(Thinker、Talker、Code2Wav)提供 Qwen3-Omni-30B-A3B-Instruct 服務,並利用階段分解、CUDA Graphs、非同步分塊傳遞、非同步輸出、階段副本及熱路徑清理來提升吞吐量與降低延遲。
Genesis Molecular AI:以 PEARL 與擴散模型推進藥物發現
Genesis Molecular AI 正利用擴散模型與全新結構預測模型 PEARL,達成次埃級別的蛋白質‑配體結合精度,從而開發先前難以藥物化的目標的藥物。
any-llm:使用官方 SDK 直接存取任意 LLM 供應商的統一 API(無需 Proxy)
一個統一的 Python SDK,提供單一介面存取多家 LLM 供應商(如 OpenAI、Anthropic、Mistral),無需更改程式碼。
dstack: 一個用於跨多雲與地端集群進行 GPU 配置與編排的統一控制平面
一個用於 GPU 配置與編排的統一控制平面,可簡化任何 GPU 雲端、Kubernetes 或地端集群上的開發、訓練與推論流程。
XNNPACK:提供跨平台推論優化神經網路基元的低階加速函式庫
XNNPACK 是一套高度優化的低階效能基元函式庫,用於在 ARM、x86、WebAssembly 與 RISC‑V 平台上加速神經網路推論。
optimum: 一個用於在各種 AI 加速器上最大化訓練與推理效率的硬體優化工具包
Hugging Face 生態系統的擴展,提供優化工具,以便在目標硬體加速器上以最高效率訓練與執行 AI 模型。
zml: 一個將 AI 工作負載與專有硬體解耦的生產級推論堆疊
一個將 AI 工作負載與專有硬體解耦的生產級推論堆疊,允許使用單一程式碼庫在 NVIDIA、AMD、Intel 以及 TPU/Trainium 加速器上執行模型。
FastDeploy: 一款具備 PD 分離與廣泛硬體加速功能的生產級 LLM 與 VLM 部署工具包
一款基於 PaddlePaddle 的 LLM 與 VLM 生產級部署工具包,提供高效能推理與廣泛的硬體相容性。
csghub: 一個類似 Hugging Face 的私有地端 LLM 資產管理平台
一個開源、地端的 Hugging Face 替代方案,用於管理、儲存和分發 LLM 資產、數據集和代碼。
typedb:一個以強類型統一關聯式、文件式與圖形模型,並具備宣告式查詢語言的資料庫
TypeDB 是下一代資料庫,將關聯式、文件式與圖形模型統一於單一強類型系統,簡化複雜且相互關聯資料的管理。
open_model_zoo: 一個用於高效能推論的優化預訓練深度學習模型與工具集合
一個用於加速高效能推論應用程式開發與部署的優化預訓練深度學習模型與工具集合。
CTranslate2: 針對 Transformer 模型的高性能推理引擎,具備先進的量化與硬體優化功能
一個用於高效 Transformer 模型推理的 C++ 和 Python 函式庫,利用量化與自定義運行時在 CPU 和 GPU 上加速執行並減少記憶體使用量。
whichllm:一個具備硬體感知能力推薦引擎,根據系統規格與真實世界基準測試為最佳在地 LLM 進行排名
一款具備硬體感知能力的 LLM 推薦工具,根據您的特定 GPU/CPU/RAM 與真實世界的基準測試效能,為最佳的 HuggingFace 模型進行排名。
argmax-oss-swift:為 Apple 平台提供語音轉文字、文字轉語音與說話者分離的裝置端音訊推論框架
一套基於 Core ML 的 Apple 平台裝置端推論框架,提供語音轉文字、文字轉語音與說話者分離功能。
TensorRT: 一個用於在 NVIDIA GPU 上加速 AI 模型的超高性能推理優化器與運行時
一個 AI 推理優化器與運行時,可在 NVIDIA GPU 上加速各種模態的深度學習模型執行。
ncnn: 針對行動、嵌入式與桌面部署優化的高效能神經網路推論框架
一個針對行動、嵌入式與桌面部署優化、且無第三方執行時依賴的高效能神經網路推論框架。
ColossalAI: 一個用於高效大規模模型訓練與推理的分佈式深度學習框架
一個透過先進的並行技術與記憶體管理,讓大型 AI 模型的訓練與推理變得更快且更便宜的分佈式深度學習框架。
Fil-C 記憶體安全上下文切換
Fil-C 實作記憶體安全的 setjmp/longjmp 與 ucontext API,以防止堆疊損毀與懸掛堆疊執行,並將其與垃圾回收器整合。
丹尼爾·桑切斯·埃斯特拉達案:言論自由 vs. 證據篡改
丹尼爾·桑切斯·埃斯特拉達因運送小冊子被判 30 年監禁,此判決引發了關於此行為是受保護的言論自由行使,還是隱匿證據、妨礙司法的犯罪行為的辯論。
Sandia National Labs SA3000 辐射硬化 CPU
Sandia SA3000 是 Intel 8085 处理器的辐射硬化 CMOS 转换版,专为核武器和深空任务设计。
Instagram 將使用者照片納入 Meta Glasses 廣告
Instagram 正利用使用者上傳的照片製作針對 Meta Glasses 的個人化廣告,因而引發隱私與 Meta 服務條款長期應用的討論。
WATaBoy:將 Game Boy 指令即時編譯 (JIT) 為 WebAssembly
WATaBoy 展示了針對 WebAssembly(Wasm)的即時編譯(JIT)器能夠在 Game Boy 模擬上超越原生直譯器,為在 iOS 等受限平台上實現高效能模擬提供了一條可行的路徑。
ScarfBench: 基準測試 AI 代理以進行企業 Java 框架遷移
IBM Research 推出 ScarfBench,一個開放的基準,用於評估 AI 代理遷移企業 Java 應用程式至 Spring、Jakarta EE 和 Quarkus 框架的能力。
Grant Sanderson 談 AI 與數學的未來
Grant Sanderson 討論了 AI 在數學領域的快速進展如何揭示了 AI 能力的「尖銳」性質,定理證明與概念性「築山」之間的區別,以及數學家角色向策展與教育的轉變。
Gemini Omni Flash API 發佈
Google 已發佈 Gemini Omni Flash API,這是一款專精於對話式影片編輯、多模態輸入與世界模擬的尖端模型。
keras-tcn: 一個用於 Keras 的 Temporal Convolutional Network 層,用於在序列建模中取代 LSTMs 和 GRUs
一個 Keras 的 Temporal Convolutional Networks (TCN) 實作,為長序列建模提供了一個比 LSTMs 和 GRUs 更穩定且更具平行化能力的替代方案。
pykeen: 一個用於訓練與評估知識圖譜嵌入模型的 Python 框架
一個用於訓練與評估知識圖譜嵌入模型的 Python 套件,具備豐富的內建資料集與模型。
PyPOTS: 一個用於分析含有缺失值的多元時間序列的機器學習工具箱
一個用於部分觀測時間序列機器學習的 Python 工具箱,為含有缺失值的數據提供填補、預測與異常檢測的統一 API。
diffrax:基於 JAX 的自動微分與 GPU 支援數值微分方程求解器庫
一個基於 JAX 的數值微分方程求解器庫,具備自動微分與 GPU 支援,支援 ODE、SDE 與 CDE。
SimpleHTR:一個將單字與文本行圖像轉換為數位文字的手寫文字辨識系統
一個基於 TensorFlow 的手寫文字辨識系統,利用 CNN 與 LSTM 層將單字或文本行的圖像轉換為數位文字。
xlstm: 一種擴展 LSTM 以在語言建模中與 Transformers 競爭的遞歸神經網絡架構
一種新的遞歸神經網絡架構,擴展了 LSTM 以與 Transformers 和 State Space Models 競爭,其特點是具有一個用於高效推理的 7B 參數語言模型。
GeneticAlgorithmPython: 一個用於優化機器學習模型與複雜函數的直觀遺傳演算法函式庫
一個用於建立遺傳演算法以優化數學函數與機器學習模型的 Python 函式庫,並原生支援 Keras 與 PyTorch。
raster-vision: 一個用於在衛星與航空影像上建立 ML 模型之地理空間電腦視覺框架
一個使用 PyTorch 在衛星、航空與無人機影像上建立電腦視覺模型的 Python 函式庫與低程式碼框架。
Bash4LLM+ 概覽:輕量級的 Bash 包裝器,用於 LLM API
Bash4LLM+ 是一個無依賴、具安全性的 Bash 腳本,提供 Groq 與其他相容 OpenAI 的 LLM API 的 CLI 包裝器,具備會話管理與 UI 狀態系統。
AI 在布朗大學的欺詐行為:帶回家考試的終結
Serrano 教授譴責了布朗大學數學經濟學考試中大規模的 AI 驅動作弊行為,這標誌著 AI 時代學術誠信與評估方法的關鍵轉變。
使用 Claude Code 與 Opus 4.8 進行 MRI 分析:AI 第二意見的案例研究
技術性地探索使用 Claude Code 與 Opus 4.8 分析 DICOM MRI 資料,強調了 AI 驅動與人類醫療診斷之間的顯著差異。
audiomentations:一個快速且易於使用的深度學習音訊資料增強函式庫
一個 Python 音訊資料增強函式庫,提供多樣化的轉換,使音訊深度學習模型在實際應用中更具魯棒性。
torchio: 一個基於 PyTorch 的工具包,用於預處理和增強具有領域特定偽影的 3D 醫學影像
一個用於 PyTorch 的 Python 函式庫,提供高效載入、預處理和增強 3D 醫學影像的工具。
synthetic-data-generator: 一個支援 GANs、LLMs 與十億級數據集的隱私保護表格數據生成器
一個專門用於使用統計模型、GANs 與 LLMs 生成高品質、隱私保護的合成表格數據的專業框架。
torchmetrics: 一個用於分散式訓練與評估的可擴展 PyTorch 指標函式庫
包含超過 100 種 PyTorch 指標實作的集合,可自動化分散式裝置間的累積與同步,以減少機器學習流程中的樣板程式碼。
kompute:跨廠商 GPU 計算框架,提供不同顯示卡品牌的高效能加速
基於 Vulkan 的跨廠商 GPU 計算框架,能在 AMD、NVIDIA 與 Qualcomm 硬體上提供機器學習與資料處理的高效能加速。
deepdetect:一個用於跨多種模態統一訓練與推論的深度學習執行環境與 REST 伺服器
一個深度學習執行環境與 REST 伺服器,提供統一的 API 以在影像、文字與表格資料上進行訓練與推論。
kuberay:用於管理 Ray 叢集、工作與服務生命週期的 Kubernetes Operator
一個簡化 Ray 應用程式在分散式 AI 工作負載上部署、擴縮與管理的 Kubernetes Operator。
voxelmorph: 一個基於學習的框架,用於可變形醫學影像配準與對齊
一個通用的函式庫,用於基於學習的影像配準與變形建模,主要用於對齊醫學影像掃描。
Papers-in-100-Lines-of-Code:每篇不超過 100 行程式碼的 60 多篇具影響力 AI 研究論文的極簡實作
一個收錄超過 60 篇具影響力 AI 與機器學習研究論文的極簡實作集合,每篇皆以 100 行或更少的程式碼完成。
Apple 稀疏映像格式(ASIF)技術分析
Apple 的 ASIF 是在 macOS 26 Tahoe 為 Virtualization 框架推出的稀疏虛擬磁碟格式,採用基於區塊的分配機制,並內嵌位圖以提升儲存效率。
leptonai: 一個用於在 NVIDIA DGX Cloud Lepton 上管理與操作 AI 工作負載的 Python 函式庫與 CLI
一個用於 NVIDIA DGX Cloud Lepton 平台的 Python 函式庫與 CLI,允許使用者部署與管理 AI 端點、批次作業與叢集。
AIF360:一個用於檢測與緩解機器學習模型中演算法偏見的可擴展工具包
一個適用於 Python 和 R 的可擴展開源函式庫,提供用於檢測和緩解機器學習模型中演算法偏見的指標和演算法。
DeepCamera: 一個具備自主硬體感知技能部署與在地 VLM 分析功能的開源 AI 攝影機平台
一個開源 AI 攝影機平台,透過自主且具備硬體感知能力的安裝程序,實現 VLM 場景分析與物件偵測技能的在地部署。
無DRM書籍:作者與社區資源的精選清單
提供無DRM電子書的作者精選清單,以及尋找和支援無DRM出版的社區技巧。