flashlight: 一個具備 JIT kernel 編譯與原生多領域應用程式的高性能 C++ 機器學習函式庫

它解決了什麼問題

Flashlight 是一個高性能機器學習函式庫，專為需要快速、靈活且輕量級框架的研究人員設計，該框架完全由 C++ 編寫。它解決了對工具的需求，即在不犧牲快速迭代新實驗演算法與設置的能力下，提供 C++ 的效率與規模。

運作原理

Flashlight 使用基於 tape 的自動微分系統（透過 Variable 抽象）以及建立在 ArrayFire tensor 函式庫之上的核心 tensor 介面，以提供高性能的預設值與即時 (just-in-time) kernel 編譯。它被結構化為核心神經網路函式庫 (fl)、獨立工具 (lib)、特定領域套件 (pkg) 以及即用型應用程式 (app)。

對象是誰

它主要針對需要原生 C++ 支援以獲得最大效能、小記憶體佔用，以及能夠修改 tensor 計算內部 API 的 AI 研究人員與開發者。

重點特色

• C++ Native: 完全由 C++ 編寫，提供完全的內部可修改性與極小的核心佔用（低於 10 MB）。
• High Performance: 利用 ArrayFire 進行 JIT kernel 編譯，並支援 CUDA 與 CPU 後端。
• Multi-Domain Support: 包含用於自動語音辨識 (ASR)、影像分類、物件偵測與語言建模的內建應用程式。
• Automatic Differentiation: 提供簡單的、基於 tape 的 autograd 系統來計算梯度。