kyegomez/zeta

解決的問題

Zeta 是一個模組化的 PyTorch 框架，透過提供可重複使用且高效率的建構模組，簡化 AI 模型的開發。它消除了開發者從零開始重建常見架構元件的需要，讓開發者能快速組裝出最尖端的模型。

如何運作

Zeta 提供一整套優化過的 PyTorch 模組，可作為 AI 架構中的即插即用替代品。這些模組包括：

• 注意力機制：多查詢、Sigmoid 與 Flash 注意力的實作。
• 專家混合 (MoE)：用於高效專家路由與門控的工具。
• 量化：如 BitLinear（1 位 Transformer）與透過 Niva 實現的動態量化技術。
• 神經網路模組：專用激活函數（例如 SwiGLU）、歸一化層與前饋網路。
• 架構：Transformer、視覺 Transformer (ViT)、U-Net 以及 PalmE 多模態架構的預建構實作。
• 效能工具：融合運算（例如 FusedDenseGELUDense）以減少核心開銷，以及用於混合精度與編譯的 hyper_optimize 裝飾器。

適用對象

希望使用 PyTorch 建構、優化並實驗現代神經網路架構，而無需手動實作每個底層元件的 AI 研究人員與開發者。

主要亮點

• 模組化設計：元件設計為無縫的 PyTorch 即插即用替代品。
• 高效率：包含融合核心與優化實作，實現效能提升。
• 涵蓋範圍廣：涵蓋從文字與視覺到多模態模型以及 RLHF（透過直接策略最佳化）的全部內容。
• 生產就緒：經過全面測試覆蓋，具備高可靠性。