amzn/pecos

解決的問題

PECOS 解決了極端龐大輸出空間（最多可達一億個候選）問題中的快速學習與推論挑戰，例如極端多標籤排序（XMR）與大規模檢索。它讓系統能從龐大的候選池中快速識別出少量相關輸出（通常為10–100個）。

工作原理

PECOS 是一個模組化框架，提供多種演算法方法來處理大規模輸出空間：

• X-Linear：使用遞迴線性模型遍歷層次化標籤樹，從根節點移動至葉節點群組，以找出前k個相關標籤。
• XR-Transformer：基於 Transformer 的框架，透過在多解析度目標上遞迴微調預訓練模型，產生相關標籤或建立任務感知嵌入。
• ANN Search (HNSW)：實作 Hierarchical Navigable Small World Graphs 算法，用於近似最近鄰搜尋，支援稀疏與密集輸入特徵，並具備 SIMD 優化。

適用對象

專為從事大規模檢索系統、極端多標籤分類任務，以及任何需要在數百萬個潛在輸出中實現高效率推論之應用的開發者與研究人員設計。

主要亮點

• 支援最多一億個候選的輸出空間。
• 提供以 C++ 實作的快速即時推論實作。
• XR-Transformer 模組可與 Hugging Face Transformers 整合。
• 支援 ANN 搜尋的執行緒安全圖形建構與平行推論。