✷ 封存 · 11 個實驗室 · 870 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
透過 Hugging Face 與 Amazon SageMaker 進行 BART 與 T5 的摘要生成分散式訓練
Hugging Face 與 Amazon SageMaker 已完成整合，提供優化的深度學習容器與專用的 HuggingFace estimator，以簡化 BART 與 T5 等 Transformers 模型的分散式訓練。
理解 BigBird 的區塊稀疏注意力機制
BigBird 引入了區塊稀疏注意力機制，將 Transformer 的計算複雜度從二次方降低至線性，使其能夠處理長達 4096 個 token 的序列。
Amazon SageMaker 與 Hugging Face 的合作夥伴關係
Hugging Face 與 Amazon 已建立合作夥伴關係，透過專用的 Deep Learning Containers (DLCs) 與 Python SDK 擴充功能將 Hugging Face Transformers 整合至 Amazon SageMaker，以加速 NLP 模型訓練與部署。
在 Google Cloud Run 上部署 Hugging Face Transformers 情感分析 Pipeline
一位社群成員展示了如何使用 DistilBERT 模型在 Google Cloud Run 上提供 Hugging Face 情感分析 pipeline 服務，實現了低於 5 秒的延遲，且每月成本極低。
使用 Hugging Face Transformers 微調 Wav2Vec2 進行英文 ASR
Hugging Face 提供了一份詳細指南，說明如何使用 Connectionist Temporal Classification (CTC) 損失來微調 Wav2Vec2 預訓練語音模型，以進行英文自動語音識別（ASR）。
Hugging Face Reads: Long-range Transformers
Hugging Face 分析了四種關鍵架構——Longformer、Compressive Transformer、Linformer 和 Performer——旨在將標準 Transformer 自注意力的二次記憶體與時間複雜度降低至線性複雜度。
Hugging Face: 建立神經網路的簡單考量因素
Hugging Face 提供了一個框架，透過優先考慮數據分析、簡單的基準測試以及嚴謹的實作檢查，而非盲目的超參數調優，來建立與除錯神經網路。
使用 Hugging Face Transformers and Ray 進行檢索增強生成
Hugging Face 已將 Ray 集成到檢索增強生成 (RAG) 模型的文檔檢索機制中，以實現檢索調用 2 倍的加速，並提高分布式細調的可擴展性。
Hugging Face PyTorch / XLA TPU 整合
Hugging Face 已將 PyTorch / XLA 整合，以讓 PyTorch 使用者能夠使用現有的 Hugging Face Trainer 介面在 Cloud TPU 上訓練與擴展 transformer 模型。
Hugging Face Transformers v4.2.0 TensorFlow 效能與服務更新
Hugging Face Transformers v4.2.0 為 TensorFlow 模型引入了顯著的計算效能增益，並透過使用 SavedModel 格式，簡化了經由 TensorFlow Serving 的部署流程。
Hugging Face Transformers 透過 DeepSpeed 與 FairScale 整合 ZeRO
Hugging Face Transformers v4.2.0 引入了對 DeepSpeed 與 FairScale 的 ZeRO 優化實驗性支援，讓使用者能夠以更高的批次大小訓練更大的模型，並降低 GPU 記憶體需求。
Hugging Face 加速推理 API 優化
Hugging Face 通過結合高層級函式庫優化、基於 Rust 的分詞以及硬體特定編譯，在其加速推理 API 中實現了 transformer 推理 100 倍的加速。
利用預訓練語言模型檢查點來建構編碼器-解碼器模型 – Hugging Face 部落格摘要
Hugging Face 的部落格文章解釋了如何使用預訓練的 BERT、RoBERTa 或 GPT2 檢查點來熱啟動編碼器-解碼器模型，並展示了這種方法在降低訓練成本的同時，能達到與大型預訓練 seq2seq 模型相當的性能。
將 fairseq WMT19 翻譯系統移植至 🤗 Transformers
Hugging Face 已將 fairseq WMT19 翻譯模型（en‑ru、ru‑en、de‑en、en‑de）移植至 🤗 Transformers 庫，使用戶能夠使用標準 Transformers API 載入並運行這些高品質的翻譯器。
Hugging Face Transformers 與 Ray Tune 整合
Hugging Face Transformers 3.1 引入與 Ray Tune 的整合，使用戶能夠輕鬆實施如 Population-Based Training 和 Bayesian Optimization 等先進的超參數調優演算法。
基於 Transformer 的編碼器-解碼器模型 Hugging Face 部落格文章 2020
Hugging Face 2020 年的部落格文章說明了基於 Transformer 的編碼器-解碼器架構，詳細闡述了它如何透過編碼器與解碼器堆疊、自注意力、交叉注意力以及自回歸生成，將輸入序列映射為可變長度的輸出，並展示了如何使用 🤗Transformers 套件。
Hugging Face pytorch_block_sparse 發佈
Hugging Face 已發佈 pytorch_block_sparse，這是一個提供 BlockSparseLinear 模組的函式庫，透過減少記憶體消耗並提高相對於標準 PyTorch 稀疏矩陣的計算效率，來建立更小且更快速的語言模型。
Reformer: 使用記憶體高效的 Transformer 推展語言建模的極限
Reformer 模型由 Hugging Face 在 2020 年 7 月推出，透過結合 LSH 自注意力、局部自注意力、分塊前饋層、可逆殘差和軸向位置編碼，使得在少於 8 GB RAM 的情況下可訓練長度達到五十萬個 token 的序列。
Hugging Face 文本生成解碼方法指南
Hugging Face 提供關於自回歸解碼策略的全面概述，包括 Greedy Search、Beam Search 以及採樣（Top-K 與 Top-p），以優化 Transformers 中的開放式語言生成。
使用 Transformers 和 Tokenizers 從頭開始訓練語言模型
Hugging Face 提供了一份關於使用 Transformers 和 Tokenizers 函式庫從頭開始訓練新語言模型的全面指南與演示，其特色是為世界語（Esperanto）建立 EsperBERTo 模型。