Hugging Face Hub 社群更新:拉取請求與討論
Hugging Face 已在 Hub 引入拉取請求與討論功能,讓社群在模型、資料集與 Spaces 上進行協作,無需建立倉庫分支。
OpenAI Codex 應用與整合
OpenAI Codex 是一個基於 GPT-3 的自然語言轉程式系統,支援超過 70 個應用程式,包括 GitHub Copilot,透過將英文指令轉換為程式碼來提升開發者的生產力。
TAPEX:透過神經式 SQL 執行的高效表格預訓練
TAPEX 是一種表格預訓練方法,透過合成的 SQL 執行配對,在表格問答與事實驗證上達到最先進的表現,且相較於以往方法具備顯著更高的效率。
Hugging Face 關於 Q-Learning 的介紹
Hugging Face 提供了一份關於 Q-Learning 的技術指南,這是一種使用 Q 表來決定最佳狀態-動作配對的離策略基於價值的強化學習方法。
Hugging Face 多模態專案倫理憲章
Hugging Face 為其多模態學習專案制定了倫理憲章,將倫理原則、透明度與公平性直接融入機器學習研究生命週期。
Sempre Health 案例研究:加速 NLP 流程的 Hugging Face 專家加速計畫
Sempre Health 利用 Hugging Face 專家加速計畫部署了一個 NLP 流程,能自動處理超過 20% 的患者來訊,顯著提升了業務可擴展性。
OpenAI DALL·E 2 研究預覽更新
OpenAI 正在以每週 1,000 名使用者的速度向等候名單上的使用者擴大 DALL·E 2 的存取,這是在產生超過 300 萬張圖像的有限研究預覽之後。
Hugging Face 深度強化學習課程 第2單元 第1部分:Q學習概念導論
Hugging Face 發布了其深度強化學習課程的第一部分,說明了基於價值的方法、貝爾曼方程式,以及 Monte‑Carlo 與 Temporal‑Difference 學習,作為 Q‑Learning 的基礎。
Hugging Face 獎學金計畫公告
Hugging Face 推出獎學金計畫,透過資源、認可與量身訂製的支援,協助並賦能開源機器學習生態系統的關鍵貢獻者。
機器學習專家訪談 Sasha Luccioni – 關於倫理 AI 與氣候影響的重點
Hugging Face 采訪了研究科學家 Sasha Luccioni,她討論了她在倫理 AI、碳足跡測量以及將機器學習應用於氣候與社會挑戰方面的工作。
Gradio 3.0 發行說明
Hugging Face 已發布 Gradio 3.0,包含完整的前端重新設計,並引入 Gradio Blocks 以在 Python 中構建複雜、客製化的機器學習 Web 應用。
Hugging Face 學生大使計畫 2022
Hugging Face 推出了首個學生大使計畫,以協助實現其在 2023 年前教導 500 萬人機器學習的目標。
Hugging Face 機器學習洞見總監:SaaS 版
Hugging Face 採訪了來自 Salesforce、Amplitude、ZoomInfo 與 Repustate 的四位機器學習總監,討論將機器學習整合至 SaaS 產品的實務挑戰、常見陷阱與未來機會。
Optimum 1.2 推理發布加入 ONNX Runtime 加速管線
Hugging Face 宣佈了 Optimum 1.2,新增了透過 ONNX Runtime 的推理支援與 Transformers 管線整合,使模型服務更快速、具量化且經過最佳化。
Hugging Face C 輪融資公告
Hugging Face 獲得 1 億美元的 C 輪融資,以透過開源研究、產品與協作式機器學習加速 AI 的民主化。
fastai 與 Hugging Face Hub 的整合
Hugging Face 已整合 fastai 函式庫,讓使用者能夠透過一行 Python 程式碼,直接將 fastai Learner 物件上傳至 Hugging Face Hub 或從中下載。
OpenAI 領導團隊更新
OpenAI 宣布了 Greg Brockman、Brad Lightcap、Mira Murati 與 Chris Clark 的執行職務變動,以使領導層與公司成長及策略里程碑保持一致。
Hugging Face 深度強化學習簡介
Hugging Face 發布了一個免費深度強化學習課程的入門教學,涵蓋核心 RL 概念、RL 框架、探索與利用的權衡、基於策略與基於價值的方法,以及深度神經網路如何結合於 RL。
使用 PyTorch Fully Sharded Data Parallel 加速大型模型訓練
Hugging Face 將 PyTorch Fully Sharded Data Parallel (FSDP) 整合至 Accelerate 函式庫中,透過將優化器狀態、梯度和參數分片到 GPU 上,並提供可選的 CPU offloading 功能,實現了巨型模型的訓練。
使用 Kili 與 HuggingFace AutoTrain 進行意見分類
Hugging Face 示範如何使用 Kili 進行資料標註,並利用 AutoTrain 進行自動化模型訓練,構建文字分類的主動學習管線。
Hugging Face 機器學習總監洞見 – 產業觀點
Hugging Face 發布了一系列與六位機器學習總監的訪談,分享了機器學習如何改變媒體、製藥、科學、物流、行銷與能源領域,同時突顯共同的挑戰與未來機會。
在 Habana Gaudi 上開始使用 Transformers
Hugging Face 與 Habana Labs 合作,加速 Transformer 模型的訓練,與基於 GPU 的 Amazon EC2 實例相比,Habana Gaudi 加速器可提供高達 40% 的價格效能提升。
以機器學習提升客戶服務效能
Hugging Face 展示了如何使用微調的 DeBERTa-v3-base 模型以及 Transformers 與 Datasets 套件,自動過濾不滿的客戶回饋。
Hugging Face 教育倡議 2022 發佈
Hugging Face 在 2022 年 4 月宣布了一項多軌教育計畫,目標在 2023 年底前教導 500 萬人機器學習,並為學習者、教師以及大眾提供免費資源。
Hugging Face Hub 碳排放追蹤
Hugging Face 已推出工具,用於追蹤、報告與篩選基於 CO2 排放的機器學習模型,以提升 AI 的環境透明度。
測量 AI 對齊中的古德哈特定律
OpenAI 探討在 AI 模型中優化代理目標如何導致真實目標表現下降,這一現象稱為古德哈特定律,並提出 best-of-n 抽樣作為分析方法。
使用 CLIP 潛向的階層式文字條件圖像生成
OpenAI 推出了一個兩階段生成模型,使用先驗模型從文字產生 CLIP 圖像嵌入,並透過解碼器從這些嵌入生成圖像,提升了多樣性並實現了零樣本圖像操作。
Lewis Tunstall 访谈 – Hugging Face 机器学习专家
Hugging Face 宣布了一场关于机器学习工程师 Lewis Tunstall 的详细访谈,重点介绍了他在 Transformers 库的工作、新出版的《NLP with Transformers》一书,以及不断扩展的 Hugging Face 课程。
Habana Labs 與 Hugging Face 合作加速 Transformer 模型訓練
Habana Labs 與 Hugging Face 已將 Habana 的 SynapseAI 軟體套件與 Hugging Face Optimum 函式庫整合,以加速在 Habana Gaudi 處理器上進行 Transformer 模型訓練。
Hugging Face Transformers 設計哲學
Hugging Face 為 Transformers 函式庫採用了「單一模型檔案」政策,刻意拋棄 DRY(Don't Repeat Yourself)原則,以優先考慮可讀性、社群貢獻以及靜態機器學習模型的穩定性。
Decision Transformer 在 Hugging Face Transformers 中的整合
Hugging Face 已將 Decision Transformer(將強化學習視為條件序列建模問題的離線強化學習方法)整合至 transformers 程式庫與 Hugging Face Hub。
機器學習專家:訪談 Margaret Mitchell
Dr. Margaret Mitchell 討論了倫理 AI 的關鍵角色、用於提高透明度的 Model Cards 的開發,以及機器學習開發中多樣性與包容性的必要性。
Hugging Face AI Research Residency Program Announcement
Hugging Face 推出了為期 9 個月的 AI Research Residency Program,旨在幫助有志向的研究人員與 Hugging Face Science Team 合作,開發機器學習技術並發表開源研究成果。
使用自定義數據集微調 SegFormer 以進行語義分割
Hugging Face 提供了一份技術指南,介紹如何使用 Transformers 庫微調 SegFormer 模型,以進行自定義用例(如自動人行道導航)的像素級圖像分類。
使用 Hugging Face datasets 進行圖像搜尋
Hugging Face 展示了如何透過結合 `datasets` 函式庫、CLIP 嵌入與 FAISS 來構建一個圖像搜尋應用程式,以實現高效的相似度搜尋。
使用 Hugging Face Transformers 與 AWS Inferentia 加速 BERT 推論
Hugging Face 提供了一份指南,說明如何使用 AWS Inferentia 與 Neuron SDK 來加速 BERT 推論,並在 Amazon SageMaker 上實現 5-6ms 的延遲。
GPT-3 與 Codex 的編輯與插入功能
OpenAI 發布了 GPT-3 與 Codex 的新版本,使其能夠編輯現有文本並在文件的中間插入內容,超越了簡單的文本補全。
在 Hugging Face Transformers 中使用受限束搜索(Constrained Beam Search)引導文本生成
Hugging Face 將受限束搜索引入了 Transformers 函式庫,允許用戶在保持語言連貫性的同時,將特定的單詞或短語強制加入生成的文本中。
OpenAI 經濟影響研究倡議
OpenAI 已向研究人員和公司發出徵求合作意向,以研究 GPT-3、ChatGPT 和 DALL-E 2 等大型語言模型的經濟影響。
OpenAI 程式碼生成模型經濟影響研究議程
OpenAI 已提出一項研究議程,旨在研究像 Codex 這樣的程式碼生成模型如何影響生產力、就業與經濟不平等,以作為部署、系統設計與公共政策的參考。
OpenAI 語言模型安全與濫用經驗教訓
OpenAI 分享了從部署 GPT-3 和 Codex 獲得的見解,強調真實世界的濫用經常與理論風險不同,且安全研究經常提升商業價值。
BERT 101:了解來自 Transformer 的雙向編碼器表示
BERT 是由 Google AI Language 開發的雙向 Transformer 模型,透過在大規模資料集上進行無監督預訓練,於 11 項以上常見 NLP 任務上達到最先進的表現。
使用 Hugging Face Transformers 微調 Vision Transformer (ViT) 以進行圖像分類
Hugging Face 提供了一份關於如何使用 `datasets` 和 `transformers` 庫微調 Vision Transformer (ViT) 模型以進行圖像分類的指南,並透過 `beans` 數據集演示了整個過程。
OpenAI Formal Math Olympiad Problem Solving
OpenAI 展示了其模型使用正式證明助手解決 AMC12、AIME 和 IMO 等競賽的正式數學奧林匹亞問題的能力。
使用 Python 開始進行情緒分析
Hugging Face 提供了一份關於如何使用 Python 實作情緒分析的全面指南,利用了來自 Hugging Face Hub 的預訓練模型、用於微調的 Trainer API 以及無程式碼的 AutoNLP 工具。
大型檔案的自動語音辨識(ASR)— 使用 Transformers 中的 Wav2Vec2
Hugging Face 實作了一種利用 Wav2Vec2 的 Connectionist Temporal Classification(CTC)架構的步幅技術,從而在任意長度的音訊檔案以及即時推論情境下實現高品質的自動語音辨識(ASR)。
OpenAI InstructGPT: 讓語言模型對齊以遵循指令
OpenAI 推出 InstructGPT,該系列模型透過人類回饋強化學習(RLHF)進行訓練,以更好地遵循使用者意圖、提高真實性,並相較於 GPT-3 減少毒性。
OpenAI Text and Code Embeddings 發佈
OpenAI 發佈了基於 GPT-3 後繼模型的新型嵌入模型系列,這些模型為文本和代碼提供數值表示,以改進語義搜索、聚類和代碼檢索。
Hugging Face Hub Search API 更新
Hugging Face 為 `huggingface_hub` 函式庫引入了新的程式化搜尋功能,包括 `ModelSearchArguments` 和 `ModelFilter`,以簡化使用者在不離開 IDE 的情況下尋找模型和資料集的流程。
OpenAI 透過對比式預訓練實現文本與程式碼嵌入
OpenAI 開發了一種透過在大規模無監督數據上進行對比式預訓練,來建立高品質文本與程式碼嵌入的方法,在線性探針分類與語義搜尋方面達到了最先進的結果。