減少偏見並提升 DALL·E 2 的安全性
OpenAI 已實施一項系統層面的技術於 DALL·E 2,以提升生成人物的多樣性,並加強安全過濾機制以防止製作欺騙性內容。
動態對抗資料收集(DADC)於 MNIST – Hugging Face 教學
Hugging Face 宣布了一個關於 MNIST 上動態對抗資料收集(DADC)的逐步教學,說明如何收集由人類產生的對抗樣本並重新訓練模型以提升韌性。
DALL·E 2:延伸創意
OpenAI 的 DALL·E 2 研究預覽已被超過 3,000 位藝術家在 118 個國家採用,將 AI 生成的影像整合到從醫療支援到高端烹飪藝術等多元創作工作流程中。
BLOOM 176B 訓練技術概覽
Hugging Face 發布了關於 1760 億參數 BLOOM 模型如何使用 384 顆 A100 GPU、Megatron‑DeepSpeed 3D 並行以及 BF16 混合精度進行訓練的詳細說明,重點說明了硬體、軟體堆疊與工程挑戰。
使用句子轉換模型構建播放清單生成器
Hugging Face 示範如何使用 Sentence Transformers 進行歌詞嵌入的語意搜尋,並以 Gradio Blocks 建立使用者介面,打造語意搜尋式的播放清單生成器。
BLOOM:全球最大開放多語言語言模型
Hugging Face 與 BigScience 計畫已發布 BLOOM,這是一個擁有 1760 億參數的開放存取多語言語言模型,於 46 種自然語言與 13 種程式語言上以完全透明的方式進行訓練。
開始使用 Twitter 情感分析
Hugging Face 提供了一份指南,說明如何使用 Inference API 對 Twitter 資料執行自動化情感分析,適用於開發者與非程式開發者。
使用 PyTorch 的策略梯度 – Hugging Face 深度強化學習課程 第 5 單元
Hugging Face 發布了一個教學,從頭開始在 PyTorch 中實作 REINFORCE 蒙特卡羅策略梯度演算法,並在 CartPole‑v1、PixelCopter 與 Pong 上進行評估。
使用 Sentence Transformers 開始機器學習之旅
Hugging Face 提供了一份指南,幫助初學者使用 Sentence Transformers 套件開始他們的第一個機器學習專案,透過建立嵌入向量並執行語意搜尋。
DALL·E 2 預訓練緩解措施
OpenAI 實施了主動學習的資料過濾、用於防止偏見放大的重新加權機制,以及基於聚類的去重流程,以消除 DALL·E 2 中的圖像重複生成問題。
Hugging Face 在 Hub 上的評估
Hugging Face 推出了 Evaluation on the Hub,這是一個由 AutoTrain 提供動力的無程式碼工具,讓使用者能直接在 Hugging Face Hub 上使用任何指標對任何模型在任何資料集上進行評估。
使用 DeepSpeed 加速大型模型訓練
Hugging Face 示範如何使用 Accelerate 函式庫整合 DeepSpeed 的 ZeRO 優化,使得可以使用更大的批次大小,並訓練原本會超出 GPU 記憶體的模型。
OpenAI 影片預訓練(VPT)於 Minecraft
OpenAI 推出了影片預訓練(VPT),這是一種半監督式模仿學習方法,透過在大量未標記的人類遊玩影片資料集上訓練,使代理能在 Minecraft 中學習複雜行為。
開始使用嵌入 – Hugging Face 教程
Hugging Face 宣布了一份逐步指南,說明如何使用 Sentence‑Transformers 函式庫與 Hugging Face Hub 建立、託管與查詢向量嵌入,展示可搜尋的 FAQ 系統。
使用 Hugging Face Optimum 將 Transformers 轉換為 ONNX
Hugging Face 提供三種將 Transformers 模型轉換為 ONNX 的方法,從低階的 torch.onnx API 到高階的 Optimum 函式庫皆有涵蓋。
OpenAI 大模型演化(ELM)研究
OpenAI 推出大模型演化(ELM),這是一種利用大型語言模型(LLM)通過模擬類似人類的程式碼變異來改進基因程式設計,從而在新領域生成可運作程式的方法。
Intel 與 Hugging Face 合作推動機器學習硬體加速
Intel 已加入 Hugging Face 硬體合作夥伴計畫,開發 Optimum Intel 函式庫,使在 Intel 平台上對 Transformer 模型的訓練、微調與推論能夠更順暢地進行硬體加速。
Hugging Face 機器學習洞見總監:金融版
來自美國銀行、加拿大皇家銀行(RBC)以及穆迪分析的專家討論了機器學習如何透過詐騙偵測與個人化產品改變金融業,同時應對遺留系統與監管要求等挑戰。
AI 撰寫的批評有助於人類注意缺陷
OpenAI 的研究顯示,AI 生成的批評有助於人類評估者在摘要中識別出顯著更多的缺陷,暗示了一條可擴展的人類監督複雜 AI 任務的路徑。
OpenAI 大型神經網路訓練技術
OpenAI 概述了主要的平行化策略——資料平行、管線平行、張量平行與專家平行——以及用於協調 GPU 叢集以訓練大型 AI 模型的節省記憶體技術。
太空侵略者的深度 Q 學習
Hugging Face 解釋了深度 Q 學習(DQN),這是一種使用神經網路來近似 Q 值的強化學習方法,適用於像 Atari 遊戲這樣的高維狀態空間。
註釋式擴散模型 – DDPM 實作的詳細步驟說明
Hugging Face 發布了一個註釋式、逐步的 PyTorch 實作,說明如何建構、訓練以及從擴散模型中抽樣以產生圖像的去噪擴散概率模型(DDPM)。
OpenAI、Cohere 與 AI21 Labs 部署語言模型的最佳實踐
OpenAI、Cohere 與 AI21 Labs 已發布一套聯合的初步最佳實踐,旨在負責任地開發與部署大型語言模型,以降低風險並防止濫用。
OpenAI 研究:教導模型以文字表達其不確定性
OpenAI 研究人員展示了 GPT-3 可以在不依賴模型 logits 的情況下,透過自然語言表達其答案的校準不確定性。
Graphcore 與 Hugging Face 擴展 IPU 就緒的 Transformer 模型
Graphcore 與 Hugging Face 已擴充 Hugging Face Optimum 函式庫,納入 10 個針對 Graphcore IPU 優化的 Transformer 模型,涵蓋 NLP、語音與電腦視覺領域。
Hugging Face Hub 社群更新:拉取請求與討論
Hugging Face 已在 Hub 引入拉取請求與討論功能,讓社群在模型、資料集與 Spaces 上進行協作,無需建立倉庫分支。
OpenAI Codex 應用與整合
OpenAI Codex 是一個基於 GPT-3 的自然語言轉程式系統,支援超過 70 個應用程式,包括 GitHub Copilot,透過將英文指令轉換為程式碼來提升開發者的生產力。
TAPEX:透過神經式 SQL 執行的高效表格預訓練
TAPEX 是一種表格預訓練方法,透過合成的 SQL 執行配對,在表格問答與事實驗證上達到最先進的表現,且相較於以往方法具備顯著更高的效率。
Hugging Face 關於 Q-Learning 的介紹
Hugging Face 提供了一份關於 Q-Learning 的技術指南,這是一種使用 Q 表來決定最佳狀態-動作配對的離策略基於價值的強化學習方法。
Hugging Face 多模態專案倫理憲章
Hugging Face 為其多模態學習專案制定了倫理憲章,將倫理原則、透明度與公平性直接融入機器學習研究生命週期。
Sempre Health 案例研究:加速 NLP 流程的 Hugging Face 專家加速計畫
Sempre Health 利用 Hugging Face 專家加速計畫部署了一個 NLP 流程,能自動處理超過 20% 的患者來訊,顯著提升了業務可擴展性。
OpenAI DALL·E 2 研究預覽更新
OpenAI 正在以每週 1,000 名使用者的速度向等候名單上的使用者擴大 DALL·E 2 的存取,這是在產生超過 300 萬張圖像的有限研究預覽之後。
Hugging Face 深度強化學習課程 第2單元 第1部分:Q學習概念導論
Hugging Face 發布了其深度強化學習課程的第一部分,說明了基於價值的方法、貝爾曼方程式,以及 Monte‑Carlo 與 Temporal‑Difference 學習,作為 Q‑Learning 的基礎。
Hugging Face 獎學金計畫公告
Hugging Face 推出獎學金計畫,透過資源、認可與量身訂製的支援,協助並賦能開源機器學習生態系統的關鍵貢獻者。
機器學習專家訪談 Sasha Luccioni – 關於倫理 AI 與氣候影響的重點
Hugging Face 采訪了研究科學家 Sasha Luccioni,她討論了她在倫理 AI、碳足跡測量以及將機器學習應用於氣候與社會挑戰方面的工作。
Gradio 3.0 發行說明
Hugging Face 已發布 Gradio 3.0,包含完整的前端重新設計,並引入 Gradio Blocks 以在 Python 中構建複雜、客製化的機器學習 Web 應用。
Hugging Face 學生大使計畫 2022
Hugging Face 推出了首個學生大使計畫,以協助實現其在 2023 年前教導 500 萬人機器學習的目標。
Hugging Face 機器學習洞見總監:SaaS 版
Hugging Face 採訪了來自 Salesforce、Amplitude、ZoomInfo 與 Repustate 的四位機器學習總監,討論將機器學習整合至 SaaS 產品的實務挑戰、常見陷阱與未來機會。
Optimum 1.2 推理發布加入 ONNX Runtime 加速管線
Hugging Face 宣佈了 Optimum 1.2,新增了透過 ONNX Runtime 的推理支援與 Transformers 管線整合,使模型服務更快速、具量化且經過最佳化。
Hugging Face C 輪融資公告
Hugging Face 獲得 1 億美元的 C 輪融資,以透過開源研究、產品與協作式機器學習加速 AI 的民主化。
fastai 與 Hugging Face Hub 的整合
Hugging Face 已整合 fastai 函式庫,讓使用者能夠透過一行 Python 程式碼,直接將 fastai Learner 物件上傳至 Hugging Face Hub 或從中下載。
OpenAI 領導團隊更新
OpenAI 宣布了 Greg Brockman、Brad Lightcap、Mira Murati 與 Chris Clark 的執行職務變動,以使領導層與公司成長及策略里程碑保持一致。
Hugging Face 深度強化學習簡介
Hugging Face 發布了一個免費深度強化學習課程的入門教學,涵蓋核心 RL 概念、RL 框架、探索與利用的權衡、基於策略與基於價值的方法,以及深度神經網路如何結合於 RL。
使用 PyTorch Fully Sharded Data Parallel 加速大型模型訓練
Hugging Face 將 PyTorch Fully Sharded Data Parallel (FSDP) 整合至 Accelerate 函式庫中,透過將優化器狀態、梯度和參數分片到 GPU 上,並提供可選的 CPU offloading 功能,實現了巨型模型的訓練。
使用 Kili 與 HuggingFace AutoTrain 進行意見分類
Hugging Face 示範如何使用 Kili 進行資料標註,並利用 AutoTrain 進行自動化模型訓練,構建文字分類的主動學習管線。
Hugging Face 機器學習總監洞見 – 產業觀點
Hugging Face 發布了一系列與六位機器學習總監的訪談,分享了機器學習如何改變媒體、製藥、科學、物流、行銷與能源領域,同時突顯共同的挑戰與未來機會。
在 Habana Gaudi 上開始使用 Transformers
Hugging Face 與 Habana Labs 合作,加速 Transformer 模型的訓練,與基於 GPU 的 Amazon EC2 實例相比,Habana Gaudi 加速器可提供高達 40% 的價格效能提升。
以機器學習提升客戶服務效能
Hugging Face 展示了如何使用微調的 DeBERTa-v3-base 模型以及 Transformers 與 Datasets 套件,自動過濾不滿的客戶回饋。
Hugging Face 教育倡議 2022 發佈
Hugging Face 在 2022 年 4 月宣布了一項多軌教育計畫,目標在 2023 年底前教導 500 萬人機器學習,並為學習者、教師以及大眾提供免費資源。
Hugging Face Hub 碳排放追蹤
Hugging Face 已推出工具,用於追蹤、報告與篩選基於 CO2 排放的機器學習模型,以提升 AI 的環境透明度。