Hugging Face 與 AWS 的 AI 可及性戰略合作夥伴關係
Hugging Face 與 AWS 擴大了戰略合作,透過將 Hugging Face 模型與 AWS 基礎設施及專用機器學習加速器整合,讓生成式 AI 更加民主化。
OpenAI AI 系統行為與治理框架
OpenAI 概述了兩步驟的訓練流程以塑造 ChatGPT 的行為,並提出三大支柱策略,以改進預設行為、啟用使用者自訂,並將公共意見納入 AI 治理。
Hugging Face 推理端點案例研究
Hugging Face 正在將其基於 CPU 的機器學習模型從 AWS ECS/Fargate 遷移至 Hugging Face 推理端點,以降低運營複雜度並提升延遲表現。
BLIP-2:零樣本影像到文字生成
BLIP-2 是 Salesforce Research 開發的視覺語言模型,使用查詢變換器(Q-Former)在凍結的影像編碼器與凍結的大型語言模型之間搭橋,以實現高效的零樣本影像到文字生成。
🤗 PEFT 函式庫發布,實現千億規模模型的參數高效微調
Hugging Face 宣布了 🤗 PEFT 函式庫,讓使用者僅訓練極少量參數,即可在低資源硬體上微調千億參數模型。
SpeechT5:統一模態編碼器-解碼器於語音處理
Hugging Face 已整合 SpeechT5,這是一個統一的基於 Transformer 的模型,能透過共享的編碼器-解碼器骨幹執行文字轉語音、語音轉語音與語音轉文字任務。
Hugging Face AI vs. AI:多代理強化學習競賽系統
Hugging Face 推出 AI vs. AI,一個透過持續的多代理競賽並使用 ELO 評分系統來排名深度強化學習模型的開源系統。
Hugging Face AI 用於遊戲開發:生成故事
Hugging Face 概述了一套使用大型語言模型(LLM)如 ChatGPT 生成遊戲故事與內容的工作流程,同時強調了在原創性、法律風險與長期連貫性方面的關鍵限制。
使用 Intel Sapphire Rapids 加速 PyTorch Transformers
Hugging Face 示範,將 Intel Sapphire Rapids CPU 與 Optimum Intel 函式庫結合,可將 PyTorch 變換器推論速度提升至前代 Xeon 最高 3 倍。
深入探討視覺語言模型
Hugging Face 提供了視覺語言模型的技術概述,詳細說明了五種主要的預訓練策略以及它們在 Transformers 庫中對 VQA 與影像分割等任務的整合。
ChatGPT Plus 推出
OpenAI 宣佈推出 ChatGPT Plus,這是一項每月 20 美元的訂閱服務,保證在高峰時段仍可使用、更快的回應速度,以及優先獲得功能更新,並將其可用性擴展至全球。
OpenAI AI 文本分類器發布(2023 年 1 月)
OpenAI 於 2023 年 1 月發布了公共 AI 文本分類器,能標記可能由 AI 生成的英文文本,但其可靠性不足——僅能識別 26% 的 AI 文本,且誤標 9% 的人工文本。
Hugging Face 的電腦視覺現況
Hugging Face 已擴展其生態系統,支援 8 個核心電腦視覺任務、超過 3,000 個模型以及 100 多個資料集,整合了 Transformer 與卷積架構。
Hugging Face 2D 資產生成於遊戲開發
Hugging Face 示範了如何將 Stable Diffusion 的 Image2Image 功能整合到協作式 2D 遊戲資產工作流程中,以高效地製作可投入生產的圖示。
使用 LoRA 進行高效的 Stable Diffusion 微調
Hugging Face 已將低秩適應(LoRA)整合到 diffusers 套件中,使 Stable Diffusion 的微調更快,所需 VRAM 大幅降低,模型權重僅約 3 MB。
Hugging Face Optimum 與 ONNX Runtime 訓練整合
Hugging Face 與 Microsoft 已將 ONNX Runtime 整合至 Optimum 函式庫,以將 transformer 模型的訓練時間縮短 35% 以上。
什麼讓對話代理有用?技術分析
Hugging Face 分析了關鍵技術——包括指令微調(IFT)、監督式微調(SFT)、來自人類回饋的強化學習(RLHF)以及思考鏈(CoT)——這些技術將基礎語言模型轉變為有用的對話代理。
OpenAI 與 Microsoft 擴大戰略夥伴關係
OpenAI 與 Microsoft 已延長其多年、數十億美元的合作夥伴關係,以加速獨立的 AI 研究並透過 Azure 擴大 AI 模型的部署。
Hugging Face AI 用於遊戲開發:3D 資產生成
Hugging Face 探討了文字轉 3D AI 的現狀,結論是儘管有 DreamFusion 與 Point-E 等工具,但它們尚未能實際應用於快速的遊戲開發工作流程。
Mask2Former 與 OneFormer:🤗 Transformers 中的通用影像分割模型
Hugging Face 在 Transformers 函式庫中發布了 Mask2Former 與 OneFormer,提供可同時處理實例、語意與全景分割的通用架構,只需單一模型即可完成。
PaddlePaddle 與 Hugging Face Hub 整合
Hugging Face 與 PaddlePaddle 合作,將其深度學習平台與函式庫(自 PaddleNLP 起)整合至 Hugging Face Hub,以提升可存取性與共享性。
使用 Hugging Face Datasets 與 Transformers 的影像相似度
Hugging Face 示範了如何使用 Transformers 與 Datasets 套件建立影像相似度系統,透過計算密集向量嵌入並測量餘弦相似度。
預測語言模型在錯資訊活動中的濫用
OpenAI、喬治城大學與斯坦福網路觀測站發布了一份報告,分析大型語言模型如何降低錯資訊活動的成本並擴大規模,並提出四階段的緩解框架。
AI 用於遊戲開發:使用大型語言模型進行遊戲設計
Hugging Face 示範了如何將大型語言模型(如 ChatGPT)用作遊戲設計的頭腦風暴與加速工具,特別是在定義農場遊戲的核心功能時。
Yabble GPT-3 整合於客戶回饋分析
Yabble 整合了 OpenAI 的 GPT-3,將分析複雜客戶回饋資料集所需的時間從數週縮短至數分鐘。
Waymark 微調 GPT-3 以製作影片腳本
Waymark 整合了微調的 GPT-3 模型,以自動化生成量身訂做的高品質影片廣告腳本,縮短客戶的編輯時間並提升影片製作的規模。
圖形機器學習簡介
Hugging Face 提供了圖形機器學習的完整概述,說明了圖形的表示方式以及從神經網路前特徵到圖形神經網路與圖形 Transformer 的演變過程。
AI 遊戲開發:在 5 天內打造農場遊戲(第 1 部分)
Hugging Face 示範了如何使用 Stable Diffusion 為農場遊戲建立視覺藝術風格與概念藝術,並將其實作於 Unity 中。
加速 PyTorch Transformers 使用 Intel Sapphire Rapids – 第 1 部分
Hugging Face 示範如何在 Intel Sapphire Rapids CPU 叢集上使用 IPEX 與 oneCCL 訓練 PyTorch Transformers,達到相較於 Ice Lake 高達 8 倍的加速,且在四節點上接近線性擴展。
OpenAI 創建次世代角色公告
由於 404 錯誤,提供的關於創建次世代角色的公告來源資料不可用,未提供任何技術細節或官方聲明。
OFASys:多模態多任務學習框架
Qwen 推出 OFASys,一個 AI 框架,透過單行 Instruction 介面讓使用者定義複雜的任務與多模態,從而簡化多模態多任務學習。
Chinese CLIP:中文對比視覺語言預訓練
Qwen 已發布 Chinese CLIP,一個旨在克服以英語為中心的 CLIP 模型在跨模態檢索與圖像分類上文化與語言限制的視覺語言模型。
OpenAI 應用 AI 研究:對 AGI、安全性與持續學習的觀點
OpenAI 應用 AI 研究團隊的 Lilian Weng 討論了通往 AGI 的道路、模型對齊與安全性的重要性,以及持續學習在 AI 發展中的角色。
使用 CLIPSeg 進行零樣本影像分割
Hugging Face 推出 CLIPSeg,一種零樣本影像分割模型,利用 CLIP 嵌入從文字或影像提示生成分割遮罩,無需針對特定類別進行訓練。
Hugging Face 模型卡文件框架
Hugging Face 已發布一套工具與資源,包括基於 GUI 的創建工具與標準化範本,以提升機器學習模型文件的可及性與標準化。
OpenAI Point-E:從文字提示生成 3D 點雲
OpenAI 推出 Point-E,一個能在單顆 GPU 上於 1-2 分鐘內從複雜文字提示生成 3D 點雲的系統,優先考慮抽樣速度而非絕對樣本品質。
OpenAI text-embedding-ada-002 發布
OpenAI 宣佈了 text-embedding-ada-002 模型,這是一個統一的、更快、更便宜的嵌入模型,在大多數任務上優於先前的模型。
Hugging Face 音訊資料集指南 – 如何載入、處理與串流音訊資料
Hugging Face 宣布了一份完整指南,展示 🤗 Datasets 套件僅需幾行 Python 程式碼即可載入、前處理與串流 Hub 上的任何音訊資料集,讓語音與音訊任務的研究變得高效。
Hugging Face 倫理與社會通訊 #2:解決機器學習中的偏見
Hugging Face 提出一套社會技術框架,將機器學習偏見視為必須在任務定義、資料集策展與模型訓練各階段處理的風險因素,以降低歧視性傷害。
Habana Gaudi2 與 Nvidia A100 80GB 性能基準
Hugging Face 基準測試顯示,Habana Gaudi2 在訓練與推論方面,對於 BERT、Stable Diffusion 與 T5-3B 模型,提供大約兩倍於 Nvidia A100 80GB 的吞吐量。
Hugging Face 宣布 Bumblebee:純 Elixir 中的 Transformers 與 Stable Diffusion
Hugging Face 發布了 Bumblebee,這是一個純 Elixir 的 Transformers 實作,將從 GPT‑2 到 Stable Diffusion 的模型帶入 Elixir 生態系,讓原生 CPU/GPU 推論無需外部依賴。
闡述人類回饋強化學習 (RLHF)
Hugging Face 解釋了人類回饋強化學習 (RLHF),這是一個透過使用基於人類偏好的獎勵模型來優化模型,進而將大型語言模型與複雜的人類價值觀對齊的三步驟過程。
OpenAI 超級運算基礎設施與後端系統工程
OpenAI 工程師 Jake Stangel 描述了管理價值數十億美元的超級運算叢集所面臨的技術挑戰,極端規模會顯露出其他使用者未曾見過的硬體與核心問題。
深度學習與蛋白質 – Hugging Face 蛋白質語言模型與摺疊指南
Hugging Face 宣布了一系列教學,展示如何微調蛋白質語言模型並使用 ESMFold 進行蛋白質摺疊,證明 NLP 的遷移學習技術可以直接應用於蛋白質序列任務。
使用 🤗 Transformers 進行時間序列 Transformer 機率預測
Hugging Face 發布了一個用於全局機率時間序列預測的原始 Transformer 模型,在 Tourism Monthly 基準上展示了最先進的表現。
在 Apple Silicon 上使用 Stable Diffusion Core ML – 如何執行與最佳化
Hugging Face 發布了針對 Apple Silicon 轉換為 Core ML 的 Stable Diffusion 檢查點,使得在 Python 或 Swift 中可在裝置上生成圖像,最高可在 M1 Max 上以 18 秒產生一張圖像。
OpenAI 推出 ChatGPT
OpenAI 已發布 ChatGPT,這是一款基於 GPT-3.5 系列、透過人類回饋強化學習(RLHF)訓練的會話式 AI 模型,能以對話格式進行互動。
VQ-Diffusion:離散空間中的條件潛在擴散
VQ-Diffusion 是一種在量化離散潛在空間上運作的條件潛在擴散模型,提供比傳統自回歸模型更快的推論速度與更高的影像品質。
Hugging Face 2023 實習計畫
Hugging Face 宣布了 2023 年實習計畫,提供開源、科學與社會影響團隊的職位,以民主化負責任的機器學習。
Hugging Face 擴散模型課程與社群活動
Hugging Face 宣布將於 2022 年 11 月 28 日推出免費的擴散模型課程,並於 11 月 30 日舉辦線上社群活動,邀請來自 Stability AI、Meta 與 Runway 的研究人員參與。