DALL·E 外延功能發布
OpenAI 已推出 DALL·E 的外延功能,允許使用者透過自然語言描述延伸圖像超出原始邊界,同時保持視覺一致性。
OpenRAIL:邁向開放且負責任的 AI 授權框架
Hugging Face 宣佈了 OpenRAIL,一套結合開放存取與使用限制的 AI 專屬授權,旨在促進機器學習模型的負責任部署。
OpenAI 宣佈使用人類回饋強化學習與 InstructGPT 的對齊策略
OpenAI 詳述其對齊方法,強調人類回饋強化學習與 InstructGPT 為低成本且有效的手段,使語言模型能遵循人類意圖,同時承認目前的限制與未來 AI 驅動的對齊研究目標。
在 Hugging Face Spaces 上視覺化蛋白質
Hugging Face 提供了一份指南,說明如何透過 Gradio 將 3Dmol.js 整合至 Hugging Face Spaces,以在瀏覽器中實現 3D 蛋白質結構的視覺化。
使用 Hugging Face Transformers 與 Habana Gaudi 進行 BERT 預訓練
Hugging Face 示範了如何在 AWS 上使用 Habana Gaudi DL1 實例從頭預訓練 BERT-base,較基於 NVIDIA V100 GPU 的訓練可降低 25% 成本。
使用 Diffusers 的 Stable Diffusion
Hugging Face 公布了如何使用 Diffusers 套件執行文字生成影像的 Stable Diffusion 模型,提供了程式碼、授權細節以及模型潛在擴散架構的說明。
在 Vertex AI 上部署 Hugging Face ViT
Hugging Face 示範如何在 Google Cloud 的 Vertex AI 平台上部署 Vision Transformer(ViT)模型,以實現 Kubernetes 級別的可擴展性,同時大幅減少程式碼量。
Vision Transformers 在 Hugging Face Optimum Graphcore 上
Hugging Face 與 Graphcore 透過 Optimum 函式庫,使在智慧處理單元(IPU)上高效微調 Vision Transformer(ViT)模型成為可能,並以多標籤胸部 X 光分類任務示範其效能。
Hugging Face 將 LLM.int8() 8 位矩陣乘法整合至 Transformers 與 Accelerate
Hugging Face 發佈了將 LLM.int8() 8 位量化技術整合至 Transformers 與 Accelerate 函式庫的功能,使得在不降低效能的情況下,對極大型語言模型進行推論,並可節省高達 2 倍的記憶體用量。
Hugging Face 的 TensorFlow 哲學
Hugging Face 概述了其對 TensorFlow 整合的技術方法,強調與 Keras 及 XLA 的深度對齊,以優化 transformer 模型的效能與部署。
Skops 函式庫讓 scikit-learn 模型在 Hugging Face Hub 上託管、文件化與協作
Hugging Face 宣佈了 Skops,一個讓使用者能打包、文件化並將 scikit-learn 模型推送至 Hub,且自動生成模型卡與推論小工具的函式庫。
在 Kubernetes 上使用 TF Serving 部署 Hugging Face ViT
Hugging Face 提供了一份技術指南,說明如何使用 Docker 與 Kubernetes 搭配 TensorFlow Serving 來擴展 Vision Transformer(ViT)部署,以實現生產等級的自動擴縮與資源管理。
OpenAI 內容審查端點發布
OpenAI 已發布免費的審核端點,提供基於 GPT 的分類器,協助開發者在其應用程式中偵測並阻止違規內容。
Hugging Face Sentence Transformers 訓練指南(歷史參考)
Hugging Face 公布了一篇過時的教學,說明如何訓練與微調 Sentence Transformers 模型,涵蓋模型架構、資料集格式、損失函式以及模型上傳方式,同時引導使用者使用較新的訓練 API。
Hugging Face 深度強化學習課程第 8 單元:近端策略優化(PPO)說明
Hugging Face 提供了 Proximal Policy Optimization(PPO)的詳細步驟說明,展示了透過裁剪策略更新比例如何穩定訓練,並提供了從頭實作的 PyTorch 範例,已在 CartPole‑v1 與 LunarLander‑v2 上測試。
Hugging Face 私有 Hub 介紹
Hugging Face 推出了 Private Hub(現已更名為 Enterprise Hub),這是一個安全且符合規範的環境,讓公司能夠使用統一的工具集協作機器學習模型、資料集與 Spaces。
Nyströmformer:透過 Nyström 方法在線性時間與記憶體中近似自注意力
Nyströmformer 透過使用 Nyström 方法以抽樣的 landmarks 近似 softmax 矩陣,將標準自注意力的時間與記憶體複雜度從 O(n^2) 降低至 O(n)。
Hugging Face 對美國國家 AI 研究資源的建議
Hugging Face 向白宮與國家科學基金會提交回應,主張國家 AI 研究資源(NAIRR)應優先考慮倫理專業知識、標準化文件化以及可取得的工具,以實現 AI 研究的民主化。
OpenAI 宣布高效的 Fill‑in‑the‑Middle 語言模型訓練方法
OpenAI 發佈了一種新訓練方法,使自回歸語言模型能夠執行填充中間(fill‑in‑the‑middle)任務,同時不犧牲從左至右的生成品質,提供了一種簡單且高效的方式來加入填充功能。
Hugging Face Datasets 音訊與視覺文件更新
Hugging Face 已擴充 🤗 Datasets 函式庫的文件,加入針對音訊與視覺資料集的專屬指南與工具,簡化多模態資料的載入與處理流程。
使用 TensorFlow 與 XLA 加速文字生成
Hugging Face 已在使用 TensorFlow 的 transformers 套件中啟用 XLA 編譯以加速文字生成,實現最高可達 100 倍的加速,且效能常常超過 PyTorch。
代碼合成大型語言模型的危害分析框架
OpenAI 推出了一套危害分析框架,以識別並減輕與部署像 Codex 這樣的先進程式碼生成模型相關的技術、社會、政治與經濟風險。
在 Hugging Face 使用 TF Serving 部署 TensorFlow 視覺模型
Hugging Face 提供了一份指南,說明如何使用 TensorFlow Serving 部署 TensorFlow 視覺模型(例如 Vision Transformer(ViT)),並將其以 REST 或 gRPC 端點公開。
Advantage Actor Critic(A2C)說明
Hugging Face 解釋了 Advantage Actor Critic(A2C),這是一種混合式強化學習架構,透過結合基於策略的方法與基於價值的方法來降低策略梯度估計的變異性。
OpenAI DALL·E 測試版發布
OpenAI 宣布 DALL·E 現已向 100 萬名受邀使用者開放測試版,提供免費的每月點數與商業使用權。
減少偏見並提升 DALL·E 2 的安全性
OpenAI 已實施一項系統層面的技術於 DALL·E 2,以提升生成人物的多樣性,並加強安全過濾機制以防止製作欺騙性內容。
動態對抗資料收集(DADC)於 MNIST – Hugging Face 教學
Hugging Face 宣布了一個關於 MNIST 上動態對抗資料收集(DADC)的逐步教學,說明如何收集由人類產生的對抗樣本並重新訓練模型以提升韌性。
DALL·E 2:延伸創意
OpenAI 的 DALL·E 2 研究預覽已被超過 3,000 位藝術家在 118 個國家採用,將 AI 生成的影像整合到從醫療支援到高端烹飪藝術等多元創作工作流程中。
BLOOM 176B 訓練技術概覽
Hugging Face 發布了關於 1760 億參數 BLOOM 模型如何使用 384 顆 A100 GPU、Megatron‑DeepSpeed 3D 並行以及 BF16 混合精度進行訓練的詳細說明,重點說明了硬體、軟體堆疊與工程挑戰。
使用句子轉換模型構建播放清單生成器
Hugging Face 示範如何使用 Sentence Transformers 進行歌詞嵌入的語意搜尋,並以 Gradio Blocks 建立使用者介面,打造語意搜尋式的播放清單生成器。
BLOOM:全球最大開放多語言語言模型
Hugging Face 與 BigScience 計畫已發布 BLOOM,這是一個擁有 1760 億參數的開放存取多語言語言模型,於 46 種自然語言與 13 種程式語言上以完全透明的方式進行訓練。
開始使用 Twitter 情感分析
Hugging Face 提供了一份指南,說明如何使用 Inference API 對 Twitter 資料執行自動化情感分析,適用於開發者與非程式開發者。
使用 PyTorch 的策略梯度 – Hugging Face 深度強化學習課程 第 5 單元
Hugging Face 發布了一個教學,從頭開始在 PyTorch 中實作 REINFORCE 蒙特卡羅策略梯度演算法,並在 CartPole‑v1、PixelCopter 與 Pong 上進行評估。
使用 Sentence Transformers 開始機器學習之旅
Hugging Face 提供了一份指南,幫助初學者使用 Sentence Transformers 套件開始他們的第一個機器學習專案,透過建立嵌入向量並執行語意搜尋。
DALL·E 2 預訓練緩解措施
OpenAI 實施了主動學習的資料過濾、用於防止偏見放大的重新加權機制,以及基於聚類的去重流程,以消除 DALL·E 2 中的圖像重複生成問題。
Hugging Face 在 Hub 上的評估
Hugging Face 推出了 Evaluation on the Hub,這是一個由 AutoTrain 提供動力的無程式碼工具,讓使用者能直接在 Hugging Face Hub 上使用任何指標對任何模型在任何資料集上進行評估。
使用 DeepSpeed 加速大型模型訓練
Hugging Face 示範如何使用 Accelerate 函式庫整合 DeepSpeed 的 ZeRO 優化,使得可以使用更大的批次大小,並訓練原本會超出 GPU 記憶體的模型。
OpenAI 影片預訓練(VPT)於 Minecraft
OpenAI 推出了影片預訓練(VPT),這是一種半監督式模仿學習方法,透過在大量未標記的人類遊玩影片資料集上訓練,使代理能在 Minecraft 中學習複雜行為。
開始使用嵌入 – Hugging Face 教程
Hugging Face 宣布了一份逐步指南,說明如何使用 Sentence‑Transformers 函式庫與 Hugging Face Hub 建立、託管與查詢向量嵌入,展示可搜尋的 FAQ 系統。
使用 Hugging Face Optimum 將 Transformers 轉換為 ONNX
Hugging Face 提供三種將 Transformers 模型轉換為 ONNX 的方法,從低階的 torch.onnx API 到高階的 Optimum 函式庫皆有涵蓋。
OpenAI 大模型演化(ELM)研究
OpenAI 推出大模型演化(ELM),這是一種利用大型語言模型(LLM)通過模擬類似人類的程式碼變異來改進基因程式設計,從而在新領域生成可運作程式的方法。
Intel 與 Hugging Face 合作推動機器學習硬體加速
Intel 已加入 Hugging Face 硬體合作夥伴計畫,開發 Optimum Intel 函式庫,使在 Intel 平台上對 Transformer 模型的訓練、微調與推論能夠更順暢地進行硬體加速。
Hugging Face 機器學習洞見總監:金融版
來自美國銀行、加拿大皇家銀行(RBC)以及穆迪分析的專家討論了機器學習如何透過詐騙偵測與個人化產品改變金融業,同時應對遺留系統與監管要求等挑戰。
AI 撰寫的批評有助於人類注意缺陷
OpenAI 的研究顯示,AI 生成的批評有助於人類評估者在摘要中識別出顯著更多的缺陷,暗示了一條可擴展的人類監督複雜 AI 任務的路徑。
OpenAI 大型神經網路訓練技術
OpenAI 概述了主要的平行化策略——資料平行、管線平行、張量平行與專家平行——以及用於協調 GPU 叢集以訓練大型 AI 模型的節省記憶體技術。
太空侵略者的深度 Q 學習
Hugging Face 解釋了深度 Q 學習(DQN),這是一種使用神經網路來近似 Q 值的強化學習方法,適用於像 Atari 遊戲這樣的高維狀態空間。
註釋式擴散模型 – DDPM 實作的詳細步驟說明
Hugging Face 發布了一個註釋式、逐步的 PyTorch 實作,說明如何建構、訓練以及從擴散模型中抽樣以產生圖像的去噪擴散概率模型(DDPM)。
OpenAI、Cohere 與 AI21 Labs 部署語言模型的最佳實踐
OpenAI、Cohere 與 AI21 Labs 已發布一套聯合的初步最佳實踐,旨在負責任地開發與部署大型語言模型,以降低風險並防止濫用。
OpenAI 研究:教導模型以文字表達其不確定性
OpenAI 研究人員展示了 GPT-3 可以在不依賴模型 logits 的情況下,透過自然語言表達其答案的校準不確定性。
Graphcore 與 Hugging Face 擴展 IPU 就緒的 Transformer 模型
Graphcore 與 Hugging Face 已擴充 Hugging Face Optimum 函式庫,納入 10 個針對 Graphcore IPU 優化的 Transformer 模型,涵蓋 NLP、語音與電腦視覺領域。