WHOOP Coach:透過 GPT-4 的個人化健康指導
WHOOP 已將 OpenAI 的 GPT-4 整合,推出 WHOOP Coach,這是一個由 AI 驅動的健康與健身教練,能根據使用者獨特的生理數據提供個人化、即時的指導。
aMUSEd:高效文字轉圖像生成
Hugging Face 已發布 aMUSEd,一款基於遮罩影像建模(MIM)的高效非擴散文字轉圖像模型,並且是 Google MUSE 的開源再現。
Hugging Face SDXL Dreambooth LoRA 進階訓練指南
Hugging Face 推出了一個用於 SDXL Dreambooth LoRA 的進階訓練腳本,結合關鍵微調與 Prodigy 優化器,以提升概念捕捉與圖像品質。
推測解碼讓 Whisper 推理速度提升 2 倍
Hugging Face 示範推測解碼將 Whisper 轉錄延遲減半,同時保持完全相同的輸出與準確度。
2023 年開源大型語言模型回顧
Hugging Face 2023 年的回顧顯示,開源大型語言模型的發布激增,出現了更小且高效能的模型,以及全新微調技術,極大地擴大了存取與社群參與的範圍。
OpenAI治理具備代理性的 AI 系統的實踐
OpenAI 提出一套基礎責任與安全最佳實踐的框架,確保具備代理性的 AI 系統——在有限監督下追求複雜目標的 AI——能負責任地融入社會。
OpenAI 超對齊快速補助金
OpenAI 已啟動一項 $10 million 補助金計畫,以資助超人類 AI 系統的對齊與安全的技術研究。
Summer Health 使用 GPT-4 自動化兒童門診筆記
Summer Health 已整合 GPT-4,將兒科醫師的觀察轉化為清晰、無行話的就診筆記,將每筆筆記的行政時間從 10 分鐘縮減至 2 分鐘。
OpenAI 弱至強概括研究
OpenAI 研究人員已證明,較小、能力較弱的模型可以監督較大的模型,以引發接近 GPT-3.5 水平的能力,為對齊超人類 AI 系統提供了一條潛在的道路。
OpenAI 與 Axel Springer 的 AI 新聞合作夥伴關係
OpenAI 與 Axel Springer 合作,將 POLITICO、Business Insider 等品牌的權威新聞內容整合至 ChatGPT,同時利用 Axel Springer 的內容進行大型語言模型的訓練。
專家混合(MoE)說明
專家混合(MoE)讓 transformer 模型在擴展參數規模的同時,透過僅在每個 token 上啟用部分神經網路專家,維持高效的預訓練與更快的推論速度。
Mixtral 8x7B 發行說明
Mistral AI 已發布 Mixtral 8x7B,一款混合專家(MoE)模型,在大多數基準測試中超越 Llama 2 70B 並匹配 GPT-3.5 的表現,同時在 Apache 2.0 許可下保持商業寬容。
SetFitABSA:少樣本面向屬性情感分析
Hugging Face 與 Intel Labs 推出了 SetFitABSA,一個無提示、少樣本的面向屬性情感分析框架,在資料稀少的情況下表現優於如 Llama 2 與 T5 等較大型的生成模型。
Optimum-NVIDIA 發行說明
Hugging Face 已發布 Optimum-NVIDIA,一個推理庫,透過 FP8 量化與 TensorRT-LLM,使 LLM 在 NVIDIA 平台上的推理速度提升最高可達 28 倍。
Hugging Face LoRA 動態載入加速推論 300% 並降低延遲
Hugging Face 宣布了一套動態 LoRA 載入系統,將熱身時間從 25 秒縮短至 3 秒,使 LoRA 推論速度提升最高達 300 %,並將總回應時間從 35 秒降低至 13 秒。
Hugging Face 與 AMD 為 LLMs 提供 GPU 加速
Hugging Face 與 AMD 已將適用於 AMD Instinct GPU 的即插即用支援整合到 Transformers 庫和 Text Generation Inference 中,使得無需程式碼變更即可實現高效能的 LLM 執行。
Hugging Face Open LLM 排行榜 DROP 基準測試分析
Hugging Face 在發現有瑕疵的歸一化和停止詞配置導致大多數模型得分異常低後,已將 DROP 基準測試從 Open LLM 排行榜中移除。
OpenAI 領導層更新:Sam Altman 回任 CEO
Sam Altman 已回任 OpenAI 首席執行官,獲得新成立董事會的支持,並承諾加強公司治理。
OpenAI 領導層過渡: Mira Murati 被任命為臨時首席執行官
OpenAI 已任命 Mira Murati 為臨時首席執行官,繼 Sam Altman 離職之後,他同時離開了 CEO 職位和董事會。
OpenAI 數據合作夥伴
OpenAI 已推出數據合作夥伴計畫,與組織合作創建公開和私人資料集,用於訓練 AI 模型,以提升領域特定理解並邁向通用人工智慧(AGI)。
SDXL 與 Stable Diffusion 使用 Latent Consistency LoRAs 進行快速推理
Hugging Face 推出 LCM LoRAs,一種方法,使 SDXL 和 Stable Diffusion 模型能夠在 4 到 8 步內生成高品質圖像,顯著降低推理時間。
Prodigy-HF 整合發布說明
Explosion 已發布 Prodigy-HF,一個外掛,使使用者能直接在標註資料上微調 Hugging Face transformer 模型,並能直接將資料集上傳至 Hugging Face Hub。
在 AWS Inferentia2 上使用 optimum-neuron 部署 Llama 2
Hugging Face 已將 optimum-neuron 與 AWS Neuron SDK 整合,以在 AWS Inferentia2 加速器上部署 Llama 2 模型,實現高效能的文字生成。
比較 RoBERTa、Llama 2 與 Mistral 在災難推文分類上的 LoRA
一項比較研究顯示,在使用 Low-Rank Adaptation (LoRA) 進行微調後,較小的 RoBERTa 模型在災難推文的二元分類任務上優於 Llama 2 與 Mistral 7B。
OpenAI 推出 GPTs
OpenAI 已推出 GPTs,這是使用者可以在不編碼的情況下為特定目的建立的 ChatGPT 自訂版本,使得個人、專業或企業使用者能夠擁有量身打造的 AI 助理。
OpenAI DevDay 2023: GPT-4 Turbo, Assistants API 與多模態更新
OpenAI 宣布了具備 128K 上下文視窗的 GPT-4 Turbo、用於類代理體驗的新 Assistants API,以及包括 DALL·E 3 和 TTS 的擴充多模態功能。
Hugging Face Hub 儲存區域
Hugging Face 為 Enterprise Hub 客戶推出了儲存區域功能,使組織能夠選擇其模型和資料集的存放位置,以提升法規遵循性和資料傳輸效能。
個人 Copilot: 訓練您自己的編碼助理
Hugging Face 展示了如何通過在特定代碼庫上使用 QLoRA 和完整微調技術對 StarCoder 進行微調,來創建個人化的編碼助理 HugCoder。
OpenAI 前沿風險與準備框架
OpenAI 已成立專門的準備團隊和風險知情開發政策,以識別、評估和緩解與前沿 AI 模型相關的災難性風險。
前沿模型論壇更新
OpenAI、Anthropic、Google 和 Microsoft 已任命 Chris Meserole 為 Frontier Model Forum 的執行董事,並設立了一筆 1000 萬美元的 AI 安全基金,以推進對具備能力的 AI 模型的評估研究。
Hugging Face 與 Renumics Spotlight 整合,實現可擴展的資料檢查
Hugging Face 已與 Renumics Spotlight 整合,以實現互動式、單行代碼的機器學習資料集視覺化與檢查,包括對多模態資料和模型結果的支援。
優化 Stable Diffusion XL (SDXL) 的推理速度與記憶體使用
Hugging Face 探索了 Stable Diffusion XL (SDXL) 的多種優化技術,展示了如何將記憶體使用量從 28GB 降低至低至 11.47GB,並將推理延遲從 72.2 秒降低到大約 10.3 秒。
使用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 透過 Inference Endpoints 引入 Text Embeddings Inference (TEI),提供一種高效能且具成本效益的方式來部署開源嵌入模型,用於 RAG 和語義搜尋。
The N 關於 RLHF 與 PPO 的實作細節 – Hugging Face 博客摘要
Hugging Face 部落格文章重現了 OpenAI 2019 年的 RLHF 程式碼庫,匹配其學習曲線,並詳細說明 N 個實作細節,其中包括一個關鍵的 PyTorch Adam 優化器差異,導致更新更積極。
DALL·E 3 在 ChatGPT Plus 與 Enterprise 中的整合
OpenAI 已將 DALL·E 3 整合至 ChatGPT Plus 與 Enterprise,推出一種能夠提供更高視覺保真度、更佳提示遵循以及改進文字、手部和臉部渲染的模型。
Gradio-Lite: 完全在您的瀏覽器中運行的無伺服器 Gradio
Hugging Face 推出 Gradio-Lite (@gradio/lite),一個使用 Pyodide 在網頁瀏覽器中直接運行 Gradio 應用程式的 JavaScript 庫,消除了對伺服器基礎設施的需求。
Typeform Formless: AI 驅動的對話式資料收集
Typeform 已推出 Formless,這是一個建構於 GPT-3.5 Turbo 和 GPT-4 的 AI 驅動平台,它以動態的雙向對話體驗取代傳統的表單結構。
Ironclad AI Assist 與 GPT-4 的整合
Ironclad 透過 AI Assist 將 GPT-4 整合到其合約生命週期管理平台,將初始合約紅線修訂時間從 40 分鐘縮短至兩分鐘。
Retool AI 與 GPT-4 整合
Retool 已推出 Retool AI,這是一套由 GPT-4 驅動的功能套件,使企業能夠使用視覺畫面構建自訂的 AI 驅動應用程式與工作流程。
使用 ONNX Runtime 加速 Hugging Face 模型
Hugging Face 和 ONNX Runtime 使超過 130,000 個模型能夠實現效能加速,包括相較於 PyTorch,whisper-tiny 模型的延遲減少高達 74.30%。
DALL·E 3 系統卡
OpenAI 發布了 DALL·E 3 系統卡,詳細說明了相較於 DALL·E 2 在字幕忠誠度和圖像品質方面的改進,並伴隨著廣泛的安全評估和風險緩解措施。
Hugging Face 聊天範本
Hugging Face 推出了基於 Jinja 的聊天範本系統,以確保聊天模型接收到的輸入格式與訓練時完全一致,從而防止效能無預警下降。
在 Cloud TPU v5e 上使用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 現在支援在 Cloud TPU v5e 上使用 JAX 提供 Stable Diffusion XL (SDXL) 服務,相較於 TPU v4,每美元的性能最高可提升 2.4 倍。
透過 Hugging Face Inference API 部署 AI Comic Factory
Hugging Face 提供了一個使用 Inference API 部署 AI Comic Factory 私人實例的指南,利用 Llama-2 和 SDXL 1.0 模型。
使用 TRL 透過 DDPO 微調 Stable Diffusion
Hugging Face 已將 Denoising Diffusion Policy Optimization (DDPO) 整合到 TRL 函式庫中,利用強化學習使 Stable Diffusion 模型與人類偏好對齊。
Hugging Face 倫理與社會更新 2023 夏季版
Hugging Face 詳細介紹了其在 2023 年夏季致力於影響美國、歐盟與英國 AI 監管的努力,同時透過公眾倡權與技術研究推進開源倫理。
Hugging Face 指南:無需程式碼訓練 LLaMA 2 聊天機器人
Hugging Face 透過使用 Spaces、AutoTrain 和 ChatUI 提供無程式碼工作流程,使非工程師能夠微調 LLaMA 2 並將其部署為功能聊天應用程式。
Llama 2 在 Amazon SageMaker 上的基準測試
Hugging Face 分析了 Llama 2 在 Amazon SageMaker 上的 60 種部署配置,以找出成本、吞吐量和延遲的最佳設置。
GPT-4V(ision) 系統卡
OpenAI 推出了 GPT-4V(ision),這是 GPT-4 的多模態擴展,允許模型分析並處理圖像輸入,以解決新任務並提供全新的使用者體驗。
ChatGPT 語音與圖像功能更新
OpenAI 已為 ChatGPT 引入多模態功能,使 Plus 和 Enterprise 使用者能夠進行語音對話並分享圖像以供分析。