Stanford CS547 HCI Seminar: Just-in-Time Objectives for Specialized AI Interactions

Stanford CS547 HCI Seminar: Just-in-Time Objectives for Specialized AI Interactions

AI 互動中的「叉勺問題」

通用 AI 輸出是 Michelle Lam 所稱的「叉勺問題」的結果。就像叉勺試圖同時兼具湯匙與叉子的功能卻兩者皆不擅長一樣，現代的大型語言模型（LLM）被設計成全能助理、主題專家與編輯者。由於開發者在訓練期間無法預測每一種使用者情境，他們只能灌輸寬泛的假設，並針對多樣且常常相互衝突的偏好進行微調。這導致了一種「叉勺式」的介面：單一的輸入方式會產生通用的輸出，無論使用者的具體目標為何。

這種同質化不僅僅是便利性的問題；它可能導致對重要文本的淺薄理解、在社交資訊流中放大政治兩極化，並使依賴相同工具的群體出現同質思考的趨勢。雖然使用者可以透過複雜的提示（prompt）來嘗試覆寫這些預設，但提示本身需要付出努力、屬於被動反應，且對一般使用者而言相當困難。

即時（Just‑in‑Time，JIT）目標

為了對抗通用 AI，Lam 提出了 即時（Just‑in‑Time，JIT）目標。與其依賴預先定義的系統目標，JIT 架構透過觀察互動痕跡——例如工作區的螢幕截圖或網頁的原始 DOM——在互動當下誘導出使用者即時的目標模型。

JIT 目標的誘導方式

JIT 目標是由名稱、詳細說明與權重組成的輕量模型。誘導過程遵循以下原則：

  • 低成本觀測： 優先使用易於取得的普遍輸入（螢幕截圖、DOM）。
  • 即時界定： 聚焦於當下時刻，以更好捕捉當前活動。
  • 不確定性推理： 允許 LLM 表示其不確定性，管線再對此進行推理。

在一項超過 200 位參與者的研究中，JIT 目標的準確度極高，使用者在約 98% 的情況下會選擇被誘導出的目標。

透過生成器‑評估器架構的實作

JIT 目標可以整合到現有 AI 系統中，且不需要重新訓練基礎模型。此架構將最初的使用者提示替換為誘導出的目標，進而指導兩個主要元件：

  1. 生成器（Generators）： JIT 目標會被附加到生成提示中，以客製化產出（例如 UI 規格或程式設計計畫）。
  2. 評估器（Evaluators）： 目標會被加入評分規範，使系統能根據嚴格、使用者特定的標準而非一般品質來精練輸出。

此方法允許在目標上進行「爬坡」式的優化，系統會迭代改進輸出以更貼合誘導的目標。在正面比較中，JIT 生成器的產出約有 70% 的時間被偏好於基線模型。

JIT 框架的實務應用

Poppins：即時 UI 生成

Poppins 是一個瀏覽器擴充功能，透過即時 UI 生成展示 JIT 目標。它不使用聊天介面，而是觀察使用者螢幕並即時產生專門的軟體工具。範例包括：

  • 簡報流程組織器： 協助使用者調整研究報告的結構。
  • 角色情緒追蹤器： 幫助作者追蹤短篇小說中的情緒走向，以找出不一致之處。
  • 技術方法探索器： 協助研究者比較演算法及其下游應用。

Loom：可導向的主題建模

針對領域專家，Lam 推出了 Loom，一個用於可導向且可解釋文字分析的 Python 套件。不同於傳統主題模型只回傳模糊關鍵字，Loom 使用模組化運算子來呈現由明確納入條件定義的高階概念。

Loom 的模組化管線包括：

  • Distill（萃取）： 從文件中抽取關鍵引句與要點。
  • Cluster（聚類）： 使用嵌入與 HDBSCAN 將相關文字片段分組。
  • Synthesize（綜合）： 透過 LLM 為各聚類提煉統一概念。
  • Score（評分）： 透過將概念映射回文件來驗證其出現次數。
  • Seed（種子）： 允許使用者以種子詞導向任一運算子，改變系統的注意焦點。

社群媒體的社會目標函數

Lam 將 JIT 目標延伸至社會計算，以解決黨派敵意等系統性問題。現行社群媒體資訊流以互動（按讚／點擊）為優化目標，往往與兩極化上升相關。

透過將社會科學構念——如「反民主態度與黨派敵意」（APA）構念——轉換為 AI 目標函數，研究者開發出一套資訊流重新排序管線。此管線使用 LLM 依 APA 變項評分貼文，並將觸發黨派敵意的內容降級。實驗顯示，此演算法介入顯著降低了民主黨與共和黨使用者的黨派敵意。

未來願景：使用者擁有的 AI

Lam 想像從「AI 叉勺」轉變為「瑪麗·波平斯袋」——一個使用者擁有的 AI 系統，具備多種功能卻只在當前任務需要時顯示特定工具。此願景包含三大支柱：

  1. 自適應介面： 從僵硬、預先定義的介面轉向能即時塑形的計算環境，滿足即時、長期與社會目標。
  2. AI 互動觀測站： 建立基礎設施，從大規模最終使用者目標中學習，以發掘 AI 研究可解決的新任務與問題，超越單純的 LLM 日誌。
  3. 治理與所有權： 發展技術與可用性框架，讓使用者能在自己的裝置上微調模型，並與可信社群成員共享資料／運算資源，以達成集體目標。

摘要： Michelle Lam 提出一套「即時（Just‑in‑Time，JIT）目標」框架，透過互動痕跡自動誘導使用者目標，將通用 AI 輸出取代為專屬、符合使用者需求的工具與互動。

標題： Stanford CS547 HCI Seminar: Just-in-Time Objectives for Specialized AI Interactions

Sources