Stanford CS547 HCI Seminar: Just-in-Time Objectives for Specialized AI Interactions

Stanford CS547 HCI Seminar: Just-in-Time Objectives for Specialized AI Interactions

AI 交互中的“叉勺问题”

通用 AI 输出是 Michelle Lam 所称的“叉勺问题”的结果。就像叉勺试图兼具勺子和叉子的功能，却两者都不擅长一样，现代大语言模型（LLM）被设计成全能助理、主题专家和编辑器。由于开发者在训练期间无法预测每一种用户情境，只能嵌入宽泛的假设，并在多样且常常冲突的偏好上进行微调。这导致了一个“叉勺式”界面：单一的输入方式会产生通用的输出，而不管用户的具体目标是什么。

这种同质化不仅仅是便利性的问题；它可能导致对重要文本的浅层理解、在社交信息流中放大政治极化，以及依赖同一工具的群体出现整体思维同质化的趋势。虽然用户可以通过复杂的提示尝试覆盖这些默认设置，但提示过程费力、被动，并且对普通用户而言具有挑战性。

即时（JIT）目标

为了解决通用 AI 的问题，Lam 提出了 即时（Just‑in‑Time，JIT）目标。与其依赖预定义的系统目标，JIT 架构通过观察交互痕迹——例如工作区的截图或网页的原始 DOM——在交互时刻感知用户的即时目标，从而诱导出用户的目标模型。

JIT 目标的诱导方式

JIT 目标是由名称、详细描述和权重组成的轻量模型。诱导过程遵循以下原则：

  • 低成本观察： 优先使用易于获取的普遍输入（截图、DOM）。
  • 瞬时限定： 聚焦于当前时刻，以更好捕捉当前活动。
  • 不确定性推理： 允许 LLM 表达其不确定性，随后由流水线进行推理。

在一项超过 200 名参与者的研究中，JIT 目标的准确率极高，约有 98% 的情况用户会选择被诱导的目标。

通过生成‑评估器架构实现

JIT 目标可以集成到现有 AI 系统中，而无需重新训练基础模型。该架构用诱导的目标替代最初的用户提示，然后该目标驱动两个核心组件：

  1. 生成器（Generators）： 将 JIT 目标附加到生成提示中，以定制产出（例如 UI 规范或编码计划）。
  2. 评估器（Evaluators）： 将目标加入评分标准，使系统能够依据严格的、用户特定的准则而非通用质量来优化输出。

这种方式实现了对目标的“爬坡”优化，系统会迭代改进输出，以更好地契合诱导的目标。在正面对比实验中，JIT 生成器的输出约有 70% 的时间被偏好于基线模型。

JIT 框架的实际应用

Poppins：按需 UI 生成

Poppins 是一个浏览器扩展，演示了通过按需 UI 生成实现 JIT 目标的方式。它不使用聊天界面，而是观察用户的屏幕并即时生成专用软件工具。示例包括：

  • 演讲流程组织器： 帮助用户完善研究报告的结构。
  • 角色情感追踪器： 为作者追踪短篇小说中的情感轨迹，以发现不一致之处。
  • 技术方法探索器： 为研究者比较算法及其下游应用提供支持。

Loom：可引导的话题建模

针对领域专家，Lam 推出了 Loom，一个用于可引导且可解释文本分析的 Python 包。不同于传统返回模糊关键词的话题模型，Loom 使用模块化算子来呈现由明确包含标准定义的高层概念。

Loom 的模块化流水线包括：

  • Distill（提炼）： 从文档中抽取关键引用和要点。
  • Cluster（聚类）： 使用嵌入和 HDBSCAN 将相关文本片段分组。
  • Synthesize（综合）： 让 LLM 在聚类之间提炼统一概念。
  • Score（打分）： 通过将概念映射回文档来验证其出现频率。
  • Seed（种子）： 允许用户使用种子词引导任意算子，修改系统关注的内容。

社交媒体的社会目标函数

Lam 将 JIT 目标扩展到社会计算，以应对党派敌意等系统性问题。当前社交媒体信息流优化的是参与度（点赞/点击），这往往与极化程度上升相关。

通过将社会科学构念——如“反民主态度与党派敌意”（APA）构念——转化为 AI 目标函数，研究者构建了一个信息流重新排序流水线。该流水线使用 LLM 根据 APA 变量对帖子进行评分，并将触发党派敌意的内容下调。实验表明，这一算法干预显著降低了民主党和共和党用户的党派敌意。

未来愿景：用户拥有的 AI

Lam 设想从“AI 叉勺”转向“玛丽·波平斯的手提袋”——一种用户拥有的 AI 系统，具备众多功能，却仅在当前任务需要时呈现特定工具。该愿景围绕三大支柱展开：

  1. 自适应界面： 摒弃僵硬、预定义的界面，构建能够实时适配用户的计算环境，以满足即时、长期和社会层面的目标。
  2. AI 交互观测站： 搭建基础设施，从大规模终端用户目标中学习，发现新的任务和问题供 AI 研究解决，超越单纯的 LLM 日志。
  3. 治理与所有权： 开发技术和可用性框架，使用户能够在自己的设备上微调模型，并与可信社区成员共享数据/算力，以实现集体目标。

摘要： Michelle Lam 提出了一套“即时（Just‑in‑Time，JIT）目标”框架，能够通过交互痕迹自动诱导用户目标，以取代通用 AI 输出，提供专门化、与用户对齐的工具和交互方式。

标题： Stanford CS547 HCI Seminar: Just-in-Time Objectives for Specialized AI Interactions

Sources