斯坦福 CS547 HCI 研讨会 2026 春季：文本、可视化及其结合

Marti Hearst 认为，文本并非外围的附加物，而是信息可视化的核心组成部分；适量且合适的文本类型可以提升理解效果，尽管预测和偏见感知遵循不同的模式。

定义信息可视化与语言的角色

信息可视化通过空间关系提供在纯统计数据中无法察觉的洞察，而语言——尤其是标题和标签——在观众注意到并记住什么方面起着至关重要的作用。可视化是外部视觉表示，它们与所代表的信息在空间上系统地相关联，正如 Anscombe's quartet 所展示的那样，相同的充分统计量可以产生截然不同的图表。从历史上看，可视化社区对文本关注甚少；例如，Apple 的图表设计指南忽略了标题和刻度注释。然而，眼动追踪研究表明，在编码过程中，标题获得的注视时间最长，且在回忆时最有可能被提及，其次是标签和段落，这表明语言是可视化的关键组成部分。

决定在文本与可视化中表达什么

设计者必须首先决定文本的放置位置、它应承载的语义层级以及包含多少细节，因为这些选择塑造了观众的理解。一项计算视觉显著区域（红、绿、蓝）的研究发现，当说明文字与最显著的特征对齐时，参与者的理解与视觉显著性相匹配；当说明文字强调较不显著的特征时，说明文字的内容主导了理解；而当两者不一致时，视觉特征占据主导。这种相互作用表明，文本可以覆盖这两种模态中的任何一种，哪种模态与观众的焦点对齐得更好，哪种就倾向于获胜。

文本类型及其对不同受众的影响

引入外部语境的高层级文本描述更受视障读者的青睐，而盲人及低视力用户则偏好提及具体数值的低层级描述，这表明文本应被视为与视觉元素同等重要。在一项无障碍研究中，参与者将说明文字分为四类：高层级（外部信息，例如“价格的大幅下跌是由 2008 年金融危机引起的”）、趋势层级（例如“价格在波动，但随时间推移仍呈上升趋势”）、低层级（提及单个点的值）以及另一种未指定的层级。盲人及低视力参与者反对高层级描述，但青睐低层级描述；视力正常的参与者则表现出相反的模式。作者得出结论，在设计中应将自然语言视为与可视化同等重要的元素。

图表中应该出现多少文本

在从无文本到包含标题-注释-副标题的密集布局等各种实验中，参与者压倒性地更喜欢相关的文本，尽管有相当一部分人完全拒绝图表，还有一小部分人完全不需要文本。当文本从无到仅有标题，再到标题加注释、副标题及大量文本时，结果显示出对更多文本的偏好；最初的论文标题曾被认为是“文本过多或过少”，但后来改为“寻求平衡”，因为“文本过多”的情况从未出现过。相当一部分参与者不想要图表，极少数人想要没有任何标题或文本，而一部分人喜欢适量而非过多的文本。这些发现挑战了 Tufte 的极简主义，并表明相关的注释可以提高理解力。

文本注释、预测与感知偏见

在模糊的图表中添加文本注释并不会改变观众的预测，但同样的注释会强烈暗示作者对所强调实体的潜在偏见。在一次预测任务中，图表显示了两家科技公司的市场份额及即将发生的事件，诸如“绿色市场份额稳步增长”之类的文本注释并没有改变认为蓝色或绿色会更高的参与者比例。然而，当存在相同的标签时，参与者更有可能认为该图表是由偏好绿色的作者制作的，这表明即使文本不改变视觉判断，它也是感知偏见的强信号。

比较基于语言的比较与基于视觉的比较

语言自然地只能比较少量项目（通常为两到五个），而视觉编码能够同时比较许多数据点，当提供视觉语境时，两者的结合效果最好。除非使用“分别”之类的词汇，否则语言比较仅限于小集合，而可视化可以并列、叠加或显式编码许多点。在与 Tableau Research 的合作中，一个查询“给我看最高的建筑”的指令使用了基于认知语言学的阈值来决定突出显示哪些条形图。在对比举重和跆拳道赛事次数的聊天界面研究中，41% 的参与者不想看到任何可视化；在那些想要看的人中，人们更喜欢更多的条形图，因为它们提供了语境，而纯文本回复则因其精确性和简洁性而受到称赞。当一些参与者意识到视觉语境提供了他们在纯文本版本中缺失的信息时，他们的偏好发生了转变。

何时偏好纯文本

在多项研究中，相当比例的参与者选择了纯文本呈现——在对话机器人场景中为 41%，在丰富数据可视化中为 14%——这表明纯文本仍然是信息传递的一种可行选择。在针对医生的贝叶斯推理任务中，Ottley 等人发现文本和可视化条件下的准确率没有显著差异，但当两者同时呈现时，参与者往往会专注于一种模态而忽略另一种。在《纽约时报》的“You Draw It”研究中，文本呈现有助于回忆具体的数值，而可视化有助于回忆趋势；只有在可视化中，将自己的预测与观察到的数据进行对比才是有帮助的。这些结果表明，提供纯文本备选项可以迎合那些偏好或受益于言语信息的用户。

文本-视觉交互的认知模型

现有的认知框架——双重编码、双通道、认知负荷和双过程（System 1/System 2）理论——为文本和视觉有时协作有时竞争提供了部分解释，但没有单一模型能完全解释观察到的复杂性。双重编码理论假设存在独立的视觉和言语子系统，它们结合在一起以增强记忆；双通道模型增加了每个通道的有限容量以及建立两者之间联系的必要性。认知负荷理论认为，同时进行的视觉和言语输入可能会使工作记忆过载并降低理解力。双过程视角（System 1 是自动的，System 2 是费力的）被应用于可视化：在一个询问 A 和 B 的平均值是更接近 2 还是 2.2 的任务中，System 1 会导致错误的答案 2，而 System 2 需要费力的计算才能得出 2.2。这可能解释了为什么文本注释未能改变模糊市场份额图表的预测——System 1 的视觉处理主导了直觉判断。此外，在段落中插入非字母数字的视觉元素（如图标或超链接）可能会阻碍流畅阅读，因为它们会吸引注意力并破坏支持单词识别的旁视预览（parafoveal preview），这一点是由阅读流畅度研究（例如《Proust and the Squid》）所启发的。

对多模态大语言模型的启示

当前的视觉-语言多模态大模型通过统一的嵌入拼接或交叉注意力层来处理视觉和语言，这反映了人类双通道处理的某些方面，尽管目前尚不清楚这些机制如何指导以人为中心的文本-可视化组合的设计。在统一嵌入架构中，视觉和文本 token 分别被嵌入，然后在输入标准 transformer decoder 之前进行拼接。在跨模态嵌入架构中，首先处理视觉信息，然后通过交叉注意力层允许语言模型关注视觉 token，同时保留预训练的语言权重。Flamingo 模型使用掩码交叉注意力，使每个文本 token 仅关注对应的图像，防止早期的图像影响后来的文本。Lava 模型的研究表明，底层将通用视觉信息传播到语言表示中，中间层传输任务相关的视觉特征，顶层产生最终答案。虽然这些模型展示了强大的视觉-语言推理能力，但演讲者指出，目前尚不确定这些内部机制如何映射到人类处理文本-可视化任务的认知上。

未来方向

未来的工作应基于“文本与视觉深度交织但依赖于语境”的发现，探索口语、无障碍链接、文档-可视化集成、虚假信息、多语言方面以及文本本身的可视化。演讲者提到了其他途径，例如将可视化与其在文本中的引用联系起来、研究文本对可视化信任度的影响，以及检查不同模态如何影响不同领域的推理，但由于时间限制未能详细阐述。