Stanford CS547 HCI Seminar Spring 2026: Text, Visualization, and Their Combination

Marti Hearst 主張，文本並非外掛的附加物，而是資訊視覺化的核心組成部分；適當的文本量與類型可以提升理解效果，儘管預測與偏見感知遵循不同的模式。

定義資訊視覺化與語言的角色

資訊視覺化透過空間關係提供在單純統計中無法察覺的洞察，而語言——特別是標題與標籤——在觀者所注意到與記住的內容中扮演著至關重要的角色。視覺化是外部的視覺呈現，與其所代表的資訊具有系統性的空間關聯，正如 Anscombe’s quartet 所展示的，相同的充分統計量可能會產生截然不同的圖表。在歷史上，視覺化社群對文本關注甚少；例如，Apple 的圖表設計指南就省略了標題與刻度註釋。然而，眼球追蹤研究顯示，標題在編碼過程中獲得的注視時間最長，且在回憶時最有可能被提及，其次是標籤與段落，這表明語言是視覺化的關鍵組成部分。

決定在文本與視覺化中表達什麼

設計者必須首先決定文本的放置位置、其應承載的語義層級以及包含多少細節，因為這些選擇會塑造觀者的理解。一項計算視覺顯著區域（紅、綠、藍）的研究發現，當說明文字與最顯著的特徵一致時，參與者的理解與視覺顯著性相符；當說明文字強調較不顯著的特徵時，說明文字的內容會主導理解；而當兩者不一致時，視覺特徵則佔優勢。這種相互作用表明，文本可以覆蓋這兩種模態中的任何一種，哪一種與觀者的焦點更一致，哪一種就傾向勝出。

文本類型及其對不同受眾的影響

視覺閱讀者偏好能引入外部背景的高層次文本描述，而盲人與低視能使用者則偏好提及具體數值的低層次描述，這表明文本應被視為與視覺元素同等重要。在一項無障礙研究中，參與者將說明文字分為四類：高層次（外部資訊，例如「價格的大幅下跌是由 2008 年金融危機引起的」）、趨勢層次（例如「價格波動，但隨時間推移仍呈上升趨勢」）、低層次（提及單一點的值）以及另一種未指定的層次。盲人與低視能參與者反對高層次描述，但偏好低層次描述；視覺閱讀者則表現出相反的模式。作者得出結論，在設計中應將自然語言視為與視覺化同等地位。

圖表中應該出現多少文本

在從「無文本」到「標題-註釋-副標題密集型佈局」的實驗中，參與者壓倒性地偏好更多相關的文本，儘管有顯著少數人完全拒絕圖表，且一小部分人完全不想要文本。當文本從無到僅有標題，再到標題加上註釋、副標題及大量文本時，結果顯示對更多文本的偏好；原始論文標題曾是「過多或不足」，但後來改為「取得平衡」，因為「過多」的情況從未出現。顯著少數參與者不想要圖表，一小部分人不想要標題或任何文本，而一部分人喜歡一點點但不要太多。這些發現挑戰了 Tufte 的極簡主義，並表明相關的註釋能增進理解。

文本註釋、預測與感知偏見

在模糊的圖表中加入文本註釋並不會改變觀者的預測，但相同的註釋會強烈暗示作者對所強調實體的預設偏見。在一個顯示兩家科技公司市場佔有率及即將發生的事件的圖表預測任務中，諸如「綠色市場佔有率穩步增長」之類的文本註釋並未改變認為藍色或綠色會更高的參與者比例。然而，當出現相同的標籤時，參與者更有可能認為該圖表是由偏好綠色的作者所繪製，這表明即使文本不會改變視覺判斷，它仍是感知偏見的強烈信號。

比較基於語言與基於視覺的比較

語言自然地只能比較少數項目（通常是兩到五個），而視覺編碼能夠同時比較許多數據點，當提供視覺背景時，兩者結合的效果最好。除非使用「分別地」等詞彙，否則語言比較僅限於小集合，而視覺化可以並列、疊加或顯式地編碼許多點。在與 Tableau Research 的合作中，一個查詢「顯示最高的建築物」的指令使用了源自認知語言學的閾值來決定要突出顯示哪些條形圖。在一個比較舉重與跆拳道比賽次數的對話介面研究中，41% 的參與者不想看到任何視覺化；在想要看到的人中，更多條形圖更受歡迎，因為它們提供了背景，而僅限文本的回答則因精確與簡潔而受到讚賞。當部分參與者意識到視覺背景提供了文本版本中所缺乏的資訊時，他們改變了偏好。

何時偏好僅使用文本

在多項研究中，顯著少數參與者選擇僅限文本的呈現方式——在對話機器人場景中為 41%，在豐富數據視覺化中為 14%——這表明文本本身仍是資訊傳遞的可行選項。在一個針對醫生的貝氏推理任務中，Ottley 等人發現文本與視覺化條件下的準確度沒有顯著差異，但當兩者同時呈現時，參與者往往會專注於一種模態而忽略另一種。在《紐約時報》的「你來畫畫看」研究中，文本呈現有助於回憶特定的數值，而視覺化有助於回憶趨勢；將自己的預測與觀察到的數據進行對比，僅在視覺化時才有效。這些結果表明，提供僅限文本的替代方案可以迎合那些偏好或受益於口頭資訊的使用者。

文本-視覺互動的認知模型

現有的認知框架——雙重編碼、雙通道、認知負荷與雙過程（系統 1/系統 2）理論——為為什麼文本與視覺有時協作有時競爭提供了部分解釋，但沒有單一模型能完全解釋觀察到的複雜性。雙重編碼理論假設了獨立的視覺與語言子系統，兩者結合以增強記憶；雙通道模型增加了每個通道的有限容量以及建立兩者之間聯繫的需求。認知負荷理論認為，同時進行視覺與語言輸入可能會使工作記憶過載並降低理解力。雙過程觀點（系統 1 自動化，系統 2 費力）被應用於視覺化：在一個詢問 A 與 B 的平均值是接近 2 還是 2.2 的任務中，系統 1 會導致錯誤答案 2，而系統 2 需要費力的計算才能得出 2.2。這或許解釋了為什麼文本註釋未能改變模糊市場佔有率圖表的預測——系統 1 的視覺處理主導了直覺判斷。此外，在段落中插入非字母數字的視覺元素（如圖示或超連結）可能會阻礙流暢閱讀，因為它們會吸引視線並破壞支持單字識別的旁視野預覽，這一點是由閱讀流暢度研究（例如《普魯斯特與魷魚》）所啟發的。

對多模態語言模型的啟示

目前的視覺語言多模態大模型透過統一的嵌入拼接或交叉注意力層來處理視覺與語言，這反映了人類雙通道處理的某些方面，但目前尚不清楚這些機制如何啟發以人為中心的文本-視覺化組合設計。在統一嵌入架構中，視覺與文本標記（tokens）各自被嵌入，然後在餵入標準 Transformer 解碼器之前進行拼接。在跨模態嵌入架構中，視覺會被首先處理，然後透過交叉注意力層讓語言模型能夠關注視覺標記，同時保留預訓練的語言權重。Flamingo 模型使用遮罩交叉注意力，使每個文本標記僅關注對應的圖像，防止先前的圖像影響後續文本。Lava 模型的研究顯示，底層將通用視覺資訊傳播到語言表示中，中層傳遞任務相關的視覺特徵，而頂層產生最終答案。雖然這些模型展示了強大的視覺-語言推理能力，但演講指出，目前尚不確定這些內部機制如何映射到人類處理文本-視覺化任務的認知上。

開放性研究方向

未來的研究應基於「文本與視覺深度交織但取決於上下文」的發現，探索口語、無障礙連結、文件-視覺化整合、錯誤訊息、多語言面向以及文本本身的視覺化。講者提到了其他途徑，例如將視覺化與文本中的參考資料連結、研究文本對視覺化信任度的影響，以及檢視不同模態如何影響各領域的推理，但由於時間限制未進行詳細闡述。