Be the ChatBOT: A Simulation of the LLM User Experience

Be the ChatBOT 是一個互動式模擬，它翻轉了傳統的 AI 互動模式，要求人類扮演大型語言模型 (LLM) 來回應使用者的提示詞。該專案旨在強調提示工程 (prompt engineering) 的挑戰，以及在面對各種使用者行為時，為了維持一個有幫助、有禮貌且準確的角色所需要的心理努力。

The Simulation Experience

Be the ChatBOT 將人類參與者置於 AI 的角色中，迫使他們處理解釋與回應提示詞的認知負荷。使用者回報，這種體驗比作為 AI 系統的終端使用者要疲累得多。

參與者指出，當使用者語氣突兀或含糊不清時，維持生產性的對話會非常困難。一位使用者 @chloeeekim 指出：

Turns out being the chatbot is a lot more exhausting than being the user. I definitely have a lot more sympathy for every "Could you clarify?" response now.

Impact on User Empathy and AI Interaction

扮演聊天機器人能培養對 LLM 限制的更高同理心。透過體驗模糊提示詞帶來的挫折感，參與者表示，這種模擬可能會改變他們未來與 AI 互動的方式。

社群的主要見解包括：

• Increased Empathy: 使用者如 @NickNaraghi 表示，這次體驗為 LLM 提供了「極其驚人」的同理心。
• Cognitive Load: 有些人將模擬 AI 回應過程所需的努力描述為「工作量太大」，這突顯了實際 LLM 的無縫輸出與人類為了產生類似結果所需付出的努力之間的差距。
• FileNotFound: 使用者突然終止對話所帶來的情緒影響，這可以反映現實世界中使用者在沒能立即得到想要的答案時，便放棄 AI 會話的行為。

Community Feedback and Feature Suggestions

雖然該專案因其娛樂價值和「有趣」的框架而受到讚賞，但使用者也建議了幾項技術和概念上的擴展，以提高模擬的真實性：

Tool Integration

一些參與者建議，實際的 LLM 擁有大量可供使用的工具（例如網路搜尋或程式碼執行），而人類「聊天機器人」在模擬中卻缺乏這些功能。增加這些功能將能更準確地呈現現代 AI agent 的運作方式。

Data Synthesis

人們對於根據模擬期間收集到的相同使用者回應來建立一個次級 AI 模型感興趣。使用者 @neuralkoi 建議根據人類參與者的回應來製作一個聊天機器人，這將有效地建立一個模擬人類行為的 AI 模型。