您是否在模型權重中:分析大型語言模型對個人的識別
「您是否在模型權重中」概述
「您是否在模型權重中」是一個用於測量個人在大型語言模型(LLM)訓練資料中留下的痕跡的工具。 它的運作方式是同時向多個前沿模型與小型模型發出查詢,對得到的回應進行聚類,並計算「強度」分數,以判斷一個人在不同權重中的被識別程度。
隨著網路流量日益轉向由 LLM 媒介的資訊探索,這個工具提供了一種方式,讓使用者能看到自己的身份痕跡——或是對自己身份的幻覺——在現代 AI 模型的權重中持續存在的情況。
技術實作與方法論
平行查詢與聚類
系統並不依賴單一模型的輸出,而是同時向多種模型發出查詢。為了判斷是否被識別,工具會對回應進行聚類。這意味著如果多個模型給出相似的個人描述,工具會將其視為一種識別模式,而非一次性的回應。
識別指標
工具向使用者提供兩個主要指標:
- 強度(Strength): 代表識別強度的數值。
- 前 N%(Top N%): 百分位排名,顯示使用者相較於其他使用過此工具的人的位置。
使用者發現與模型表現
幻覺 vs. 正確性
使用者經驗顯示,實際被識別程度與 AI 產生的幻覺之間存在顯著差異。許多使用者被錯誤地辨識為他們並非的專業人士,包括:
- 被辨識為「墨西哥畫家/演員/足球員」的使用者。
- 被辨識為「美國火山學家」的使用者。
- 被辨識為「職業橄欖球選手或神經科醫師」的使用者。
- 被辨識為「不存在的蘇格蘭足球員」的使用者。
各模型觀察
使用者指出不同模型展現出不同的強度與偏見:
- Kimi: 有些使用者發現 Kimi 在辨識已關閉的部落格或特定職業歷史方面較為準確,而其他模型則失敗。
- Gemini: 能辨識線上暱稱、GitHub 個人檔案與 Rust 程式語言相關聯,但有使用者指出它偶爾會把英文活動翻譯成德文。
- DeepSeek: 有使用者認為其資訊量大,但也有人認為結果充滿幻覺。
- Mistral: 被報告對部分使用者的身份有部分辨識。
「開源泡沫」
部分使用者觀察到活躍於開源社群的個人似乎更頻繁且更準確地被 LLM 識別。這暗示開源倉庫與相關文件在這些模型的訓練資料中佔有較大比重。
隱私與安全顧慮
公開資料曝光
社群回饋指出一項重大隱私問題:輸入網站的姓名與文字會列在公開的「最新」排行榜上。這意味著任何檢查自己狀態的使用者,實際上都在將自己的姓名貢獻到公開名單中。
資料收集疑慮
多位使用者對網站的目的持懷疑態度,認為它可能是收集 Hacker News 社群真實姓名的機制。亦有人擔心追蹤 Cookie 的存在以及缺乏正式的隱私政策。
使用者介面與體驗
美學設計
網站採用 8 位元、復古風格的美學,包含像素藝術肖像與捲動時的點擊音效,營造出類似「Retro Bowl」的感受。
穩定性問題
由於在 Hacker News 上曝光後流量激增,部分使用者回報收到「429 Too Many Requests」錯誤,顯示工具的 API 限額被觸發。
摘要: 「您是否在模型權重中」工具允許使用者透過同時查詢多個前沿與小型 LLM,並對回應進行聚類,來檢視這些模型對他們的識別程度。
標題: 您是否在模型權重中:分析大型語言模型對個人的識別