您是否在模型权重中:分析大型语言模型对个人的识别

“您是否在模型权重中”概述

“您是否在模型权重中”是一款用于衡量个人在大型语言模型(LLM)训练数据中留下的痕迹的工具。 它通过并行查询多个前沿模型和小模型,对得到的响应进行聚类,并计算“强度”分数,以确定一个人在不同权重中的识别程度。

随着网络流量日益转向由 LLM 主导的发现,这款工具为用户提供了一种方式,查看他们的身份痕迹——或其身份的幻觉——在现代 AI 模型的权重中留下了多少。

技术实现与方法论

并行查询与聚类

系统并不依赖单一模型的输出,而是同时查询多种模型。为了判断识别程度,工具会对响应进行聚类。这意味着如果多个模型对某个人给出相似的描述,工具会识别出一种识别模式,而不是一次性的响应。

识别指标

工具向用户提供两个主要指标:

  • 强度(Strength): 表示识别强度的数值。
  • Top N%: 百分位排名,指示用户相对于其他使用该工具的人的位置。

用户发现与模型表现

幻觉 vs. 准确性

用户体验显示实际识别与 AI 生成的幻觉之间存在显著差异。许多用户被错误地识别为他们并非的专业人士,包括:

  • 被识别为“墨西哥画家/演员/足球运动员”。
  • 被识别为“美国火山学家”。
  • 被识别为“职业橄榄球运动员或神经科医生”。
  • 被识别为“并不存在的苏格兰足球运动员”。

模型特定观察

用户指出不同模型表现出不同的强度和偏见:

  • Kimi: 有些用户发现 Kimi 在识别已停运的博客或特定职业历史方面比其他模型更准确。
  • Gemini: 能识别在线昵称、GitHub 资料和 Rust 编程关联,尽管有用户指出它偶尔会把英文活动翻译成德文。
  • DeepSeek: 有用户称其信息量大,但也有用户认为其结果充满幻觉。
  • Mistral: 被报告对部分用户身份有部分识别。

“开源泡沫”

一些用户观察到活跃于开源社区的个人更频繁且更准确地被 LLM 识别。这表明开源仓库及相关文档在这些模型的训练集里占有很大权重。

隐私与安全担忧

公开数据泄露

社区反馈强调了一个重要的隐私问题:在站点输入的姓名和文本会出现在公开的“最新”排行榜上。这意味着任何检查自己状态的用户实际上都在向公开列表贡献自己的姓名。

数据收集疑虑

多位用户对站点的意图持怀疑态度,认为它可能是从 Hacker News 社区收集真实姓名的机制。还有人担心存在追踪 Cookie 且缺乏正式的隐私政策。

用户界面与体验

美学设计

站点采用 8 位复古风格美学,配有像素艺术头像和滚动时的点击音效,营造出类似 “Retro Bowl” 的氛围。

稳定性问题

由于在 Hacker News 上曝光后流量激增,一些用户报告收到 “429 Too Many Requests” 错误,表明工具的 API 限额被触发。


摘要: 工具 “您是否在模型权重中” 通过并行查询多个模型并对响应进行聚类,让用户检查前沿模型和小型 LLM 对其的识别程度。

标题: 您是否在模型权重中:分析大型语言模型对个人的识别

Sources