三星Tizen设备每隔几秒在960x540帧上运行TensorFlow Lite AlexNet模型

根据开发者Mike(@mike64_t)在X上发布的实机拆解报告,一台运行Tizen操作系统的三星智能电视大约每隔几秒就在960x540视频帧上执行一个设备端TensorFlow Lite图像分类模型。该模型文件名为alex.tflite,是一个AlexNet风格的网络,似乎遵循PyTorch torchvision.models.alexnet架构,并且——根据报告——其存在目的是猜测观众正在玩什么游戏。据报道,当观众未通过同意门槛时,其输出会被丢弃。

这一发现在Hacker News上获得了285分,讨论分为对模型的技术好奇、对同意和未同意设备上浪费能源的不满,以及关于消费硬件隐私是否可以被监管的更广泛争论。

拆解实际声称的内容

核心声称是一个具体的、具名的工件,而不是对智能电视遥测的一般怀疑:一个名为alex.tflite的TensorFlow Lite模型正在设备上对缩小到960x540的截图执行,使用INT8量化,按重复间隔运行。

Mike自己对管道的描述:

好吧,我刚检查了,它确实每隔几秒就在960×540图像上运行一个该死的TensorFlow Lite模型,使用INT8量化,试图弄清楚你在玩什么游戏。它就叫“alex.tflite”,它确实是AlexNet,似乎遵循torchvision.models.alexnet。

同一条线程中的另外两个细节对任何评估该声称的人都很重要:

  • 分类输出与数据库进行比较,使用Mike描述的“奇怪的最近邻特征比较”。
  • 他表示这种方法“99%的时间确实不起作用”——这是对准确性的非正式描述,不是测量基准。

模型:AlexNet、INT8量化、960x540帧

AlexNet是一个2012年时代的卷积神经网络,赢得了ImageNet分类挑战。使用AlexNet形状的模型在960x540分辨率下进行INT8量化,与必须在电视的系统级芯片上廉价且连续运行的设备端内容识别工作负载一致,而不是在服务器上。

引用的细节——960x540采样分辨率、INT8量化以及大约“每隔几秒”的执行节奏——是将其与一次性分析上传区分开来的关键。该模型在本地重复运行。Mike还在线程中发布了TensorFlow模型图和转储的帧截图。

同意门槛在推理之后,而不是之前

Hacker News讨论中最常被重复的批评之一是架构性的:模型在检查同意之前运行,如果未授予同意,结果会被丢弃。

stavros总结了这种低效:

他们运行它,然后如果你不同意就丢弃结果?真是浪费电……

kmeisthax将同样的设计描述为对注重隐私的用户具有惩罚性:

真喜欢手机不管同意与否都运行昂贵的间谍模型,纯粹是为了让拒绝同意的人不会获得更好的电池续航。好像电池的某个百分比仍然是三星的财产,用于他们自己的营销目的。

Mike自己的说法是,该模型“似乎只是把结果扔进虚空,因为同意门槛在后面”。

平台是Tizen,指向三星电视

线程中@log4j的回复将模型置于上下文中:一份更长的书面文档分析了“tizen的关键问题”,是通过在实机上运行分析生成的。

在推特上直播三星的发现很有趣。我会让我的代理再花点时间,但这份文档已经是我见过的在实机上运行的最全面的tizen关键问题分析。

Tizen是三星智能电视的操作系统,这支持将该发现解读为智能电视功能,而不是手机功能。识别“你在玩什么游戏”的引用也符合电视尝试对屏幕上内容进行分类,包括连接的游戏机。

几位Hacker News评论者不确定讨论的是哪款三星产品。HackerThemAll写道:

三星什么?冰箱?空调?洗碗机?挖掘机?再多一个字的解释就会一目了然,而现在我需要猜测是电视、电脑显示器、智能手机还是谁知道什么。

jacquesm将担忧推广到其他三星硬件:“如果他们对电视这样做,那他们对手机做什么?”

这种模糊性值得明确说明:线程的证据集中在Tizen上,Tizen是电视平台,但讨论本身从未在评论中完全解决设备问题。

监管:为什么木板规则被强制执行而这不被强制执行

线程中最高票评论对比了狭窄、长期的监管与消费者数据收集缺乏监管的情况。

令人难以置信的是,英国有一条法律说:“木板不得沿人行道携带。只有在从车辆卸载或带入建筑物时才能移动。”但大科技根本无法被监管。我们曾经监管任何足够烦人的小事,但整个行业监视和窥探整个人口却没问题。

其他评论者直接提出了法律框架。zug_zug指出单独的分析表明该行为在没有同意的情况下持续存在,写道“这需要上法庭”。nekusar将消费硬件上的大规模收集定性为窃听,并主张对大规模参与的公司实施企业死刑。

经济论点:硬件制造商是最差的数据管理者

miki123211的一条长评论提供了结构性解释,说明为什么电视制造商——而不是广告公司——会构建这种管道。

我希望人们理解关于隐私的是,公司离技术越远,他们的隐私记录就越差。Meta和Google永远不会卖你的数据……他们对技术一无所知,不知道如何处理数据,并且必须积极竞争价格。如果某个精明的数据经纪人来找他们,提供一种通过压低价格低于竞争对手并出售你的数据来弥补损失来获得市场份额的方法?那是一个他们无法拒绝的提议。硬件制造商大多在杂货店一边……如果你想有意义地提高隐私,不要退出Meta,退出Target、Visa和LG。

该论点将alex.tflite的发现重新定义为低利润硬件商业模式的一个症状,而不是异常。

提议的认证:隐私的能源之星

Terr_提议了一种从能源效率中借鉴的自愿标签加采购模式:

你们还记得电脑上的能源之星标志吗?也许是时候做类似的事情了,一个共享的基线标准“这东西不会监视你”,对被发现撒谎的公司处以巨额罚款。通过使其成为政府购买任何东西的要求来推动采用。

提议的机制是:共享基线标准、对虚假声称的严厉处罚,以及政府采购来启动采用,以便消费者可以像比较功耗一样比较隐私。

讨论的缓解选项:非智能电视、阻止和越狱

Smalltalker-80认为回避仍然实用且便宜:

我不明白为什么人们还在买智能电视。我刚看了欧洲大型网店(bol.com)。你可以花不到200美元买一台非智能、全高清、40英寸的电视。

unstatusthequo指出电视平台本身是夺回控制权的障碍:“我真希望Tizen被越狱了。我很想自定义刷机,替换掉慢吞吞的三星UI。”

ComputerGuru从个人经验指出了代际分界,写道2011年的三星等离子电视是“安全的”,行业“从那以后就一路下滑”。egamirorrim问了许多读者共有的实际问题——是否有针对三星电视的整合指南。

线程中属于推测而非发现的声称

三个评论线程超出了拆解的证据,应与之区分:

  • 游戏和内容识别与DRM。breakingcups推测相同的设备端能力是否可以替代HDCP等内容保护技术:“谁需要像HDCP这样的DRM,如果你可以利用电视内置的能力?”
  • 市场数据。jareklupinski提出了一个关于会议室麦克风为交易信号提供数据的假设:“我想知道三星/ LG的东西是否就是股市在一段时间内早盘交易对某些人来说如此‘可预测’的原因……”这被框定为思想实验,而不是声称。
  • 能效优化。hypfer建议推理也可能用于调整设备参数以提高效率:“那不是用来通过基于内容优化参数来挤出更好的电源效率等吗?我的意思是它可能也用于收集数据,但这听起来可能不止于此。也许?”

一位评论者codedokode将批评扩展到另一种技术:三星对不存在的域名和畸形请求运行DNS探测,然后用机器学习对结果进行分类,而简单的条件语句就可以做到。

该发现未确立的内容

值得精确说明源材料的局限性。公开证据是一位开发者的拆解线程和一个确认在实机上有更长的Tizen分析的回复。该线程不包括模型的已发布准确性基准、哪些数据离开设备以及在什么条件下的完整列表,或三星对alex.tflite的声明目的的文档。Mike估计分类器“99%的时间失败”是他自己的评估,不是测量结果。

线程确实清楚确立的一件事是,一个具名的、量化的AlexNet家族TensorFlow Lite模型被观察到在实机三星Tizen设备上按常规间隔对实时屏幕内容执行,其输出受同意门槛限制,而同意是在推理运行后评估的。

Sources

相关