Samsung Tizenデバイスが960x540フレームでTensorFlow Lite AlexNetモデルを数秒ごとに実行

開発者Mike（@mike64_t）がXで公開したライブデバイスの分解調査によると、SamsungのスマートTV（Tizenオペレーティングシステム搭載）は、960x540のビデオフレームに対してオンデバイスのTensorFlow Lite画像分類モデルを約2秒ごとに実行しています。モデルファイル名はalex.tfliteで、AlexNetスタイルのネットワークであり、PyTorchのtorchvision.models.alexnetアーキテクチャに従っているようです。報告によると、このモデルは視聴者がプレイしているゲームを推測するために存在します。視聴者が同意ゲートを通過していない場合、その出力は破棄されるとのことです。

この発見はHacker Newsで285ポイントを獲得し、議論はモデルに関する技術的な好奇心、同意したデバイスと同意していないデバイスの両方で無駄になるエネルギーへの不満、そして消費者ハードウェアのプライバシーがそもそも規制可能かどうかという広範な議論に分かれました。

分解調査が実際に主張していること

核心的な主張は、スマートTVのテレメトリに関する一般的な疑念ではなく、特定の名前付きアーティファクトです。alex.tfliteというTensorFlow Liteモデルが、ダウンスケールされた960x540のキャプチャに対して、INT8量子化を使用し、繰り返し間隔でデバイス上で実行されているというものです。

Mike自身のパイプラインの説明：

ええと、ちょうどこれを確認したんだけど、文字通りTensorFlow Liteモデルを960×540の画像でINT8量子化で数秒ごとに実行して、あなたがプレイしているゲームを特定しようとしているんだ。文字通り「alex.tflite」という名前で、文字通りAlexNetで、torchvision.models.alexnetに従っているみたいだ。

同じスレッドからのさらに2つの詳細は、主張を評価する人にとって重要です：

分類出力は、Mikeが「奇妙な最近傍特徴比較」と説明するものを使用してデータベースと比較されます。
彼はこのアプローチは「文字通り99%の確率で機能しない」と述べています。これは精度の非公式な特徴付けであり、測定されたベンチマークではありません。

モデル：AlexNet、INT8量子化、960x540フレーム

AlexNetは2012年時代の畳み込みニューラルネットワークで、ImageNet分類チャレンジで優勝しました。960x540解像度でINT8量子化を使用したAlexNet形状のモデルは、サーバーではなくTVのシステムオンチップ上で安価かつ継続的に実行する必要があるオンデバイスコンテンツ認識ワークロードと一致しています。

引用された詳細（960x540のサンプリング解像度、INT8量子化、およそ「数秒ごと」の実行頻度）は、これが一回限りの分析アップロードとは異なる点です。モデルはローカルで繰り返し実行されます。Mikeはまた、TensorFlowモデルグラフとダンプされたフレームキャプチャをスレッドとともに投稿しました。

同意ゲートは推論の後、前ではない

Hacker Newsの議論で最も繰り返された批判の1つはアーキテクチャに関するものです。モデルは同意がチェックされる前に実行され、同意が付与されない場合は結果が破棄されます。

stavrosは非効率性を要約しました：

同意しない場合、実行して結果を捨てるのか？電気の無駄だな...

kmeisthaxは同じ設計をプライバシー意識の高いユーザーに対する懲罰的と表現しました：

同意に関係なく、電話が高価なスパイモデルを実行するのは、同意を差し控える人々がより良いバッテリー寿命で報われないようにするためだ。まるでバッテリーの一部がまだSamsungのマーケティング目的の財産であるかのように。

Mike自身の表現は、モデルは「同意ゲートが後にあるため、結果を虚空に捨てているだけのようだ」というものでした。

プラットフォームはTizen、つまりSamsung TVを指す

スレッド内の@log4jからの返信は、モデルを文脈に置いています：ライブデバイスでの分析を実行して生成された「tizenの主要な懸念事項」を分析する長い文書です。

samsungの発見をライブツイートするのは楽しかった。エージェントにもう少し時間を与えるつもりだが、この文書はすでに、ライブデバイスで実行されたtizenの主要な懸念事項の最も包括的な分析だ。

TizenはSamsungのスマートTV用オペレーティングシステムであり、この発見をスマートTV機能として読むことを支持しています（電話機能ではなく）。「プレイしているゲーム」を特定するという言及も、接続されたゲームコンソールを含む画面上のものを分類しようとするTVと一致しています。

Hacker Newsの数人のコメンテーターは、どのSamsung製品が議論されているのか確信がありませんでした。HackerThemAllは書きました：

Samsungの何？冷蔵庫？エアコン？食器洗い機？掘削機？もう一言説明があれば明確になるのに、今はTV、コンピュータモニター、スマートフォン、あるいは何かについてなのか疑問に思う必要がある。

そしてjacquesmは懸念を他のSamsungハードウェアに一般化しました：「彼らがTVでこれをやっているなら、電話で何をしているのか？」

その曖昧さは明確に述べる価値があります：スレッドの証拠はTizenに焦点を当てており、TizenはTVプラットフォームですが、議論自体はコメントでデバイスの問題を完全に解決することはありませんでした。

規制：なぜ木の板ルールは施行され、これはされないのか

スレッドで最も投票されたコメントは、狭く長年の規制と、消費者データ収集に対する規制の欠如を対比しました。

英国には「木の板は歩道に沿って運んではならない。車両から降ろすか建物に持ち込む場合にのみ移動できる」という法律があるのは驚くべきことだ。しかし、ビッグテックはまったく規制できない。私たちはかつて十分に迷惑なあらゆる小さなことを規制していたが、人口全体をスパイし詮索する業界全体は問題ない。

他のコメンテーターは直接法的枠組みを提起しました。zug_zugは、同意なしに行動が続くことを示す別の分析を指摘し、「これは裁判所に行く必要がある」と書きました。nekusarは消費者ハードウェアでの大量収集を盗聴と特徴付け、大規模に行う企業に対する企業死刑を主張しました。

経済的議論：ハードウェアメーカーは最悪のデータ管理者

miki123211からの長いコメントは、広告会社ではなくTVメーカーがこの種のパイプラインを構築する理由の構造的説明を提供しました。

プライバシーについて人々に理解してほしいのは、企業がテクノロジーに隣接していないほど、プライバシー記録が悪いということです。MetaやGoogleはあなたのデータを決して売らないでしょう...彼らはテクノロジーに無知で、データをどう処理すればよいかわからず、価格で積極的に競争する必要があります。賢いデータブローカーが彼らに近づき、競争よりも低い価格を押し下げ、データを売って損失を補うことで市場シェアを実質的に獲得する方法を提供したら？それは断れない申し出です。ハードウェアメーカーはほとんど食料品店側にいます...プライバシーを有意義に向上させたいなら、Metaをやめるのではなく、Target、Visa、LGをやめてください。

その議論は、alex.tfliteの発見を異常ではなく、低マージンのハードウェアビジネスモデルの症状として再構成します。

提案された認証：プライバシーのためのEnergy Star

Terr_はエネルギー効率から借用した自主ラベルと調達のモデルを提案しました：

コンピューターのEnergy Starロゴを覚えていますか？おそらくそのようなものの時が来たのかもしれません。「これはあなたをスパイしない」という共有ベースライン基準で、嘘をついていることが発覚した企業には巨額の金銭的罰則を課すものです。政府が購入するものすべてに要件とすることで普及を促進します。

提案されたメカニズムは：共有ベースライン基準、虚偽の主張に対する重い罰則、そして消費者が電力消費で比較するようにプライバシーで比較購入できるようにするための政府調達による採用のブートストラップです。

議論された緩和オプション：非スマートTV、ブロッキング、ルート化

Smalltalker-80は回避がまだ実用的で安価であると主張しました：

なぜ人々がまだスマートTVを買っているのか理解できません。大きなEUのウェブショップ（bol.com）を見たばかりですが、非スマート、フルHD、40インチのTVを200ドル未満で買えます。

unstatusthequoは、TVプラットフォーム自体が制御を取り戻すための障害であると特定しました：「Tizenがルート化されていたらいいのに。遅いSamsung UIをカスタムフラッシュしたいです。」

ComputerGuruは個人的な経験から世代的な断絶を指摘し、2011年のSamsungプラズマTVは「安全」であり、業界は「そこからすべて下り坂だった」と書きました。egamirorrimは多くの読者が共有する実用的な質問をしました：Samsung TVを無力化するための統合ガイドがあるかどうか。

スレッドからの主張で、憶測であり発見ではないもの

3つのコメントスレッドは分解調査の証拠を超えており、それから分離されるべきです：

ゲームおよびコンテンツ認識とDRM。breakingcupsは、同じオンデバイス機能がHDCPなどのコンテンツ保護技術の代わりになるかどうかを推測しました：「HDCPのようなDRMが誰に必要か、TVに組み込まれた機能を利用できれば？」
市場データ。jareklupinskiは会議室のマイクが取引シグナルを供給するという仮説を浮かべました：「Samsung / LGのものが、株式市場がしばらくの間一部の人々に朝の取引で「予測可能」に見えた理由かどうか疑問に思う...」これは思考実験として提示され、主張ではありません。
電力効率の最適化。hypferは推論がコンテンツに基づいてパラメータを最適化することでデバイスの電力効率などを向上させるためにも使用されるかもしれないと示唆しました：「それはコンテンツに基づいてパラメータを最適化することでデバイスの電力効率などを絞り出すために使われたのでは？データ収集にも使われるだろうが、それだけではないかもしれない。もしかして？」

あるコメンテーター、codedokodeは批判を別の技術に拡張しました：Samsungが存在しないドメインに対するDNSプローブと不正なリクエストを実行し、単純な条件文で十分なところを機械学習で結果を分類しているというものです。

発見が確立しないこと

ソース資料の限界について正確であることは価値があります。公開されている証拠は、1人の開発者の分解調査スレッドと、ライブデバイスでのより長いTizenの書き込みを確認する返信です。スレッドには、モデルの公開された精度ベンチマーク、デバイスからどのデータがどのような条件下で出ていくかの完全なリスト、またはalex.tfliteのSamsungの意図した目的の文書は含まれていません。Mikeの分類器が「99%の確率で」失敗するという推定は彼自身の評価であり、測定された結果ではありません。

スレッドが明確に確立する唯一のことは、名前付きの量子化されたAlexNetファミリーのTensorFlow Liteモデルが、ライブのSamsung Tizenデバイスで定期的な間隔でライブ画面コンテンツに対して実行され、その出力が推論の実行後に評価される同意にゲートされていることが観察されたということです。