Hacker News Goalposts: AIの進歩とAGIの移動する目標の追跡

人工一般知能（AGI）の追求は、かつて不可能とされた能力が日常的になると、観察者が成功の定義を再定義するという「移動するゴールポスト」現象によって特徴づけられることが多い。最近のコミュニティプロジェクト「Goalposts」は、Hacker Newsのユーザーが設定した歴史的な課題を集約しており、この進化と、モデルが一度タスクを実行できるようになることと、それを信頼性を持って実行できるようになることの間の持続的なギャップを浮き彫りにしている。

AIベンチマークの進化

AIベンチマークは、単純なデジタルタスクから複雑な現実世界の相互作用へと移行してきた。2016年から2026年までの課題の分析から、コミュニティが「難しい」と考える問題の性質に明確な変化が見られる。

• 初期の課題（2016–2024年）： 主にチューリングテスト、基本的なソフトウェア工学、簡単なエージェント行動（例：「コーヒーを注文して」）に焦点を当てていた。
• 最近の課題（2026年）： 物理世界との相互作用（例：「物理的なドアを開ける」）、高レベルの認知的共感（「人間の気まぐれを説得力を持って模倣する」）、そして根本的な科学的発見（「新しい科学的発見を成し遂げる」）へとシフトしている。

この変化は、デジタル模倣やコード生成がすでに解決されたと内部化された一方で、AIの進歩のフロンティアが世界モデルと自律的な物理的エージェンシーへと移行していることを示唆している。

信頼性と確率的成功の違い

モデルが強力な計算力で結果を達成できる能力と、そのタスクを信頼性を持って実行できる能力の間には、重要な違いが生じている。

"多くの場合、現在のLLMが無限の計算リソースと無限の試行回数があれば、少なくとも一度はタスクを達成できると確信している…しかし、これらのタスクの多くは日常的な出来事ではなく、モデルは現在、信頼性を持ってそのタスクを完了できない。"

このギャップは、いくつかの具体的な失敗モードで顕著に現れている：

• 空間的推論： 高い投票数が成功を示唆しているにもかかわらず、最先端モデル（例：Opus 5.5や5.6 Luna）はASCIIアートに対して依然として苦戦しており、単純な形状（例：足を機関車と誤認）を正しく識別できないことが多い。
• ドメイン固有の専門知識： LLMは、膨大な訓練データがあるため、コーディングでは優れた成果を上げるが、農業、建設、機械工学などの専門的な物理的職業では頻繁に失敗し、『破滅的な』アドバイスを提供したり、出典を幻覚的に生成したりする。
• 文脈的なニュアンス： AIツールは、人間のような直感を要するタスク（例：プレイヤーのレベルに基づいてチェススコアシートの誤りを修正し、意図された手を推測する）に対して依然として苦戦している。

自動運転のための「世界モデル」の必要性

最も議論の多いゴールポストの一つは、自動運転車の完全な解決である。一部の技術的観察者間では、自動運転はパターン認識だけでは解決できないとされ、予測のために根本的な「世界モデル」が必要だとされている。

この主張は、無害な物体（空のソーダ缶）と重大な危険（レンガ）を区別する能力が、AGIの「G」（一般性）に相当するレベルの一般知能を必要とし、結果を予測して失敗を回避するためのものであると述べている。包括的な世界モデルがなければ、AIは物理世界の予測不可能性を信頼性を持って扱うことはできない。

チューリングテストの再定義

コミュニティにおけるチューリングテストの見方は、二値の合格/不合格から、人間の認識に関する洗練された議論へと進化している。一部の者は、テストが根本的に欠陥があると主張しており、人間は高度に洗練された「オウム返し」（パロディ）と意識ある存在を区別できないことが多く、テストが人間の疑心暗鬼さを測るものであると指摘している。

さらに、標準的なチューリングテストと「敵対的」チューリングテストの区別がなされており、後者はモデルが長期間にわたり、厳しい監視下で人間の役割を維持しなければならない。多くの人々が、この基準はまだ達成されていないと信じている。