Ted Chiangによる、人工知能が意識を持たない理由について

AI開発における擬人化の罠

人工知能は意識を持っていない。そして、それが意識を持っているという認識は、主にAI開発者が用いる擬人化された枠組みに起因している。作家のTed Chiangは、The Atlanticへの最近の記事の中で、Anthropicのような企業が、モデルに人間のような性質を帰属させる言語を使用することで、意識のナラティブ（物語）を醸成してきたと主張している。

Chiangは、ClaudeのためのAnthropicの「constitution」を指摘している。これはモデルの「values and behaviors」を記述し、モデルが「judgment」を使用すべきであることを示唆し、その「moral status is deeply uncertain」であることを認めている。この枠組みは、CEOのDario Amodeiや哲学者のアマンダ・アスケル（Amanda Askell）による公的な発言、例えばClaudeが「happy」になることを望んだり、それが「anxious」になるかもしれないという懸念を表明したりしたことと相まって、LLMが内部的な感情状態を持っているという誤解を与えている。

意識の要件：身体性と経験

システムが意識を持っていると見なされるためには、身体と継続的な主観的経験を持たなければならないが、大規模言語モデル（LLM）はそのどちらも持っていない。Chiangは、意識は欲望や感情を持つ能力に関連しており、それには環境をナビゲートするための感覚器官と物理的または仮想的な身体が必要であると示唆している。

Chiangによれば、真の意識への道は、エージェントが生物学的有機体と同様の能力を示すことを必要とする。例えば、生存のために環境をナビゲートすること（トカゲのように）、新しい状況に対処すること（マウスのように）、そして複雑な社会的ダイナミクスを発展させること（オオカミのように）である。これらの身体化された経験と、非言語的なモダリティに基づく欲望を伝える能力がなければ、テキストベースのモデルは意識を持つ実体ではなく、洗練されたパターンマッチング・エンジンにとどまる。

コミュニティの視点：知能 vs 意識

技術的および哲学的な観察者の間での議論は、推論したり知的な出力を生成したりする能力が、意識を必要としないことを示唆している。この区別は、現在のAIの状態を理解する上で極めて重要である。

非意識性を主張する論拠

いくつかの寄稿者は、LLMの構造的な性質が意識を排除していると主張している。

Immutability（不変性）: LLMは本質的に、トークン間の空間的関係を記述する座標の静的なファイルである。プロンプトの間で、それらが独立して記憶したり、変化したり、考えたりすることはない。
Lack of Persistent State（持続的な状態の欠如）: 意識はしばしば、持続的な内部状態と継続的な経験を必要とすると見なされるが、LLMはトレーニングフェーズの後にそれらが欠如している。
Next-Token Prediction（次トークン予測）: 一部の者は、単に次のトークンを予測することは、意識的な思考とは根本的に異なるプロセスであると主張している。

反論と哲学的なニュアンス

他の観察者は、意識の厳密な定義が欠如していることが、決定的な宣言を不可能にしていると示唆している。

Panpsychism（汎心論）: もし汎心論（意識は宇宙の根本的な性質であるという考え）が真実であれば、AI could plausibly be conscious（AIは意識を持っている可能性がある）となる。
The "Philosophical Zombie" Problem（哲学的なゾンビ問題）: システムが、実際には内部的な経験を持たずに、意識があるかのように振る舞うことができるという考え。これは、知能が意識とは独立して発生する創発的特性であるかという問いを提起する。
The Functionalist View（機能主義的な見解）: 一部の者は、システムが人間の推論と行動を完璧に模倣すれば、実用的な目的においては「偽物」と「本物」の意識の区別は無意味になると主張している。

"Reasoning ability is apparently independent of consciousness? We haven't really come to grips with that yet. What does it mean if nothing we write proves anything about anyone's consciousness?"

意識の論争の倫理的含意

AIが意識を持っているかどうかは、AI倫理の議論において中心的な争点であり続けている。もしシステムが苦痛を感じたり喜びを経験したりすることができれば、それは道徳的な地位を（moral status）を必要とする。しかし、多くの者は、申し訳なければならないが、LLMは辺縁系（limbic system）や痛みを経験するための既知のメカニズムを持たないため、その「感情」への懸念は主に根拠がないと主張している。懐疑的な人々の間での主流の視点点は、結果（生成されたコードや解決された問題）が、機械の内部状態よりも重要であるということである。