シグモイドの罠：AI進歩の限界を予測する
人工知能の軌跡をめぐる議論は、能力の無限の指数関数的な爆発を信じる考えと、急速にプラトー（停滞期）に近づいているという恐怖との間で、しばしば二つの極端な間で揺れ動きます。この議論の中核にあるのは、シグモイド曲線という数学的概念です。これは、成長が緩やかに始まり、指数関数的に加速し、最終的に物理的または論理的な限界に達して平坦になるS字型の関数です。
現在のLLM（大規模言語モデル）の時代は、指数関数的な曲線の垂直な上昇のように感じられますが、歴史は、ほぼすべての正の成長が最終的にはシグモイド型になることを示唆しています。研究者や予測者にとっての重要な問いは、曲線が平坦になるかどうかではなく、いつ、そしてどの程度の高さでプラトーが設定されるかということです。
指数関数の錯覚
多くのAI楽観主義者は、スケーリング則（計算量、データ、モデルサイズを増やすことで、予測可能な性能向上につながるという観察結果）を指摘します。これにより、避けられない進歩という物語が作られました。しかし、最近の議論で指摘されているように、トレンドが無限に続くと仮定することは、しばしば認知的な罠となります。
ある視点では、これらのトレンドにLindy's Lawを適用すべきだと提案しています。Lindy's Lawは、非消耗品（アイデアや技術など）の場合、将来の期待寿命は現在の年齢に比例するというものです。AIの文脈では、これはあるトレンドが一定期間持続してきたのであれば、それがすぐに崩壊するか永遠に成長し続けると仮定するのではなく、およそ同じ期間、再び継続するというのがデフォルトの仮定であるべきであることを意味します。
ハードウェア：物理的な限界
プラトーが迫っているという一般的な議論は、ムーアの法則の減退です。もしAIのための計算を提供するハードウェアがシグモイドの限界に達しているならば、AIの能力もそれに従うと考えるのが理にかなっています。しかし、この見方は単純すぎるかもしれません。
一部の技術的な観察者は指摘するように、現在のシリコンによるAIモデルの実装は、依然として著しく非効率的です。 「ハードウェアの飛躍」の可能性は残っています：
ある時点で、誰かがすべてのデジタルmatmulsをアナログlogamp matmulsに置き換えるテンソル処理チップを構築するか、あるいはmemristorsにおける何らかの突破口がメモリと計算の間の障壁を打破し始めるでしょう。
もしハードウェアが、単にトランジスタを縮小させることから、行列計算（matrix multiplication）を根本的に処理する方法を変えることへと進化すれば、AIの「限界」は現在の予測よりも大幅に高く押し上げられる可能性があります。
「現実よりもリアル」という問題
AIの限界を概念化するもう一つの方法は、3Dコンピュータグラフィックスのレンズを通して見ることです。CGIの初期段階では、ポリゴン数を倍増させることで、視覚的な忠実度が劇的に向上しました。しかし、最終的には、業界は収穫逓減のポイントに達しました。デジタル画像は「現実よりもリアル」にすることはできません。
これは、根本的な哲学的および技術的な問いを提起します。視覚的なリアリズムに限界があるように、 「intelligence」や「capability」にも限界があるのでしょうか？ もしLLMが単に人間の言語と推論を近似しているだけなら、彼らは人間レベルの習熟度に達した時点でプラトーに達する可能性があります。しかし、もし知能がオープンエンドな能力であるならば、シグモイド曲線は私たちが想像するよりもはるかに広いものになるでしょう。
プラトーの予測不可能性
指数関数がシグモイドに変わる正確な点を見極めることは、非常に困難です。なぜなら、変数がしばしば不透明であるからです。AIの進歩は現在、主に三つの柱に依存しています：
- Compute: 計算資源の可用性とコスト。
- Data: トレーニングセットの量と質（および「データ・ウォール」を回避するために合成データを生成する能力）。
- Algorithmic Efficiency: 新しいパラダイムが同じリソースでより多くの性能を引き出すこと。
これらはいずれも、地政学的な紛争、規制による取り締まり、あるいは単なる「素晴らしいアイデア」の枯渇といった外部的なショックによって混乱される可能性があります。
結論
AIが垂直な上昇の最中にあるのか、それともプラトーに近づいているのかに関わらず、「シグモイド」的な考え方は、盲目的な楽観主義に対する必要な修正として機能します。限界の正確な座標を予測することはできないかもしれませんが、すべての成長は最終的に平坦になるということを認識することは、リスクと可能性についてよりニュアンスアンスのある理解を可能なにします。AIの未来は、おそらく単純な右肩上がりの直線ではなく、技術的なパラダイムが次のものへと移行するにつれて、いくつかのシフト（プラトーを迎えるもの、飛躍するもの）の連続となるでしょう。