InternLM/Intern-S1

解決する課題

Intern-Sシリーズは、科学的インテリジェンスと長期的なエージェントタスクに特化して設計された一連のマルチモーダル基盤モデルを提供します。これは、オープンソースモデルにおける、複雑な科学的推論、専門的なモダリティ（分子式やタンパク質配列など）の解釈、および多段階の科学的ワークフローの実行能力のギャップを解消します。

仕組み

本シリーズは、異なるモデルバージョンにわたっていくつかのスケーリングおよびトレーニング戦略を採用しています：

• 視覚的事前学習: Intern-S2-Preview-397Bのようなモデルは、生の科学文献のページから直接学習し、中間的なパースなしに記号的意味論と視覚的関係をモデリングします。
• 強化学習 (RL): モデルは、20以上の科学分野にわたる大規模なマルチタスクRLと、サンドボックス環境でのブラックボックス・エージェントRLを使用して、一般的な推論と長期的なタスク実行能力を向上させます。
• アーキテクチャのバリエーション: 本シリーズには、安定性のためにSTEルーティングとグループ化ルーティングを使用する兆単位のMixture-of-Experts (MoE) モデル (Intern-S1-Pro) や、トークン生成を高速化するために共有ウェイトMTPとCoT圧縮を利用する効率的な中規模モデル (Intern-S2-Preview-35B) が含まれます。
• 専門的なモダリティ: モデルは、動的トークナイザーとFourier Position Encoding (FoPE) を使用して、分子式、タンパク質配列、および長時間の不均一な時系列信号をネイティブに理解します。

対象者

• 科学研究者: 化学、材料科学、生命科学、地球科学のためのAIアシスタントを必要とする方。
• AI開発者: 科学的ワークフローのための長期的なエージェントを構築しているエンジニア。
• ML研究者: 専門分野におけるマルチモーダル・スケーリングと強化学習を研究している方。

ハイライト

• 幅広い科学的カバー範囲: 生体分子相互作用の設計、材料結晶構造の生成、および化合物合成計画における専門的な能力。
• 高い効率性: 35Bモデルは、タスクスケーリングを通じて、コアとなる科学タスクにおいて兆単位のモデルに匹敵する性能を達成しています。
• 膨大なトレーニングデータ: Intern-S1は5兆トークンで事前学習されており、そのうち2.5兆トークン以上が科学分野に特化しています。
• 多様なモデルズー: 軽量なモデル (Intern-S1-mini) から兆単位のパラメータを持つMoE (Intern-S1-Pro) まで、幅広いサイズを提供します。