InternLM/Intern-S1

解決する課題

Intern-S シリーズは、科学的インテリジェンスおよび長期にわたるエージェントタスクに特化して設計されたマルチモーダル基盤モデルのコレクションを提供します。オープンソースモデルが複雑な科学的推論を処理し、専門的なモダリティ（分子式やタンパク質配列など）を解釈し、複数ステップの科学ワークフローを実行する能力におけるギャップを埋めます。

仕組み

このシリーズは、異なるモデルバージョン間でいくつかの高度なトレーニングおよびアーキテクチャ戦略を採用しています：

• 視覚事前学習: Intern-S2 モデルは生の科学文献ページから直接学習し、記号意味論と視覚的関係を同時にモデル化することで、中間パースングの必要なくテキストと視覚の対応関係を保持します。
• タスクスケーリングと強化学習: モデルは、20以上の科学分野にわたる大規模なマルチタスク強化学習（RL）を使用します。Intern-S2-Preview-35B は特に「タスクスケーリング」に焦点を当て、より少ないパラメータ数で能力を解き放ちます。
• MoE アーキテクチャ: Intern-S1-Pro などの高容量バージョンは、512のエクスパートを持つ兆規模の Mixture-of-Experts (MoE) アーキテクチャを使用し、パフォーマンスと効率のバランスを取ります。
• 専門的なモダリティ: モデルは動的トークナイザとフーリエ位置エンコーディング (FoPE) を利用し、化学構造、タンパク質配列、および長い非一様な時系列シグナルをネイティブに理解します。
• エージェントトレーニング: モデルはサンドボックス環境に接続され、ブラックボックス強化学習を通じて長期タスクを処理する能力を向上させます。

対象者

• 科学研究者: 生体分子相互作用の設計、材料構造の生成、または化合物合成計画のための AI アシスタントを必要とする方。
• AI 開発者: 複雑な複数ステップのワークフローのための長期エージェントを構築するエンジニア。
• ML 研究者: マルチモーダル推論と科学的インテリジェンスのスケーリングを研究している方。

ハイライト

• 科学特化性: 化学、材料科学、生命科学における優れたパフォーマンス。
• マルチモーダル機能: 生の科学ページ、分子式、地震シグナルのネイティブ理解。
• 多様なモデルサイズ: ライトウェイト (Intern-S1-mini) から兆規模 (Intern-S1-Pro) まで。
• 効率の向上: Intern-S2-Preview-35B は MTP と CoT 圧縮を使用して、トークン生成速度と推論効率を向上させます。