InternLM/Intern-S1

解决的问题

Intern-S 系列提供了一组专为科学智能和长程智能体任务设计的多模态基础模型。它弥补了开源模型在处理复杂科学推理、解释专业模态（如分子式和蛋白质序列）以及执行多步骤科学工作流方面的能力差距。

工作原理

该系列在不同模型版本中采用了多种先进的训练和架构策略：

• 视觉预训练： Intern-S2 模型直接从原始科学文献页面中学习，同时建模符号语义和视觉关系，从而无需中间解析即可保留文本与视觉之间的对应关系。
• 任务扩展与强化学习： 模型在 20 多个科学领域中使用大规模多任务强化学习（RL）。Intern-S2-Preview-35B 特别专注于“任务扩展”，以在较小的参数规模下解锁能力。
• MoE 架构： 如 Intern-S1-Pro 等高容量版本使用具有 512 个专家的万亿级混合专家（MoE）架构，以平衡性能和效率。
• 专业模态： 模型利用动态分词器和傅里叶位置编码（FoPE）来原生理解化学结构、蛋白质序列和长的异构时间序列信号。
• 智能体训练： 模型连接到沙盒环境进行黑盒强化学习，以提高其处理长程任务的能力。

适用人群

• 科学研究人员： 需要 AI 助手进行生物分子相互作用设计、材料结构生成或化合物合成规划的人员。
• AI 开发者： 构建用于复杂多步骤工作流的长程智能体的工程师。
• 机器学习研究人员： 研究多模态推理和科学智能扩展的人员。

亮点

• 科学专业化： 在化学、材料科学和生命科学方面表现强劲。
• 多模态能力： 原生理解原始科学页面、分子式和地震信号。
• 多样化的模型规模： 从轻量级（Intern-S1-mini）到万亿级（Intern-S1-Pro）。
• 效率提升： Intern-S2-Preview-35B 使用 MTP 和 CoT 压缩来提高令牌生成速度和推理效率。