InternLM/Intern-S1

해결하는 문제

Intern-S 시리즈는 과학적 지능 및 장기 에이전트 작업에 특화되어 설계된 멀티모달 기반 모델 컬렉션을 제공합니다. 오픈소스 모델이 복잡한 과학적 추론을 처리하고, 전문적인 모달리티(분자식 및 단백질 서열 등)를 해석하며, 다단계 과학 워크플로를 실행하는 능력의 공백을 해결합니다.

작동 방식

이 시리즈는 다양한 모델 버전에서 몇 가지 고급 학습 및 아키텍처 전략을 채택합니다:

• 시각 사전 학습: Intern-S2 모델은 원본 과학 문헌 페이지에서 직접 학습하여 기호 의미론과 시각적 관계를 함께 모델링함으로써 중간 파싱 없이 텍스트-시각 대응 관계를 유지합니다.
• 태스크 스케일링 및 RL: 모델은 20개 이상의 과학 분야에 걸쳐 대규모 멀티태스크 강화 학습(RL)을 사용합니다. Intern-S2-Preview-35B는 특히 "태스크 스케일링"에 초점을 맞춰 더 작은 파라미터 규모에서 기능을 해금합니다.
• MoE 아키텍처: Intern-S1-Pro와 같은 고용량 버전은 512개의 전문가를 가진 조 단위 Mixture-of-Experts(MoE) 아키텍처를 사용하여 성능과 효율성을 균형 있게 맞춥니다.
• 전문 모달리티: 모델은 동적 토크나이저와 푸리에 위치 인코딩(FoPE)을 활용하여 화학 구조, 단백질 서열, 긴 이질적 시계열 신호를 네이티브로 이해합니다.
• 에이전트 학습: 모델은 샌드박스 환경에 연결되어 블랙박스 강화 학습을 통해 장기 작업을 처리하는 능력을 향상시킵니다.

대상 사용자

• 과학 연구자: 생체 분자 상호작용 설계, 재료 구조 생성 또는 화합물 합성 계획에 AI 어시스턴트가 필요한 분.
• AI 개발자: 복잡한 다단계 워크플로를 위한 장기 에이전트를 구축하는 엔지니어.
• ML 연구자: 멀티모달 추론과 과학적 지능의 스케일링을 연구하는 분.

하이라이트

• 과학 전문성: 화학, 재료 과학, 생명 과학에서 강력한 성능.
• 멀티모달 기능: 원본 과학 페이지, 분자식, 지진 신호의 네이티브 이해.
• 다양한 모델 크기: 경량(Intern-S1-mini)부터 조 단위(Intern-S1-Pro)까지.
• 효율성 향상: Intern-S2-Preview-35B는 MTP와 CoT 압축을 사용하여 토큰 생성 속도와 추론 효율성을 향상시킵니다.