IDEA-CCNL/Fengshenbang-LM

What it solves

Fengshenbang-LM은 영어 커뮤니티와 비교하여 중국어 도메인의 체계적인 연구 리소스 부족과 진행 속도의 지연 문제를 해결합니다. 중국어 인지 지능을 위해 포괄적이고 표준화되었으며 사용자 중심의 오픈 소스 생태계를 제공하여, 중복 구축을 방지하고 커뮤니티의 컴퓨팅 자원을 절약하는 것을 목표로 합니다.

How it works

이 프로젝트는 용도별로 분류된 사전 학습된 기초 모델 제품군을 제공합니다:

• Ziya (姜子牙): 번역, 프로그래밍, 텍스트 분류, 정보 추출, 요약, 카피라이팅, 상식 QA, 수학 계산이 가능한 범용 대규모 모델 (7B+ 파라미터).
• Erlangshen (二郎神): 자연어 이해 (NLU) 작업에 집중하는 Encoder 기반 양방향 언어 모델.
• Taiyi (太乙): 텍스트-이미지 생성 (Stable Diffusion의 중국어 버전 포함), 단백질 구조 예측, 음성-텍스트 표현과 같은 시나리오를 위한 크로스 모달 모델.
• Wenzhong (闻仲): 언어 생성 (NLG)에 집중하는 모델.
• Randeng (NLT): 기계 번역 및 요약과 같은 언어 변환 (NLT) 모델.
• Yuyuan (余元): 의료, 금융, 법률, 프로그래밍과 같은 특정 도메인 모델.

이 모델들을 지원하기 위해 FengShen framework가 제공됩니다. PyTorch와 PyTorch-Lightning을 기반으로 구축되어, TB급 데이터에 대한 효율적인 사전 학습과 분산 학습 및 메모리 절약 기술을 사용한 다운스트림 작업용 미세 조정이 가능합니다.

Who it’s for

다양한 NLP 및 멀티모달 작업을 위해 고품질의 오픈 소스 중국어 사전 학습된 기초 모델이 필요한 연구자, 개발자 및 기관, 그리고 기존 기초 모델을 미세 조정하고 싶지만 컴퓨팅 자원이 제한적인 사용자.

Highlights

• Comprehensive Model Suite: 중국어에 특화화된 NLU, NLG, NLT 및 멀티모달 작업을 지원합니다.
• Integrated Framework: FengShen framework는 대규모 모델의 사전 학습과 미세 조정을 단순화합니다.
• Multimodal Capabilities: 최초의 오픈 소스 중국어 Stable Diffusion 모델을 포함합니다.
• HuggingFace Integration: 모든 모델은 HuggingFace에 동기화되어 있어 몇 줄의 코드만으로 쉽게 접근할 수 있습니다.