google-deepmind/gemma

해결하는 문제

Gemini 연구 및 기술을 기반으로 한 오픈웨이트 대규모 언어 모델(LLM)인 Gemma 패밀리를 JAX 기반으로 사용하고 미세조정할 수 있는 구현을 제공합니다.

작동 방식

이 프로젝트는 PyPI 패키지(gemma)로 제공되며, JAX를 활용해 CPU, GPU, TPU에서 실행할 수 있습니다. 멀티턴 및 멀티모달 대화를 처리할 수 있는 ChatSampler API와 모델 체크포인트 로딩 및 미세조정을 위한 도구가 포함되어 있습니다.

대상 사용자

Gemma 모델을 애플리케이션에 통합하거나, JAX 생태계를 사용해 특정 작업에 맞게 미세조정하고자 하는 개발자 및 연구자입니다.

주요 특징

• 멀티모달 기능: 텍스트와 이미지를 포함한 멀티턴 대화를 지원합니다.
• 하드웨어 유연성: CPU, GPU, TPU 하드웨어와 호환됩니다.
• JAX 전용 라이브러리: JAX를 통해 고성능 ML 연산을 전용으로 설계되었습니다.
• 미세조정 지원: 미세조정 및 LoRA(저랭크 적응)의 내장 지원이 포함되어 있습니다.