Ollama에서 Llama 3.2 지원

Meta의 Llama 3.2를 이제 Ollama를 통해 로컬에서 실행할 수 있습니다. 이번 릴리스를 통해 온디바이스 에이전트를 위한 경량 텍스트 전용 모델을 배포할 수 있으며, 멀티모달 비전 모델을 위한 길을 마련했습니다.

엣지 디바이스를 위한 경량 텍스트 전용 모델

Llama 3.2는 모바일 또는 엣지 디바이스에서의 로컬 실행에 최적화된 1B 및 3B 파라미터 모델을 도입합니다. 이 모델들은 고속의 즉각적인 응답과 개인화된 온디바이스 에이전트 생성을 위해 설계되었습니다.

1B 및 3B 모델의 주요 사용 사례

이 텍스트 전용 모델들은 다음과 같은 작업에 적합합니다:

• WhatsApp에서 수신된 최근 10개의 메시지와 같은 최근 통신 내용 요약.
• 사용자의 다음 달 일정 요약.

Ollama는 이 모델들을 로컬에서 처리하므로, 메시지와 일정을 포함한 사용자 데이터는 제3자 클라우드 서비스로 전송되지 않아 개인정보를 보호합니다.

멀티모달 비전 기능

Ollama는 곧 11B 및 90B Llama 3.2 모델을 지원할 예정입니다. 이 더 큰 모델들은 이미지 추론을 지원하여 다음과 같은 작업을 수행할 수 있습니다:

• 차트 및 그래프 분석을 포함한 문서 수준의 이해.
• 이미지 캡션 생성.

배포 지침

Llama 3.2를 사용하려면 사용자는 Ollama를 다운로드하고 다음 명령어를 실행해야 합니다:

• 3B 모델 (기본값): ollama run llama3.2
• 1B 모델: ollama run llama3.2:1b