Ollama에서 Llama 3 사용 가능

Llama 3를 이제 Ollama를 통해 로컬에서 실행할 수 있습니다. 이번 릴리스를 통해 사용자는 Meta의 가장 강력한 공개 모델을 배포할 수 있으며, 이는 Llama 2 시리즈에 비해 상당한 아키텍처 및 학습 개선 사항을을 포함합니다.

Llama 2 대비 기술적 개선 사항

Llama 3는 Llama 2와 비교하여 성능과 효율성을 향상시키는 몇 가지 주요 기술적 발전을 도입했습니다:

  • 확장된 학습 데이터셋: Llama 3는 Llama 2에 사용된 데이터셋보다 7배 더 큰 데이터셋으로 학습되었습니다.
  • 증가된 컨텍스트 창: 컨텍스트 길이가 8K 토큰에서 16K 토큰으로 두 배 늘어났습니다.
  • 향상된 토큰화: 모델은 128K 토큰의 더 큰 토큰 어휘를 사용하여 언어를 더 효율적으로 인코딩할 수 있습니다.
  • 감소된 거부 사례: Llama 3는 Llama 2에서 경험했던 잘못된 "거부" 사례가 3분의 1 미만으로 나타납니다.

사용 가능한 모델 크기

Ollama는 다양한 하드웨어 성능에 맞춰 두 가지 초기 Llama 3 모델 크기를 제공합니다:

  • 8B 파라미터: ollama run llama3:8b 명령어를 사용하여 실행합니다.
  • comando run llama3:70b
  • 70B 파라미터: ollama run llama3:70b 명령어를 사용하여 실행합니다.

AI 도구와의 통합

Llama 3는 LangChain 및 LlamaIndex와 같은 인기 있는 프레임워크를 사용하여 애플리케이션에 통합될 수 있습니다.

LangChain 통합

LangChain에서 Llama 3를 사용하려면 langchain_community.llms의 Ollama 클래스를 활용하십시오:

from langchain_community.llms import Ollama
llm = Ollama(model="llama3")
llm.invoke("Why is the sky blue?")

LlamaIndex 통합

LlamaIndex에서 Llama 3를 사용하려면 llama_index.llms.ollama의 Ollama 클래스를 사용합니다:

from llama_index.llms.ollama import Ollama
llm = Ollama(model="llama3")
llm.complete("Why is the sky blue?")

향후 Llama 3 릴리스

Meta는 추가 모델을 통해 Llama 3 제품군을 확장할 계획입니다. 향후 릴리스에는 400B 파라미터 모델과 멀티모달리티, 다국어 대화 기능 및 훨씬 더 긴 컨텍스트 창을 특징으로 하는 다른 버전들이 포함될 예정입니다.

Sources

관련