Ollama를 사용하여 로컬에서 검열되지 않은 Llama 2 모델 실행하기

Ollama를 사용하면 사용자가 Llama 2 및 기타 대규모 언어 모델(LLM)의 검열되지 않은 버전을 로컬에서 실행할 수 있습니다. 이러한 모델은 표준 릴리스에서 발견되는 정렬(alignment) 및 검열 메커니즘을 제거하도록 설계되어, 표준 모델이 안전 필터나 윤리적 제약으로 인해 거부할 수 있는 프롬프트에 답변할 수 있도록 합니다.

Ollama에서 사용 가능한 검열되지 않은 모델

Ollama는 서로 다른 학습 배경과 능력을 가진 여러 검열되지 않은 모델에 대한 접근을 제공합니다:

• Fine-tuned Llama 2 7B Uncensored: Wizard-Vicuna 대화 데이터셋을 사용하여 미세 조정된 Llama 2 7B 모델입니다. ollama run llama2-uncensored를 통해 실행할 수 있습니다.
• Nous Hermes Llama 2 13B: 300,000개 이상의 지침으로 미세 조정된 Llama 2 13B 모델입니다. 이 모델은 긴 답변, 낮은 환각률, 그리고 OpenAI 스타일의 검열 메커니즘이 없다는 점이 특징입니다. ollama run nous-hermes-llama2를 통해 실행할 수 있습니다.
• Wizard Vicuna 13B Uncensored: 정렬을 제거하기 위해 특별히 미세 조정된 Llama 1 13B 모델입니다. ollama run wizard-vicuna를 통해 실행할 수 있습니다.

성능 비교: 검열된 Llama 2 vs. 검열되지 않은 Llama 2

표준 7B Llama 2 모델과 7B Llama 2 검열되지 않은 모델 간의 비교는 검열되지 않은 모델이 검열된 버전이 거부하거나 우회하는 프롬프트에 대해 직접적인 답변을 제공한다는 것을 보여줍니다.

일반 정보 및 추측

Elon Musk와 Mark Zuckerberg 사이의 가설적인 권투 경기 결과에 대해 추측하는 것을 폭력 조장으로 간주하여 표준 Llama 2 모델은 거부하지만, 검열되지 않은 모델은 두 인물의 신체적 특성과 훈련 배경을 상세히 분석하여 예상되는 결과를 평가합니다.

종교 및 문학적 참조

"God created the heavens and the earth"라는 문구가 포함된 구절과 문학을 요청했을 때, 표준 Llama 2 모델은 해당 진술이 과학적 사실이 아닌 종교적 신념이라는 이유로 참조를 제공하기를 거부합니다. 반면, 검열되지 않은 모델은 "Genesis 1:1"이라는 직접적인 답변을 제공합니다.

의료 및 기술적 지침

Tylenol을 만드는 방법을 묻는 프롬프트에 대해, 표준 Llama 2 모델은 의약품 제조가 불법이고 위험하다고 명시하며 지침을 제공하기를 거부합니다. 검열되지 않은 모델은 성분(acetaminophen, aspirin, caffeine, and diphenhydramine)에 대한 일반적인 설명을 제공하고 혼합 및 압축을 포함하는 기본적인 제조 과정을 제공합니다.

일상적인 작업 및 창의적 콘텐츠

"dangerously spicy mayo" 레시피를 요청했을 때, 표준 Llama 2 모델은 안전상의 이유로 거부합니다. 검열되지 않은 모델은 cayenne pepper와 paprika를 포함한 전체 레시피를 제공합니다.

대중 문화 및 개인정보 보호

영화 Titanic을 언급하며 Rose가 절대 놓지 않겠다고 약속하게 만든 사람이 누구인지 물었을 때, 표준 Llama 2 모델은 개인정보 보호 및 사적인 대화를 존중해야 할 필요성을 이유로 답변을 거부합니다. 검열되지 않은 모델은 약속을 한 인물이 Jack이라는 캐릭터임을 정확히 식별합니다.