Lucid 웹 도구, 언어 모델의 답변 전 사고 과정을 시각화하고 편집할 수 있게 해준다

Lucid 웹 도구, 언어 모델의 답변 전 사고 과정을 시각화하고 편집할 수 있게 해준다

Lucid는 언어 모델이 답변하기 전 생각하는 과정을 지켜볼 수 있게 해준다

핵심 요약: Lucid는 Jacobian 기반의 "lens"를 사용하여 언어 모델이 출력을 생성하기 전 레이어별로 활성화하는 내부 개념을 시각화하는 웹 기반 도구입니다. 이를 통해 모델의 숨겨진 추론 과정을 관찰하고 편집할 수 있습니다.

Lucid가 하는 일

Lucid는 브라우저에 Jacobian lens를 배치합니다. 사용자가 프롬프트를 입력하면, lens는 모델의 각 은닉 레이어(hidden layer)에서 상위 개념을 추출하여 일련의 카드 형태로 표시합니다. 이 카드들은 어떤 개념이 모델의 내부 "작업 공간"(Anthropic이 설명한 이른바 J-space)에 진입하는지, 그리고 어떤 개념이 숨겨져 있어 최종 답변에 나타나지 않는지를 보여줍니다.

"Lucid는 언어 모델이 생각하는 과정을 지켜봅니다. Jacobian lens를 사용하여 모델이 말을 하기 전, 레이어별로 모델이 보유한 개념을 읽어냅니다." – Lucid 홈페이지

Jacobian lens의 작동 방식

Jacobian lens는 은닉 상태 활성화(hidden-state activations)에 대한 모델 출력 로짓(logits)의 미한분을 계산합니다. 이는 고정된 기저(basis)를 가정하는 일반적인 logit lens와 달리, 초기 레이어와 후기 레이어 사이에서 발생하는 기저 변화를 보정합니다. 그 결과, 내부 개념을 최종 출력으로 더욱 충실하게 매핑할 수 있습니다.

"Jacobian matrix는 잔차(residual)가 레이어 전체에 걸쳐 동일한 기저에 머문다고 가정하는 logit lens와 비교하여, 초기 레이어에서 최종 레이어까지의 기저 변화를 보정합니다." – @krackers의 댓글

지원되는 모델 및 비용

Lucid는 현재 Qwen 0.5B–3B 및 Pythia 1.4B와 같은 소규모 오픈 소스 모델에서 작동합니다. lens는 모델당 한 번만 맞춤 설정되며, 각 읽기 작업은 단 한 번의 순전파(forward pass)만 필요하므로 사용 비용이 저렴합니다.

사용자 워크플로우

  1. 프롬프트 입력 – 모델에게 물어보고 싶은 어떤 텍스트든 입력합니다.
  2. 카드 관찰 – 각 카드는 특정 레이어와 토큰 위치에 대한 상위 개념을 보여주며, "pinned" 토큰에 대한 순위 추적 기능이 포함되어 있습니다.
  3. 편집하기 (원하는 경우) – 인터페이스를 통해 모델이 답변을 생성하기 전 내부 표현(internal representation)을 정할할 수 있습니다.
  4. 내보내기 – 모든 세션은 나중에 분석할 수 있도록 공유 가능한 "slice" 페이지로 저장할 수 있습니다.

계정 생성이나 설치가 필요하지 않으며, 도구는 브라우저에서 완전히 실행됩니다.

답변 전 단계가 중요한 이유

텍스트를 생성하기 전에 모델의 내부 추론 과정에 집중하는 것은 단순히 시스템 프롬프트를 조정하는 것보다 정렬(alignment)을 위한 더 실용적인 경로를 제공합니다. 사용자는 모델이 무엇을 생각하고 있는지를 봄으로써 숨겨진 편향이나 오해를 조기에 식별할 수 있습니다.

"답변 전 사고 단계에 집중하는 것이 정말 좋습니다. 단순히 일반적인 시스템 프롬프트로 출력을 제어하려는 것보다 훨씬 더 실용적으로 느껴집니다." – @mune2gu-chan의 댓글

Earthpilot Laboratory의 관련 프로젝트

  • Personality Bench – 프론티어 모델의 성격 테스트를 수행하여 모델의 행동을 들여다볼 수 있는 또 다른 관점을 제공하는 동반 사이트 (https://persona.earthpilot.ai)입니다.

"또한 저희 연구실의 프로젝트인 Personality Bench: https://persona.earthpilot.ai 가 모든 프론티어 모델을 대상으로 성격 테스트를 수행합니다." – @ada1981의 댓글

시작하는 방법

https://lucid.earthpilot.ai에 접속하여 explore 또는 write를 클릭하고, 어떤 질문이든 입력해 보세요. 인터페이스는 진화하는 개념 카드들을 표시하며, 사용자는 "docent" 챗봇과 상의하여 용어에 대한 설명을 요청할 수 있습니다.

결론: Lucid는 언어 모델의 숨겨진 작업 공간을 들여다볼 수 있는 접근하기 쉽고 저렴한 비용의 방법입니다. 연구자, 개발자, 그리고 호기심 많은 사용자 모두에게 모델의 답변 전 추론 과정을 투명하게 만들고 조작할 수 있게 해줍니다.

Sources