CarWatch: Raspberry Pi 5를 통한 차량용 로컬 AI 에이전트

CarWatch는 Raspberry Pi 5를 사용하여 차량에 로컬 대규모 언어 모델(LLM)을 통합하는 오픈소스 프로젝트로, 자동차를 기능적인 채팅룸 에이전트로 변환합니다. 양자화된 Qwen 모델을 로컬에서 실행함으로써, 핸즈프리 음성 상호작용, RAG를 통한 소유자 매뉴얼 검색, 클라우드 연결 없이도 핵심 기능을 수행할 수 있는 실시간 차량 텔레메트리 기능을 제공합니다.

로컬 AI 아키텍처 및 성능

CarWatch는 Raspberry Pi 5(16GB RAM)를 사용하여 Unsloth UD-Q3_K_S 동적 양자화를 적용한 Qwen3.6-35B-A3B 모델을 실행합니다. 이 구성은 시스템이 완전히 오프라인으로 작동할 수 있도록 하여, 인터넷 접속이 불가능한 차고나 사각지대에서도 기능을 유지할 수 있습니다.

실제 하드웨어에서의 주요 성능 지표는 다음과 같습니다:

생성 속도: 초당 3.5토큰
프롬프트 처리 속도: 초당 25개 이상의 토큰
열 성능: 지속적인 온도 65°C (활성 냉각 필요)
메모리 사용량: 모델이 약 14.3GB의 RAM을 차지함

핵심 기능적 능력

기반 지식 및 RAG

허구를 방지하고 기술적 정확성을 보장하기 위해, CarWatch는 어휘 기반의 검색 증강 생성(RAG) 시스템을 사용합니다. 시스템은 SD 카드에 차량의 745페이지 분량의 소유자 매뉴얼을 포함하고 있습니다. LLM은 매뉴얼에 기반하여 답변을 제공하도록 지시되며, 페이지 인용을 포함하고, 소스 텍스트에 포함되지 않은 답변은 거부하도록 설계되어 있습니다.

실시간 차량 상태 모니터링

시스템은 차량의 하드웨어와 통합되어 실시간 자기 지식을 제공합니다. 다음과 같은 실시간 데이터를 읽을 수 있습니다:

하드웨어 상태: CPU 온도, 과열 상태, 팬 속도, 메모리 사용량, 디스크/네트워크 상태
차량 텔레메트리: 이더넷-오브디(DoIP/ENET) 케이블을 통해 RPM, 냉각수 온도, 속도, 전압을 모니터링할 수 있으며, 현재 시뮬레이션된 게이트웨이와 검증됨

핸즈프리 음성 인터페이스

CarWatch는 Pi에서 지속적인 리스너 파이프라인을 구현합니다: 에너지 VAD → whisper.cpp → 기반 LLM 파이프라인 → 방 출력 이로 인해 웨이크워드 절차나 클라우드 기반 음성-텍스트 변환(STT)이 필요 없으며, 모든 오디오 처리를 로컬에서 수행합니다.

연결성 및 배포 전략

CarWatch는 로컬 활용과 원격 풍부화 사이의 균형을 위해 3단계 연결 모델을 사용합니다:

항상 로컬: 음성 입력, LLM 답변, RAG 검색, 핸드폰 대시보드(차량에서 제공)는 신호 없이도 작동합니다.
대기 연결: 방 게시물, 대시캠 클립 업로드, 언급 응답은 영구적인 디스크 아웃박스에 저장되며, 연결이 확립되면 전송됩니다.
온라인 전용: 클라우드플레어드를 통한 다이얼아웃 터널을 통한 원격 접근, GitHub에서의 자동 업데이트, 옵션으로 클라우드 모델로의 승격

하드웨어 참조 빌드

빌드를 재현하는 사용자를 위해 참조 하드웨어는 다음과 같습니다:

SBC: Raspberry Pi 5, 16GB RAM, 활성 냉각 장치
오디오: 클래스 호환 USB 마이크로폰
대시캠: WOLFBOX G900 3채널 카메라 (이벤트 클립 검색을 위해 WiFi AP 연결)
OBD 접근: 이더넷-오브디(DoIP/ENET) 케이블 또는 ELM327 클래스 어댑터
전원: 5V/5A USB-C 공급, 12V PD 어댑터 또는 230V 전원 콘센트를 통해

커뮤니티의 통찰과 비판

이 프로젝트는 자동차 환경에서 로컬 LLM의 실현 가능성을 보여주지만, 허커 뉴스 커뮤니티에서 여러 기술적 및 실용적 우려가 제기되었습니다:

정확성과 안전성: 일부 사용자는 LLM이 특정 자동차 세부 정보(예: 특정 모델 연도의 오일 등급)를 다루는 데 어려움을 겪는다고 경고하며, 기계적 유지보수에 LLM에 의존하는 것이 위험할 수 있다고 지적했습니다.

유용성과 사용 사례: 비판자들은 에어컨 조절이나 문 잠그기와 같은 작업에서 물리적 버튼보다 음성 에이전트의 실용적 이점이 의심스럽다고 지적하며, 프로젝트의 가치가 기존 차량 조작을 대체하는 데보다는 차량의 '에이전트적' 특성(예: 채팅룸에 도착/출발 알림 보고)에 더 있다는 점을 강조했습니다.

통합 복잡성: 제조사 API와의 통합 난이도와 Raspberry Pi를 통해 차량에 '두 번째 키'를 만드는 보안적 함의에 대해 질문이 제기되었습니다.

"자동차는 도로에 네 개의 손바닥 크기의 접촉점만을 유지하며, 그곳이 오직 현실과 만날 수 있는 장소입니다. 바퀴 하나당 하나의 원칙: 감지할 수 있는 것만 주장하고, 검증된 것만 주장하며, 일시적인 것은 크게 라벨링하고, 실패는 화려한 면이 없이 단순히 보고하라."

— CarWatch 개발 로그