earshot – AI 에이전트에게 듣고 만드는 소리의 방법 제공

그것은 무엇인가

• Python 전용, CPU 전용 명령줄 도구(및 라이브러리)로, 오디오를 AI 에이전트가 추론할 수 있는 구조화된 데이터로 변환하고, 그 반대도 수행합니다: 코드를 소리로 변환합니다.
• CLI 명령(describe, match, find, critique 등)과 Python API 및 MCP 서버를 제공하여 Claude 스타일 에이전트가 소켓을 통해 호출할 수 있습니다.

주요 기능

기능	에이전트가 받는 것	작동 방식
describe FILE	평이한 설명과 보정된 태그(z-점수), AudioSet 레이블, 라우드니스, 스펙트럼 측정.	두 개의 오픈 모델(CLAP(텍스트-오디오 임베딩) 및 AudioSet 태거)과 모델 없는 측정을 사용합니다.
match FILE QUERY	유사도 점수(코사인 + z-점수) 및 판정(강함/가능성/약함).	CLAP으로 쿼리를 임베딩하고 파일의 임베딩과 비교하며 125개의 참조 사운드 어휘와 교차 확인합니다.
find FILE QUERY	긴 녹음 내 최적 매칭 순간의 타임스탬프.	창을 슬라이드하고 각 세그먼트를 동일한 임베딩/태그 파이프라인으로 점수화하여 top-k 트림을 반환합니다.
realness FILE…	실제 녹음 대 코드 합성 분류(창별 신뢰도 포함).	실제 및 합성 사운드의 홀드아웃 세트에서 훈련된 분류기(ROC-AUC 0.92).
timeline FILE	"듣기 전사": 시간, 레벨, 태그, 라우드니스 곡선, 비트 그리드, 선택적 비디오 동기화가 있는 이벤트.
sheet FILE	주석이 달린 PNG(파형, 스펙트로그램, 태그, 동기화 마커). 시각적 에이전트가 읽을 수 있습니다.
critique FILE	7개의 전문 런치 필름에서 구축된 프로필과 런치 스타일 비디오를 비교하는 스코어카드.
forge RECIPE	코드에서 새 사운드 생성(물리적 합성을 설명하는 "레시피") 및 동일한 earshot 비평가를 사용하여 반복적으로 개선.
fit FILE	녹음을 분석하고 변형용 노브가 있는 근사치를 다시 렌더링할 수 있는 Python 레시피를 출력합니다.
gallery DIR	생성된 많은 사운드, 스펙트로그램, 측정값 및 레시피를 보여주는 자체 포함 HTML 페이지를 생성합니다.

에이전트가 사용하는 방법

• CLI는 사람이 읽을 수 있는 요약을 출력합니다. --json은 LLM 에이전트가 파싱할 수 있는 완전한 구조화된 결과를 반환합니다.
• MCP 서버는 모델을 웜 상태로 유지하므로 Claude Code 또는 다른 에이전트가 20-40초 로드 시간 없이 earshot을 반복적으로 호출할 수 있습니다.
• 두 가지 기성 Claude 스킬(skills/earshot 및 skills/real-sound)은 도구를 에이전트 워크플로에 포함하는 방법을 보여줍니다.

코드에서 소리 만들기 – forge

• 레시피는 물리적 합성 블록(모달 공진기, 필터링된 노이즈, 룸 시뮬레이션 등)을 설명하는 작은 Python 모듈입니다.
• earshot forge는 많은 후보 사운드를 렌더링하고 earshot 비평가(설명 일치, 실제감, 음색 균형, 엔벨로프)로 점수를 매기고 매개변수를 개선하기 위해 진화 검색을 실행합니다.
• v0.2.0은 34개의 모션 디자인 카테고리(휘슬, 클릭, 임팩트 등)를 여러 변형과 벤치마크로 추가하여 생성된 사운드가 실제 녹음과 구별하기 어렵다는 것을 보여줍니다.

녹음을 코드로 변환 – fit

• earshot fit는 분석-합성을 수행합니다: 입력 오디오에 컴팩트한 합성 모델을 피팅한 다음 재사용 가능한 레시피를 작성합니다.
• 12개 샘플 테스트 세트에서 보고된 중앙값 CLAP 코사인 0.945, 생성된 대부분의 레시피가 원본과 동일한 최상위 태그를 받습니다.

설치 및 요구 사항

• Python 3.10+, PATH에 ffmpeg/ffprobe, CPU 전용.
• 첫 실행 시 두 개의 오픈 모델(약 1.4GB)을 다운로드합니다: laion/larger_clap_general 및 MIT/ast-finetuned-audioset-10-10-0.4593.
• 선택적 LLM 비평은 Gemini를 사용합니다(API 키는 사용자가 제공).

성능 및 제한 사항

• 설명 매칭은 98%의 시간 동안 "강함"; 정확한 변형은 61%.
• 실제 vs 합성 분류 ROC-AUC 0.92이지만 모델은 속을 수 있습니다. 모델 없는 측정(스펙트럼 균형, 엔벨로프)이 더 신뢰할 수 있습니다.
• 노트북 CPU에서 작동: 60-90초 필름 분석에 약 1.5분 소요.
• 높은 수준의 미학, 음성 콘텐츠 또는 약 14kHz 이상의 주파수를 판단할 수 없습니다.

누가 유용하게 사용할 수 있나요?

• AI 기반 비디오 또는 게임 파이프라인을 구축하고 에이전트가 음향 효과를 추론해야 하는 개발자.
• 오디오-LLM 통합, 오디오-코드 합성 또는 합성 사운드 평가를 탐구하는 연구자.
• 프로그래밍 방식으로 조정할 수 있는 코드 기반 음향 효과를 생성하려는 크리에이터.

결론 earshot은 오디오와 코드 사이의 간극을 메우고, AI 에이전트가 녹음된 샘플에 의존하지 않고 소리를 듣고, 평가하고, 생성할 수 있는 구조화된 "귀"를 제공합니다. AI 기반 오디오 분석 및 합성에 초점을 맞춘 진정한 오픈 소스 소프트웨어 프로젝트입니다.