ViktorAxelsen/MemSkill

해결 과제

MemSkill은 장기 호라이즌 에이전트에서 정적이고 수동으로 설계된 기억 작업의 한계를 해결합니다. 무엇을 기억할지에 대한 고정된 규칙에 의존하는 대신, 에이전트가 작업 피드백을 기반으로 어떤 정보를 추출하고, 어떻게 기억하며, 무엇을 보존하거나 잊을지 결정하는 '기억 기술(메타 기억 전략)'을 학습하고 진화시킬 수 있게 합니다.

작동 방식

MemSkill은 컨트롤러, 실행기, 설계자로 구성된 데이터 기반 루프를 구현합니다.

• 기술 조건부 구성: 시스템은 관련 기술 세트를 사용하여 각 상호작용 구간에 대한 기억을 한 번에 구성합니다.
• 기술 진화: 프레임워크는 작업 실패에서 어려운 '하드 케이스'를 주기적으로 마이닝하여 기존 기술을 개선하거나 새로운 기술을 제안합니다.
• 재사용 가능한 기술 뱅크: 서로 다른 데이터셋과 기본 LLM 모델 간에 전송할 수 있는 공유 기술 뱅크를 유지합니다.
• 학습 루프: ALFWorld와 같은 대화형 환경의 경우, 오프라인 전문가 궤적을 사용하여 확장 가능한 기억 구성 학습을 수행하고, 환경 롤아웃을 통한 작업 수준의 보상 피드백을 통해 PPO로 컨트롤러 정책을 최적화합니다.

대상 사용자

방대한 상호작용 기록을 관리하고 시간이 지남에 따라 기억 효율성과 품질을 향상시켜야 하는 장기 호라이즌 AI 에이전트를 구축하는 연구자 및 개발자.

주요 특징

• 메타 기억 접근 방식: 내용 자체가 아닌 기억하는 '기술'에 집중합니다.
• 자기 진화: 성능 피드백을 기반으로 기억 전략을 자동으로 개선합니다.
• 전송 가능성: 다양한 기본 모델과 데이터셋에서 작동하는 재사용 가능한 기술 뱅크를 지원합니다.
• 확장 가능한 인프라: 고처리량 평가 및 학습을 위해 다중 API 키 라운드 로빈 및 멀티 프로세싱을 포함합니다.