zhengkid/Dream-RSI

해결하는 문제

Dream-RSI는 AI 에이전트의 재귀적 자기 개선 과정에서 발생하는 비효율성 문제를 해결합니다. 에이전트가 점점 더 복잡한 작업을 해결하려고 시도할 때, 종종 효과적이지 않은 탐색 방향에 막대한 컴퓨팅 자원을 낭비하게 됩니다. 기존 시스템이 어려움을 겪는 이유는 더 큰 탐색 공간에 적응할 수 없는 고정된 탐색 전략을 사용하거나, 온라인에서 탐색 정책을 최적화하려고 시도하지만 피드백 지연으로 인해 속도가 느리고 비용이 많이 들기 때문입니다.

작동 원리

Dream-RSI는 에이전트의 과거 발견 시도 이력을 "리플레이 시뮬레이터"로 취급합니다. 과거의 모든 탐색 결정과 그 결과가 이미 기록되어 있기 때문에, 시스템은 이러한 과거 기록을 다양한 방식으로 다시 탐색함으로써 "꿈을 꾸는" 것이 가능합니다. 즉, 원래의 비용이 많이 드는 발견 과정을 재실행할 필요 없이 새로운 분기, 병렬 그룹화 또는 중단 결정을 테스트할 수 있습니다. 이를 통해 에이전트가 온라인으로 발견을 수행하고, 결과를 기록하며, 해당 로그를 사용하여 "꿈을 꾸는" 방식으로 탐색 전략을 개선한 뒤, 개선된 전략을 다시 현실 세계에 배포하는 루프가 생성됩니다.

대상 사용자

이 프로젝트는 알고리즘 엔지니어링, 수학적 최적화, GPU 커널 최적화와 같이 AI 기반 자동 발견 분야에서 연구하며 에이전트의 탐색 프로세스 효율성과 효과를 개선해야 하는 연구자 및 개발자를 위한 것입니다.

주요 특징

• 리플레이 시뮬레이터로서의 이력: 과거의 발견 로그를 사용하여 새로운 탐색 정책을 평가하기 위한 즉각적이고 저비용의 피드백을 제공합니다.
• 메타 레이어 RSI 루프: 자신의 이력으로부터 학습함으로써 에이전트의 탐색 전략을 지속적으로 업그레이드합니다.
• 실증적 검증: 알고리즘 엔지니어링, 수학적 최적화, GPU 커널 엔지니어링 전반에 걸쳐 효율성과 효과의 향상이 입증되었습니다.