TheBlewish/Automated-AI-Web-Researcher-Ollama

해결하는 문제

이 프로젝트는 표준 LLM 챗봇이 깊이 있고 체계적인 연구를 수행할 수 없다는 한계를 해결합니다. 단일 프롬프트-응답 사이클에 의존하는 것이 아니라, 복잡한 질문을 여러 연구 영역으로 분해하고 웹 검색을 수행하며 발견 내용을 문서화함으로써 검증 가능하고 포괄적인 답변을 제공하는 프로세스를 자동화합니다.

작동 방식

이 도구는 Ollama를 통해 로컬 LLM을 사용하여 구조화된 연구 루프를 실행합니다:

1. 계획: 사용자 질문을 분석하고 5개의 우선순위가 지정된 연구 초점 영역을 생성합니다.
2. 실행: 각 영역에 대해 검색 쿼리를 구성하고 관련 웹 페이지를 크롤링하며, 모든 콘텐츠와 소스 URL을 텍스트 파일에 저장합니다.
3. 반복: 이전 검색 결과를 바탕으로 새로운, 보다 정교한 초점 영역을 생성하여 연구가 진화하도록 합니다.
4. 통합: 사용자가 연구를 종료하거나 LLM이 충분한 정보를 확보했다고 판단하면, LLM은 수집된 전체 데이터셋을 검토하여 최종 요약을 생성합니다.
5. 상호작용: 사용자는 이후 질문-응답 모드로 전환하여 수집된 연구 내용에 대해 구체적인 질문을 할 수 있습니다.

대상 사용자

로컬 모델을 사용하여 프라이버시 또는 통제를 유지하면서 자동화된 온라인 연구를 수행하고자 하는 사용자, 그리고 발견 내용에 대한 소스 추적 기록이 필요한 사용자에게 적합합니다.

주요 기능

• 자동 연구 계획: 질문을 우선순위가 지정된 연구 초점 영역으로 자동 분해합니다.
• 자기 개선형 검색: 세션 중 발견된 정보를 바탕으로 새로운 연구 경로를 생성합니다.
• 문서화된 연구 흐름: 모든 크롤링된 콘텐츠와 소스 링크를 검증 가능한 텍스트 파일에 저장합니다.
• 로컬 실행: Ollama를 통해 완전히 로컬에서 실행되며, Phi-3과 같은 대규모 컨텍스트 창을 지원하는 모델을 사용할 수 있습니다.