TheBlewish/Automated-AI-Web-Researcher-Ollama

A python program that turns an LLM, running on Ollama, into an automated researcher, which will with a single query determine focus areas to investigate, do websearches and scrape content from various relevant websites and do research for you all on its own! And more, not limited to but including saving the findings for you!

解決する課題

このプロジェクトは、深く体系的なリサーチを行えない標準的なLLMチャットボットの限界に対処します。単一のプロンプトと応答のサイクルに依存する代わりに、複雑なクエリを複数のリサーチ分野に分割し、ウェブを検索し、発見事項を文書化して、検証可能で包括的な回答を提供するプロセスを自動化します。

仕組み

このツールは、Ollamaを介してローカルLLMを使用し、構造化されたリサーチループを実行します。

  1. 計画: ユーザークエリを分析し、優先順位付けされた5つのリサーチ焦点分野を生成します。
  2. 実行: 各分野について、検索クエリを作成し、関連するウェブページをスクレイピングし、すべてのコンテンツとソースURLをテキストファイルに保存します。
  3. 反復: 以前の検索からの発見事項を使用して、新しく洗練された焦点分野を生成し、リサーチを発展させます。
  4. 統合: ユーザーがリサーチを終了する(またはLLMが十分な情報を得たと判断する)と、LLMは収集されたデータセット全体をレビューし、最終的な要約を生成します。
  5. 対話: その後、ユーザーはQ&Aモードに入り、収集したリサーチについて具体的な質問をすることができます。

対象者

プライバシーや制御を維持するためにローカルモデルを使用して、徹底的で自動化されたオンラインリサーチを実行したいユーザー、および発見事項の情報源の記録された痕跡を必要とするユーザー向けに設計されています。

ハイライト

  • 自動化されたリサーチ計画: クエリを優先順位付けされた焦点分野に自動的に分割します。
  • 自己改善型検索: セッション中に発見された情報に基づいて新しいリサーチパスを生成します。
  • 記録されたリサーチ痕跡: すべてのスクレイピングされたコンテンツとソースリンクをテキストファイルに保存し、検証可能にします。
  • ローカル実行: Ollamaを介して完全に実行され、Phi-3のような大規模なコンテキストウィンドウを持つモデルをサポートします。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト