microsoft/kernel-memory
Research project. A Memory solution for users, teams, and applications.
What it solves
Kernel Memory（KM）は、大規模でマルチモーダルなデータセットを構造化してインデックス化し、Retrieval Augmented Generation（RAG）を実現する方法を提供します。ファイル抽出、テキスト分割、ベクトル化といったデータ取り込みパイプラインの構築の複雑さを解消し、ユーザーは引用やソースリンク付きで自然言語でデータをクエリできるようになります。
How it works
KM はマルチモーダル AI サービスとして動作し、Web サービス、Docker コンテナ、または埋め込み型 .NET ライブラリとしてデプロイ可能です。PDF、Word、Excel などのドキュメントをテキスト抽出し、チャンクに分割、LLM による埋め込み生成を行い、ベクトルデータベースに保存する継続的ハイブリッドパイプラインを使用します。ユーザーが質問を投げると、システムは関連データを取得し、根拠のある回答を生成します。
Who it’s for
RAG 機能を必要とする AI アプリケーションを構築する開発者向けに設計されており、特に Semantic Kernel、Microsoft Copilot、ChatGPT と統合するケースに適しています。ドキュメント処理のスケーラブルで非同期なバックエンドが必要なチームや、.NET アプリ向けの軽量サーバーレスコンポーネントを求める場合にも最適です。
Highlights
- Flexible Deployment: Available as a Web Service, Docker container, or embedded .NET library.
- Customizable Pipelines: Supports custom handlers to modify how data is extracted, chunked, and stored.
- Multi-modal Support: Handles various formats including web pages, PDF, Images, Word, PowerPoint, Excel, Markdown, and JSON.
- Broad Integration: Extensive extensions for AI providers (OpenAI, Ollama, Anthropic), vector stores (Azure AI Search, Postgres, Qdrant, Redis), and file storage (Azure Blob, AWS S3).
- Security & Organization: Supports document ownership and tagging for faceted navigation and security filtering.