edoliberty/long-term-memory-in-ai

Class notes for the course "Long Term Memory in AI - Vector Search and Databases" COS 597A @ Princeton Fall 2023

解決する問題

AIシステムは、膨大なデータコレクションから情報を保存および取得する方法を必要とします。このコースは、現代AIにおける長期記憶の背後にある中核技術であるベクトル検索を教えることで、この問題に取り組みます。人工知能とデータベース管理を橋渡しし、数十億のレコードから類似アイテム(画像、テキスト、オーディオなど)を迅速に見つけるシステムを構築する方法を示します。

仕組み

このコースは、プリンストン大学のCOS 597Aとして提供される大学院レベルのセミナーで、10回の講義で構成され、各講義には詳細なPDFノートが付属しています。テキストや画像の埋め込みなどの基本概念から始まり、次元削減と近似最近傍探索を経て、高度なインデックス技術(クラスタリング、量子化、グラフベースの方法)に進みます。講師には、PineconeのCEO、FAISSの主要開発者、DiskANNの作成者が含まれます。学生は最終プロジェクトを完了することで教材を応用し、理論/研究、データサイエンス/AI(Pineconeを使用)、またはエンジニアリング/HPC(FAISSを拡張)の3つのトラックから選択します。講義は、重要な論文の包括的な読書リストによって補完されます。

対象読者

このコースは大学院生を対象としています(正式なコースはプリンストン大学にあります)が、教材は明示的にあらゆる学者、学生、教授による無料使用が提供されています。ベクトル検索とそのAIシステムにおける役割について深く体系的に理解したい人、特にベクトルデータベースの構築や使用に興味がある人に適しています。

ハイライト

  • 産業界と研究のリーダーによる講義:Edo Liberty(Pinecone)、Matthijs Douze(Meta/FAISS)、およびHarsha Vardhan Simhadri(Microsoft/DiskANN)によるゲスト講義。
  • 理論(証明、漸近境界)と実践的なシステム(FAISS、積量子化、HNSWグラフ)の両方をカバー。
  • ベクトル検索、次元削減、量子化に関する古典的および現代的な論文の厳選された参考文献を含む。
  • オープンコントリビューションモデル:リポジトリはプルリクエストと問題報告を歓迎し、コース教材のコミュニティ改善を奨励します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト