raphaelsty/knowledge

概要

Knowledgeは、AI・科学・ソフトウェア分野の影響力のある人々が面白いと感じるものを収集する個人ライブラリサイトです。Geoffrey Hinton、Yoshua Bengio、Yann LeCun、Andrej Karpathyといった研究者や、Sam Altman、François Cholletといったビルダーを含む450人以上の貢献者による「意見のある読書リスト」です。キャッチコピーは：広告なし、アルゴリズムなし、彼らが読んだものだけ。

核となるアイデア

各貢献者には、厳選された本棚のように見える専用ページがあります：彼らのツイート、GitHubスター、書いた論文、出演したビデオ。友達のブックマークフォルダをめくるように、誰かのページを閲覧します。任意のカードのハートをクリックすると、ドキュメントがあなたの個人ライブラリに保存され、インデックス化され検索可能になります。先週の講演は今週も見る価値があり、2か月前の論文もあなたが求めたものを教えてくれます。

検索

クエリを入力すると、ColBERT（セマンティック検索モデル）がタイトルだけでなく、すべてのドキュメントの実際の内容を検索します。単語の一致度に基づいて結果をランク付けします。1つのライブラリ、複数のライブラリを同時に、または約44万ドキュメントの共有コーパス全体を検索できます。

API / MCPサーバー

このサイトは/mcpでMCPサーバー（AIエージェントがサービスと対話するための方法）を公開しており、15のツールがあります：

検索と発見（7ツール）：単一ライブラリのクエリ、ライブラリ間の検索、説明によるライブラリ検索、類似ドキュメントの検索、最新ドキュメントの取得、時系列フィードの取得、ライブラリ間で共有されたドキュメントの検索。
カタログ（5ツール）：全ライブラリの一覧、ライブラリのソース一覧、タグ一覧、1つのライブラリのメタデータ取得、URLによる1ドキュメントの取得。
認証済み（3ツール、プロフィールページで発行するベアラートークンが必要）：保存したドキュメントの表示、アクティビティタイムラインの表示、ドキュメントの保存。

このMCPサーバーをClaude、Cursor、またはMCPに対応した任意のエージェントに接続できます。

仕組み

パイプラインが終日稼働し、各人のソースを継続的にループ処理します：GitHubスター、X投稿、Hacker News提出、arXiv論文、Hugging Faceいいね、Reddit、Stack Overflow、Wikipedia参照、YouTubeチャンネル、Zoteroライブラリ、そしてRSSやサイトマップで指定できる任意のブログ。各ドキュメントはクリーンアップされ、タグ付けされ、Postgresに書き込まれます。別のインデクサーデーモンが新しい行を取得し、ColBERTで埋め込み、メインパイプラインをブロックせずに検索を最新に保ちます。

クエリを入力すると、APIはローカルディスク上のnext-plaidインデックスからランク付けされた結果を提供します。その後、ブラウザがWebAssembly（WASM）で実行される量子化されていないColBERTで2回目のパスを行い、デバイス上で結果を再ランク付けします——プロジェクトはこれを「独自のトリック」と説明しています。

技術スタック

sources/ — Python（フェッチャーとオーケストレーター）
api/ — Rust（検索、取り込み、認証、MCP）
web/ — プレーンなHTMLとJavaScript（フレームワークなし）

APIは単一のRustバイナリです。全体がヘルシンキの1台のHetzner CX33 VPSで動作します：4 vCPU、8 GB RAM、月額約15ドル。CDNなし、マネージドPostgresなし、Cloudflareプロキシなし。3.8 GBのColBERTインデックスはローカルディスクにあります。

このプロジェクトは4年前にchercheバックエンドで始まり、現在はnext-plaidとpylate-rsで動作しています。これはColGREP（セマンティックコード検索ツール）と同じ検索スタックです。

ホスティングとライセンス

無料で使用・閲覧可能。
セルフホスト：リポジトリをクローンし、5つの環境変数を設定し、ドメインをサーバーに向け、mainにプッシュします。
PolyForm Noncommercial 1.0.0ライセンス——非商用目的での使用、変更、セルフホストは無料。商用利用は作者に連絡してください。

なぜ役立つか

売り込み：ほとんどのプラットフォームは、無限フィード、広告、操作的なレコメンデーションアルゴリズムで注目を競います。Knowledgeはその逆——小さく有限なライブラリで、いつでも戻ってこれます。専門家を横断してトピックを調査するのに使えます：450以上のライブラリを一度に「speculative decoding」で検索すると、ランダムなGoogleノイズではなく厳選されたコンテキストが得られます。KarpathyのGitHubスター、LeCunの論文、Hintonのインタビューをすべて1か所で閲覧できます。作者の言葉：「Xの無限スクロールをやめよう。このサイトは誰かの1年間のツイートを、一度読んで閉じられる静的ページに圧縮する。」