rahulnyk/knowledge_graph

解決的問題

本專案將文本語料庫（例如PDF）轉換為概念的結構化知識圖譜。其目標是超越簡單的實體提取，捕捉有意義的概念及其關係，從而實現更深入的文本分析或實作圖形檢索增強生成（Graph RAG）。

工作原理

系統透過以下流程處理文字：

1. 分塊：將文字拆分成較小的段落。
2. 概念提取：使用本地LLM（透過Ollama的Mistral 7B）從每個區塊中提取概念及其語意關係。
3. 關係映射：根據LLM識別出的顯式語意關係以及上下文鄰近性（出現在同一區塊中的概念）建立邊。
4. 加權與聚合：將相似的配對分組，累加權重，並合併關係，以在不同概念之間建立單一邊。
5. 分析與可視化：工具計算節點度數與社群以用於大小與顏色分配，然後使用NetworkX與Pyvis生成互動式Web可視化。

適用對象

希望將非結構化文字轉換為思想網路的使用者、希望分析文獻中概念關聯性的研究人員，以及對使用本地、低成本LLM建構Graph RAG系統感興趣的開發者。

特色亮點

• 本地執行：使用Ollama與Mistral 7B，確保整個過程免費且完全在個人裝置上運行。
• 以概念為中心：聚焦於提取「概念」而非僅命名實體，產生更具意義的圖譜。
• 互動式可視化：產生可部署於Web上的JavaScript圖形。
• 圖形分析功能：支援計算中心性與社群，識別文字中最重要的概念與群聚。