oomol-lab/wiki-graph
distill any book down to its spine
解决的问题
Wiki Graph 通过将大量长文本(如书籍、会议记录和内部文档)转换为可维护的结构化知识库,解决了管理难题。它不是让 LLM 在每次查询时都从头开始重新阅读原始材料,而是将文本编译成一种持久的格式,其中实体和关系被提取并可以追溯到原始来源。
工作原理
该工具使用 CLI 将文本处理为 .wikg 存档。它利用 WikiSpine 来识别与 Wikipedia/Wikidata QID 对齐的公开实体,从而提供稳定的语义基础。然后使用 LLM 进行消歧和过滤。
核心组件包括:
- Knowledge Graph:提取实体和三元组 (
subject --predicate--> object) 以创建结构化的信息网络。 - Reading Graph:将文本分解为认知块并将其组织成阅读链,以生成压缩且可追溯的摘要。
- Evidence Tracking:每个提取的实体或关系都链接到源文本中的特定章节和句子,以便进行验证。
- URI System:使用稳定的基于 URI 的寻址系统(例如
wikg://book.wikg/entity/Q8018)来访问存档中的特定范围或对象。
适用对象
专为需要构建知识密集型工作流的开发人员和 AI Agent 创建者设计,在这些工作流中,信息必须是可搜索、可验证且可移植的。对于那些正在实现用于长文本知识生产的“LLM Wiki”概念的人来说,它特别有用。
亮点
- 来源可溯源:每一条知识都有指向原始源文本的证据支持。
- 公开实体对齐:使用 Wikidata/Wikipedia 对齐来确保稳定性,并避免纯生成式提取中常见的幻觉问题。
- 可移植知识:
.wikg格式允许像书籍或课程一样共享、备份和交付知识库。 - CLI 优先设计:提供全面的命令行界面,并具有可发现的帮助网络,以便轻松集成到 Agent 工作流中。
相关
- 项目
- 项目
- 项目
- 项目
- 项目