从 1.0 到 2.0 :更低的消耗,更强的能力

🔗 永久链接 | GitHub | 知乎 | 语雀

🏠 官网

https://github.com/Kenshin/simpread-karpathy-llm-wiki-compiler

💡 前情提要

https://newsletter.simpread.pro/p/karpathy-llm-wiki-compiler

✍️ 升级说明

2.0 版本是一次面向效率与扩展性的重大升级。核心目标只有一个:让这套 Wiki 方案在处理数千篇文章时更省 Token、更易维护、更易检索。

🪄 核心升级:Token 消耗降低 5~10 倍

通过引入 index_map.txt 映射表机制,实现增量感知,大幅减少不必要的文件读取,2.0 仅读取 index_map.txt(几行),提升约 50 倍

实际场景:10 个 raw 文件 × 1000 行的 raw/主题,1.0 需读取约 50000 tokens,2.0 仅读取变化的 1 个文件,约 5000 tokens,节省约 10 倍。

Token 消耗降低 5-10 倍

对比维度 1.x 版本 2.0 版本 提升
变更检测 读取所有 raw 文件 仅读取 index_map.txt(几行) ~50x
快照提取 扫描全文提取链接 映射表直接获取 ~10x
增量更新 全量对比,耗时长 精准定位变化文件 ~5-10x
Sources 维护 手动或全量重建 自动对齐映射表 ~3x

假设:一个主题包含 10 个 raw 文件,每个文件 1000 行

1.0 版本(无 index_map.txt ):

  • 需要读取 10 个文件 = 10,000 行文本

  • Token 消耗:约 50,000 tokens

2.0 版本(有 index_map.txt ):

  • 读取 index_map.txt = 10 行

  • 仅 1 个文件变化,读取 1 个文件 = 1,000 行

  • Token 消耗:约 5,000 tokens

💡 节省比例:约 10 倍!

index_map.txt 文件由 同步助手 1.5.2 生成 👉 详细说明

🔎 MCP 支持

直接查询简悦本地快照库,实现实时、精准的内容检索,与 Wiki 方案形成互补:Wiki 负责深度知识整理,MCP 负责广度与实时性。

📅 按日期获取,支持类型:今天、昨天、每日、本周、最近 7 天、最近 30 天,例子: 今日阅读回顾

🔍 全文搜索,例子: 查询关键词 OpenAI 在此结果检索 马斯克 内容,并生成简报

🏷️ 标签筛选,例子: 获取标签为 AI 的文章,并生成简报

💡 与 Wiki 命令结合,例子: 今日阅读回顾 ~r (MCP 获取今日文章 + 将本地快照链接转换为原文链接,适合手机端)

更多高级命令 👉 GitHub | 语雀

📦 如何升级

1️⃣ 更新代码到最新版本

2️⃣ 同步助手 1.5.2+ 版

3️⃣ 确保 raw 文件夹包含 index_map.txt(需要使用同步助手重新导出)

4️⃣ 执行 /refresh 重新加载协议

5️⃣ 执行 /gen fix.md 批量修复 Sources 映射表

🔎 关联阅读

1️⃣ 同步助手 1.5.2 版:Token 消耗直降 10 倍

2️⃣ 简悦 Andrej Karpathy LLM Wiki 方案