从 1.0 到 2.0 :更低的消耗,更强的能力
🏠 官网
https://github.com/Kenshin/simpread-karpathy-llm-wiki-compiler
💡 前情提要
https://newsletter.simpread.pro/p/karpathy-llm-wiki-compiler
✍️ 升级说明
2.0 版本是一次面向效率与扩展性的重大升级。核心目标只有一个:让这套 Wiki 方案在处理数千篇文章时更省 Token、更易维护、更易检索。
🪄 核心升级:Token 消耗降低 5~10 倍
通过引入 index_map.txt 映射表机制,实现增量感知,大幅减少不必要的文件读取,2.0 仅读取 index_map.txt(几行),提升约 50 倍
实际场景:10 个 raw 文件 × 1000 行的 raw/主题,1.0 需读取约 50000 tokens,2.0 仅读取变化的 1 个文件,约 5000 tokens,节省约 10 倍。
Token 消耗降低 5-10 倍
| 对比维度 | 1.x 版本 | 2.0 版本 | 提升 |
|---|---|---|---|
| 变更检测 | 读取所有 raw 文件 | 仅读取 index_map.txt(几行) | ~50x |
| 快照提取 | 扫描全文提取链接 | 映射表直接获取 | ~10x |
| 增量更新 | 全量对比,耗时长 | 精准定位变化文件 | ~5-10x |
| Sources 维护 | 手动或全量重建 | 自动对齐映射表 | ~3x |
假设:一个主题包含 10 个 raw 文件,每个文件 1000 行
1.0 版本(无 index_map.txt ):
-
需要读取 10 个文件 = 10,000 行文本
-
Token 消耗:约 50,000 tokens
2.0 版本(有 index_map.txt ):
-
读取 index_map.txt = 10 行
-
仅 1 个文件变化,读取 1 个文件 = 1,000 行
-
Token 消耗:约 5,000 tokens
💡 节省比例:约 10 倍!
index_map.txt 文件由 同步助手 1.5.2 生成 👉 详细说明
🔎 MCP 支持
直接查询简悦本地快照库,实现实时、精准的内容检索,与 Wiki 方案形成互补:Wiki 负责深度知识整理,MCP 负责广度与实时性。
📅 按日期获取,支持类型:今天、昨天、每日、本周、最近 7 天、最近 30 天,例子: 今日阅读回顾
🔍 全文搜索,例子: 查询关键词 OpenAI 在此结果检索 马斯克 内容,并生成简报
🏷️ 标签筛选,例子: 获取标签为 AI 的文章,并生成简报
💡 与 Wiki 命令结合,例子: 今日阅读回顾 ~r (MCP 获取今日文章 + 将本地快照链接转换为原文链接,适合手机端)
📦 如何升级
1️⃣ 更新代码到最新版本
2️⃣ 同步助手 1.5.2+ 版
3️⃣ 确保 raw 文件夹包含 index_map.txt(需要使用同步助手重新导出)
4️⃣ 执行 /refresh 重新加载协议
5️⃣ 执行 /gen fix.md 批量修复 Sources 映射表