知识库迭代机制方案v1
知识库迭代机制方案 v1.0
一句话概括
把知识库当成一个由 AI 持续”编译”、自我维护的活体 wiki:你负责投喂原料和提出问题,AI 负责一切琐碎的整理——摘要、归档、链接、体检。知识不再散落在聊天记录里,而是随每一次摄入和提问不断复利。
一、思想来源:Karpathy 的核心思路
2026 年 4 月,Andrej Karpathy 发布《LLM Knowledge Bases》,随后把完善版整理成 llm-wiki idea file。他自述”最近花在操纵知识上的 token 已经超过操纵代码”。核心观点:
- 传统 RAG 没有积累:每次提问都是”检索→拼凑→回答”,问答结束什么都没留下,库永远是死的。
- 把 LLM 当编译器:LLM 不只回答问题,而是把原始资料增量编译成一个持久、互相链接的 Markdown wiki。每次新增资料,是真的读进去——更新概念页、修订综述、标注新旧说法的矛盾。
- Wiki 是复利资产:交叉引用已经建好、矛盾已经标注、综述反映全部已读内容。他的一个主题库已长到 100 篇文章 / 约 40 万词,能回答很深的问题。
- 问答要回流:问答产出(Markdown 分析、Marp 幻灯片、图表)存回库里,让”每次探索都加和”(every exploration adds up)。
- 定期体检(Lint):让 LLM 做健康检查——找出数据矛盾、联网补全缺失、发现可以写成新文章的概念连接、提出值得追问的问题。
- 分工:人几乎从不手写或修改 wiki——那是 LLM 的领地;人做策展人:找料、提问、判断。
二、本库现状盘点(2026-09-02)
| 项目 | 现状 |
|---|---|
| 仓库根 | F:\ObisidianStorage(已装社区插件 Copilot,可库内 AI 对话) |
| 内容区(约定唯一写入处) | F:\ObisidianStorage\ObisidianContent |
| 存量笔记 | 1 篇:2026-09-01 Obsidian是什么,如何与AI助手连接 |
| 其他 | 根目录 My Base.base(空的 Bases 表格视图) |
| Agent 环境 | .agents / .claude / .opencode / copilot 四套 agent skills(GitHub Copilot 的 Obsidian 技能包) |
| 遗留问题 | ⚠️ ObisidianContent 内嵌套了一个 .obsidian,见”七、待确认事项” |
启示:库还是白纸,正是引入机制的最佳时机;多套 AI 代理工具并存,意味着机制必须写成对任何 AI 都可执行的章程,而不是依赖某一家工具。
三、目录结构:三层模型落地
Karpathy 的模型分三层,全部放在 ObisidianContent 内:
| 层 | 位置 | 规则 |
|---|---|---|
| Raw 原料层 | raw/ |
不可变。网页剪藏、文章、PDF、推文存档、对话原文。AI 只读不改 |
| Wiki 编译层 | wiki/ |
AI 全权维护。概念页、主题综述、对比页、问答沉淀 |
| Schema 章程层 | SCHEMA.md |
告诉任何 AI”这个库怎么运作”。人机共同修订 |
建议目录树:
1 | |
index.md 与 log.md 是这套系统的两大枢纽(Karpathy 的关键设计)
- index.md 面向内容:AI 回答任何问题前先读它定位,几百页规模内不需要向量库/RAG;
- log.md 面向时间:条目格式统一,如
## [2026-09-02] ingest | Karpathy推文,方便人和 AI 都能追溯”这个库经历了什么”。
四、知识迭代循环:五个动作
1 | |
| 动作 | 口令(对我说) | 做什么 |
|---|---|---|
| 1. 摄入 Ingest | “存个笔记” / “存素材:…” | 对话要点、网页文章、资料存入 raw/(或对话记录直接归档) |
| 2. 编译 Compile | “编译” | AI 增量处理 raw/:写摘要页 → 更新相关概念页 → 补双链 → 更新 index.md 和 log.md |
| 3. 问答 Query | “查:…” | AI 先读 index.md 定位 → 精读相关页 → 带来源回答 |
| 4. 回流 File-back | “归档” | 有价值的问答/分析/图表从聊天沉淀进 qa/ 或直接编译进 wiki/ |
| 5. 体检 Lint | “体检” | 全库健康检查并修复,报告存 ops/,顺带建议”下一个值得研究的问题” |
体检的具体检查项(Karpathy 强调的一环):页面间数据矛盾、被新资料推翻的旧结论、没有入链的孤儿页、被多次提到却还没有独立页面的概念、缺失的交叉引用、可以联网补全的信息缺口。
五、写作与协作规范
- Frontmatter 模板(wiki 页统一):
1 | |
- raw 只读原则:发现原始资料有误,不改原文,在 wiki 里标注矛盾。
- 重大改动先说明:AI 对 wiki 做结构性改动(删并页、大规模重组)前,先说明再动手;日常增量维护(补链接、更新索引)可直接做。
- 人的手写是最高优先级:你在 wiki 页里手写的内容,AI 编译时一律保留并优先采用。
- 双链优先:每页至少一条
链接;图谱的形状就是知识的形状。
六、迭代节奏
| 周期 | 动作 |
|---|---|
| 随时 | 摄入素材、提问(摄入即编译,不等) |
| 每周 | 说一次”体检”,AI 出报告并当场修复 |
| 每月 | 说一次”回顾机制”,修订 SCHEMA.md,产出 v1.1 —— 机制本身也要迭代 |
| 可选 | 让 AI 设置定时自动化,到点提醒体检/回顾 |
七、冷启动计划与待确认事项
冷启动三步:
- 初始化骨架:创建第三节目录树 + SCHEMA.md / index.md / log.md 三件套(SCHEMA.md 以本方案为蓝本);
- 试运行:把这篇 Karpathy 推文全文存为
raw/第一份素材,完整走一遍”摄入→编译”流程; - 正常运转:使用两周后做第一次”体检 + 回顾”,按实际体验修订机制。
动手前需要你拍板:
- 嵌套仓库问题:
ObisidianContent里还有个.obsidian。A. 以后就用根目录F:\ObisidianStorage当仓库(需删掉内层.obsidian);B. 直接用ObisidianContent当仓库。选哪个? - 是否现在就执行冷启动第 1 步(建骨架)?
- 第一份 raw 素材用这篇推文试运行,可以吗?
八、参考
- Karpathy 原推《LLM Knowledge Bases》
- llm-wiki idea file(Karpathy 的 gist 完整版)
- DAIR.AI 四阶段详解
- DeepakNess 全文摘要
- Hacker News 讨论
- awesome-llm-wiki(社区实现合集)
- 本库首篇笔记:2026-09-01 Obsidian是什么,如何与AI助手连接
知识库迭代机制方案v1
https://ldioif.cn/2026/09/02/2026-09-知识库迭代机制方案v1/