AI回答总差点意思？用WorkBuddy四步把智能体准确率练到97%

把背景写得清清楚楚，要求列了一条又一条，WorkBuddy 给出的回答还是差着一点意思；来回补充信息、反复调整提示词，它依旧抓不住重点；只想改其中一处，原本没问题的部分却跟着变了。腾讯客服团队在搭建一个业务评估智能体时，面对的就是这种局面：评估准确率停在50%，距离真正顶上人工判断还有很大差距。

 

五个月、101 次迭代之后，这套智能体的评估准确率做到了97%。拉开差距的不是某条万能提示词，而是四件更容易被忽略的事：先筛清哪些活值得交给 AI，再让 AI 反问着把隐性经验挖出来，给知识库修改划出权限边界，出错后按归因做最小调整。这条路径不依赖某个行业的特殊背景，客服团队走得通，其他需要沉淀经验、反复判断的团队同样走得通。

 

经验筛选：三类活最有沉淀价值

 

准确率低只是表象，先把要交给 AI 的活挑对，问题才解决了一半。团队里真正的业务经验大多散落在老员工的记忆、历史对话和零散文档里，要让 AI 参与工作，第一步是把这些经验提炼成能够直接交给 AI 执行的知识资产。

 

常见的做法是把现有规则、指南和历史经验一股脑塞进知识库。这样做的隐患在于，这些经验里既有真正影响判断的部分，也有在过去条件下形成、后来一直沿用的固定流程。未经筛选就全部交给 AI，结果可能只是把一套本可简化甚至取消的流程执行得更快。

 

因此沉淀之前要先做筛选，逐个回答五个问题：这项工作真正要解决的是什么；现有环节是否仍有存在的必要；有没有更直接的方案；哪些内容只是固定流程、哪些需要结合实际情况判断；哪些经验会反复使用、值得沉淀成统一标准。筛完之后再动手，该优化的优化，该取消的取消，只有确实需要判断又会被反复使用的经验才进入沉淀环节。这一步的判断标准收拢成一句话：AI 能把一件事做得更快，但它不会主动提醒你，这件事本来可以不做。

提问采访：一段指令挖出隐性经验

 

活挑对了，下一个难点是把人的判断经验说明白。很多人会直接下指令“帮我整理一份业务规则”，AI 会迅速生成一份结构完整的文本，但这份文本往往缺少真正的业务判断信息，对相关领域几乎没有增量。

 

问题出在隐性经验上。对熟悉业务的人来说，很多判断早已成为下意识：面对具体问题知道该关注什么，也察觉得出哪些情况需要例外处理。但当他把这套经验写下来时，会自然省略自己认为不言自明的部分。这些部分你不说，AI 就永远不知道：它只能根据有限信息补全，缺的地方被通用表述填上，看起来完整，实际并不符合真实需求。

 

解法是把顺序调转过来：不让 AI 直接写，先让它提问。可以借鉴苏格拉底式提问法的思路，让 AI 扮演一个不了解业务但会持续追问的采访者，围绕任务目标、判断条件、规则优先级、特殊情况不断发问，把没说出口的信息逐步挖出来。越熟悉一项工作的人越难还原自己尚未掌握它时的状态，“这种情况看着办”是什么情况、“实在不行就上报”怎样才算实在不行，与其一个人对着空白文档回忆，不如让 AI 学会反问。下面这段指令可以直接发给 WorkBuddy：

 

提示词 1：苏格拉底式采访（可直接复制发给 WorkBuddy）

 

我是 [你的角色，如：客服]，正在做 [具体业务/项目]。我想把 [某项判断经验] 沉淀成 [新人/系统] 能照着独立执行的知识。接下来请你用苏格拉底式提问来采访我，把这条经验挖清楚。规则：1. 你只提问，我来答，不要替我下结论，也不要急着帮我总结2. 每次只问一个问题，问完等我回答3. 我的回答一旦含糊（比如“看情况”“一般来说”“有经验就知道”），你要顺着往下追问，直到把背后的具体条件问出来4. 一直问到：换个完全不懂的人，照着也能做出同样判断为止5. 你判断已经问清楚了，就停下来告诉我“可以整理了”，再把这条经验整理成一份结构化草稿：什么情况、判断依据、对应结论。

 

现在开始，先问我第一个问题

 

当经验从某个人知道怎么做，变成清楚的条件、边界和例外，它才具备被团队复用、被系统执行的基础。配图里的真实对话就是这段指令跑起来的样子：AI 只提问、不代答，逐层把判断条件问出来。经验问清楚了，知识库才有得写；而写入之后怎么改，比写入本身更需要规矩。

 

苏格拉底式采访在 WorkBuddy 中的真实对话：AI 只提问、不代答，逐层把判断条件问出来。

权限管理：三条规则守住知识库

 

经验进了知识库只是开始，真正的风险藏在修改环节。业务在变，判据、阈值和输出话术都要跟着更新，而知识库并不是一组彼此独立的文档，是一张相互关联的规则网：改其中一条，可能牵动其他判断。AI 执行修改时还可能按自己的理解顺手优化相关内容，这些额外改动不一定会被标出来。使用者能核对要求修改的地方对不对，却很难发现其他内容有没有同时变化，知识库越大这类问题越难排查。

 

所以校验要提前做：在修改发生之前，先明确 AI 有哪些操作权限。具体是三条规则。第一，先列清单再执行，AI 收到修改任务后不能立即写入，要先列出改哪个文件哪一部分、原文是什么、计划改成什么、为什么改，逐条确认后才动手。第二，只改确认过的内容，清单之外一律不动，没有要求修改的内容被改动，往往比没改到位更难发现。第三，遇到冲突先停止，如果改规则 A 会影响规则 B，AI 不该自行取舍，要停下来说明冲突在哪、属于什么问题、可能影响哪些判断，最终由人决定。

 

第一、二条对应的操作规范，可以把这段协议发给 WorkBuddy：

 

提示词 2：全局同步修改协议（可直接复制发给 WorkBuddy）

 

在着手修改任何文档（无论单个还是多个）之前，你必须严格遵循以下全局同步修改协议：

 

1. 全域预检（Global Pre-check）在应用任何改动前，先对所有涉及的目标文档进行扫描分析：逻辑一致性：你计划修改的内容，是否与所有相关文档中的现有逻辑、既定规则或事实陈述存在冲突？可读性影响：此次修改是否会导致单文档内部、或多文档之间的逻辑链条断裂、语义模糊或产生新的歧义？

 

2. 最小必要与聚焦原则只纠误不改对：仅修正已被确认为错误、不准确或自相矛盾的内容。严禁对已正确无误的部分进行任何形式的“润色”“优化”或风格统一（除非该风格本身导致了歧义）。关联聚焦：修改范围必须严格限定于与当前修正目标具有直接逻辑关联的内容。不得触达无关章节或无关文档。

 

3. 跨文档冲突熔断机制如果预检发现执行当前修改会破坏其他文档（或本文档其他部分）的逻辑自洽性，你必须立即执行熔断程序：停止修改：暂停当前的单点修改计划。全景报告：明确汇报冲突点的具体位置（文件名+段落）、冲突的性质（例如：定义不一致、数据矛盾、因果倒置）、连锁反应评估（修改 A 会影响 B，进而导致 C 失效）。你的解决方案：提出一个能一次性解决所有关联冲突的整体性调整方案。等待授权：获得我的明确批准前，严禁写入任何内容。

 

4. 原子化提交经授权后，所有相关文档的修改必须在同一轮回复中完成，确保逻辑一致性不被后续上下文遗忘破坏。

 

另一种情况要单独处理：同一个问题改了三四轮还没解决，甚至越改越乱。这时继续加要求没有用，先暂停修改，让 AI 回顾整条任务链路，找出卡点在指令歧义还是任务冲突，再决定方向。对应的复盘协议如下，每次改知识库前发送即可：

 

提示词 3：任务深度复盘协议（可直接复制发给 WorkBuddy）

 

启动“任务深度复盘协议”。请基于本次任务的全部对话历史，执行以下动作：全链路梳理：按时间线完整还原任务执行的每一步，厘清最初的意图与最终的产出。可行性重估：结合执行过程中的实际阻力，重新审视该任务目标在当前条件下的可行性（技术限制、逻辑矛盾、资源缺失等）。根因分析（RCA）：重点分析中途失败的具体节点，区分“技术执行失误”与“任务逻辑设计缺陷”，深挖底层原因（例如：Prompt 歧义、上下文窗口限制、逻辑推理链断裂，或指令本身存在悖论）。流程诊断：指出我在任务推进过程中，哪些提问方式、干预手段或反馈机制不合理，导致了效率低下或方向偏离。记忆固化与防错：将复盘得出的关键教训、禁忌点和优化策略，整理成结构化的“执行备忘录”。下次启动同类任务时，主动调取这份记忆，并在第一步进行风险评估，确保同类错误不再发生。

 

复盘把方向纠回来之后，剩下的提升就来自一次次真实错误的处理。错误处理的方式，直接决定迭代是越改越好还是原地打转。

错误归因：五类错因各回各层

 

知识库稳住之后，提升空间全在错误处理上。腾讯客服团队没有反复润色整篇提示词，而是固定执行一套迭代闭环：建立基线、定位错误、最小修改、全量回归、留下记录。五个月 101 次迭代能从 50% 走到 97%，关键在于每一轮只解决一个能被明确说明的问题。

 

同样是判断错误，背后的原因可能完全不同。团队把错因归纳成五类：知识没有写清楚，关键条件缺失或表述含糊，需要回知识库补充；规则顺序不清楚，多条规则同时命中却没说明优先级，需要调整判断顺序；输入信息不足，现有信息撑不起结论，需要增加信息不足的退出条件；输出没有遵守要求，判断正确但格式、字数或话术不合格，需要收紧输出约束；模型幻觉或不稳定，添加了没有依据的信息，或相似输入给出不一致判断。

 

这一步不能跳过。不先判断问题出在哪一层就直接改提示词，很容易把知识问题写成提示词补丁：提示词越来越长，真正缺失的判断条件却始终没补上。归因之后也不能全盘接受 AI 给出的修改方案，要让 AI 先说清三件事：改什么（引用原文给出完整修改版本，“优化判断条件”这类概括不算数）、为什么改（每项改动对应本轮已确认的错因）、改动之间是否冲突。然后逐条确认，整体批准只有接受和拒绝两个选项，逐条确认才能保留必要改动、排除无关调整。两段指令配合使用，先归因再确认：

 

提示词 4：错误归因优化指令（可直接复制发给 WorkBuddy）

 

基于本轮的错误案例做归因。本回合只归因，禁止改动任何文件。【错误案例】输入：{{粘贴当时的输入}}实际输出：{{粘贴错误的输出}}期望输出：{{粘贴正确的结果}}AI 给出的判断依据或可见分析过程（如有）：{{粘贴相关内容}}执行顺序：

 

第一步：定位到具体哪一句。读取当前提示词与大模型的思考内容文件，指出是哪一句导致了这个结果，引用原句，不要只说小节名。

 

第二步：归因，只能取一类。A1 表述缺失：判断条件在知识库里有，但提示词用了没有定义的抽象词（极端、严重、明显、较大、比较多等），模型无法对照执行A2 知识缺失：这个判断条件在知识库里根本不存在B 顺序不清：两条规则同时命中，但没说明谁优先C 输入不足：现有输入信息支撑不了这个结论D 输出违规：结论是对的，但格式、字数或措辞不符合要求E 大模型思考存在幻觉同时命中多类时，只取占比最大的一类。归因为 A1 时有一条硬性要求：必须同时引用知识库里对应的那条判断条件，证明它确实存在。引用不出来，就说明这是 A2 而不是 A1，请改判。

 

第三步：判断该不该改提示词。以下情况直接说明并停止，不要为了完成任务而硬改：归因为 A2，应该先补知识库条目，补完再回来走这个流程；案例输入本身自相矛盾，或缺少判断所需的关键信息；期望输出本身是错的（这种情况该改测试案例，不是改提示词）；这个判断超出提示词能解决的范围，应该改输入采集规范或任务边界。第四步：只有确认该改，才给出修改方案。方案里必须包含：改哪一句、改成什么、这一改如何让本案例走到正确结论。四步做完就停，等我确认后再动手。

 

提示词 5：提示词优化与修改确认指令（可直接复制发给 WorkBuddy）

 

你已经找到问题的根源，现在不要开始修改。先把修改方案按以下格式列出来，等我逐条确认后再动手。

 

第一部分：要改什么，逐条列出，一条一个编号。每条必须写清四项，缺任何一项这条视为无效：1) 编号；2) 修改位置：文件名+小节名+原句（把原文引出来，不要只说“某处”）；3) 改为：修改后的完整内容，不要写“类似地调整”这种模糊描述；4) 预期效果：改完之后，原本出错的那个案例会怎么走到正确结论。

 

第二部分：每一条为什么改，与第一部分逐条对应。对每个编号，说明这条改动解决的是刚才归因出的哪一个具体问题，要求一对一指明，不许用“整体优化判断逻辑”这类笼统说法。如果某条改动说不出对应的具体问题，说明它不在本轮范围内，直接从清单里删掉。

 

第三部分：你自己先排查冲突，在交清单的同时完成。预演一遍所有改动都生效之后的状态，逐项检查：1) 这些改动之间是否互相冲突（例如一条调整了判断顺序、另一条新增了条件，合起来是否产生矛盾）；2) 是否影响到本轮之外的内容，逐条说明会牵连哪些其他规则、影响哪些已通过的案例；3) 改完之后是否出现新的空隙，即某类情况原来有规则可依，改完之后没有任何规则能命中。排查结果单独成段写在清单后面，发现冲突时不要自己改方案把矛盾抹平，原样列出来让我判断。

 

第四部分：等我逐条确认。我会按编号回复“同意”或“否决”，也可能只同意其中几条。我没有明确说同意的条目，一律不许改；我否决某条时，不要追问理由，也不要换个说法再提一次；确认完成后，你只执行我同意的那几条。一条硬性要求：清单之外的任何内容一律不许动，包括你在修改过程中新发现的顺手可以优化的地方。发现了就先告诉我，等下一轮再处理。

 

筛选决定 AI 接什么活，采访决定它懂不懂业务，权限决定改动可不可控，归因决定每一轮迭代是否真正有效，四步连成一条完整的协作方法。评估准确率从 50% 到 97% 的改前改后变化，配图对比表给出了效率、质量、可复用性三个维度的实测答案。

 

四步跑完后的改前改后对比：效率、质量、可复用性三个维度的实测变化

 

四步走完，AI 才从能生成答案的工具变成能稳定交付的协作者：筛选决定接什么活，采访决定懂不懂业务，权限决定改动可不可控，归因决定每轮迭代是否有效。

 

云巴巴（yun88.com）作为腾讯云AI智能体示范伙伴、WorkBuddy核心伙伴，已在多家团队落地知识沉淀与智能体调教项目，苏格拉底式采访、全局修改协议、错误归因这套流程均有现成配置经验，官网留言即可获取全套提示词模板包与实施陪跑。