1. The AI Novice and the AI Power User：如何成为 AI 高阶用户
2. Pretrained Knowledge：AI 已经掌握哪些知识
3. Web Search：如何获取外部信息
4. Web Search Sources：如何选择和验证信息来源
5. Using Deep Research：如何开展复杂研究
6. Lab Overview：如何通过实验比较不同 AI 使用方式
7. Brainstorming with AI：使用 AI 进行头脑风暴
8. Context：上下文
9. AI Desktop Apps：AI 桌面应用
10. Reasoning with AI：AI 推理
11. Sycophancy：谄媚
12. Writing with AI：用 AI 写作

一、课程核心思想

上一节 P12 介绍了 Writing with AI（使用 AI 进行写作）。我们已经知道，高质量的 AI 辅助写作不应该只是一次性生成完整文章，而应该通过以下过程逐步完成：

1. 明确写作目标。
2. 提供相关 Context。
3. 生成文章大纲。
4. 反复修改大纲。
5. 扩展详细要点。
6. 生成完整初稿。
7. 检查并修改文章。

但是，完成初稿并不意味着写作任务已经结束。

例如，一篇文章可能存在：

• 论点不够明确。
• 逻辑结构不合理。
• 证据不足。
• 表达重复。
• 缺少反面论证。
• 不符合目标读者的需求。

因此，本节介绍AI Critique（AI 评价与批判性反馈）。AI 不仅能够帮助用户生成内容，还可以作为一个辅助评价者，对已有作品进行分析、指出问题，并提出改进建议。

核心结论：AI Critique 的价值不是让 AI 简单评价作品“好不好”，而是通过明确的评价标准和具体反馈，帮助用户发现问题、理解原因，并逐步提高作品质量。

二、重点知识点

2.1 什么是 Critique？

Critique（批判性评价） 是指对某个作品、观点或方案进行系统分析，识别其优点、缺点和改进空间。Critique 不等于单纯的批评。

它通常包含：

1. Strengths（优点）：哪些部分做得好？
2. Weaknesses（缺点）：哪些部分存在问题？
3. Evidence（证据）：为什么认为这些部分好或不好？
4. Recommendations（建议）：应该如何改进？

例如：用户写了一篇关于 AI 教育的文章。

如果只问：

Is my essay good?

AI 可能给出比较笼统的回答。

但如果要求：

Critically evaluate my essay. Identify: 1. Strengths 2. Weaknesses 3. Logical problems 4. Missing evidence 5. Specific improvements Be objective and constructive.

AI 就更容易围绕具体问题提供反馈。

General Feedback vs. Critique

知识点：高质量 Critique 不只是指出问题，还应该解释问题为什么存在，以及如何改进。

2.2 Critique 与 Sycophancy 的关系

P11 已经介绍了 Sycophancy（谄媚倾向）。

如果用户向 AI 提问：

I wrote an amazing essay. Can you tell me what you think?

AI 可能受到用户积极评价的影响，倾向于赞美文章。

例如：

This is an excellent essay with strong arguments and clear organization.

但文章实际上可能存在逻辑或证据问题。因此，在使用 AI Critique 时，应该避免提前告诉 AI 自己希望得到什么评价。

更好的 Prompt

Evaluate the following essay objectively. Do not assume the essay is good or bad. Identify: 1. Strong arguments 2. Weak arguments 3. Unsupported claims 4. Logical inconsistencies 5. Areas for improvement Provide specific evidence from the essay.

为什么这样更好？因为它要求 AI：

• 不预设结论。
• 同时分析优点和缺点。
• 指出具体证据。
• 解释评价依据。
• 提供改进建议。

学习启示：AI Critique 应该与 P11 的 Neutral Framing（中立表述）结合使用，减少 AI 迎合用户的风险。

2.3 Rubric-based Critique（基于评价量规的批判性评价）

Rubric（评价量规） 是一组明确的评价标准。它可以帮助 AI 从多个维度评价作品。

示例：学术文章评价
假设用户希望 AI 评价一篇研究论文。可以提供以下 Rubric：

示例 Prompt

Act as an objective academic reviewer. Evaluate the uploaded paper using the following rubric: 1. Research question clarity 2. Methodological rigor 3. Evidence quality 4. Logical coherence 5. Originality 6. Writing clarity For each criterion: - Give a score from 1 to 5. - Explain the score. - Identify specific strengths. - Identify specific weaknesses. - Suggest improvements. Do not invent evidence. If the paper does not provide enough information for a judgment, state that explicitly.

Rubric 的优势

1. 减少模糊评价。
2. 提高评价的一致性。
3. 方便比较不同版本。
4. 帮助识别具体问题。
5. 使修改目标更加明确。

需要注意：Rubric 不是绝对客观的。

例如：不同评价者可能对同一篇文章的 Originality（原创性）给出不同评分。因此，评分应该作为辅助判断，而不是最终事实。

核心知识点：Rubric 可以让 AI Critique 更加结构化，但评价结果仍然需要用户结合实际情况判断。

2.4 Actionable Feedback（可执行反馈）

不是所有反馈都具有相同价值。

例如：
Vague Feedback（模糊反馈）

Your introduction needs improvement.

这个反馈没有解释具体问题。
Actionable Feedback（可执行反馈）

The introduction explains the topic, but it does not clearly state the central argument. Add a thesis statement at the end of the first paragraph. The thesis should explain the main claim and the scope of the discussion.

两种反馈的区别

学习启示：向 AI 请求 Critique 时，应该要求它提供具体、可操作的修改建议，而不是只有笼统评价。

三、老师的实际案例

通过核对公开英文课程转写稿，可以进一步确认 P13 不只是介绍如何使用 Rubric，还重点讨论了 自我评价、跨模型评价，以及不同 AI 模型能力不均衡的问题。

3.1 案例一：让 AI 评价自己生成的内容（Self-Critique）

老师指出，AI 可以对自己生成的内容进行评价。

例如，用户让 ChatGPT 为一款复杂的角色扮演游戏（Role-playing Game）编写用户手册。

Write a user manual for a complex role-playing game. Include: 1. Game objectives 2. Character creation 3. Core mechanics 4. Combat rules 5. Progression system

AI 生成手册之后，可以要求它检查自己的作品。

Review the user manual you just created. Evaluate it using the following rubric: 1. Completeness 2. Clarity 3. Logical consistency 4. Ease of use 5. Missing information Identify specific weaknesses and suggest improvements.

Self-Critique 的作用
AI 可以帮助发现：

• 内容遗漏。
• 规则解释不清楚。
• 不同章节之间的矛盾。
• 用户难以理解的说明。
• 结构不合理的部分。

但也存在一个问题：生成内容的 AI，可能无法发现自己原本就没有意识到的错误。因此，自我评价有帮助，但不能保证发现所有问题。

3.2 案例二：Cross-model Review（跨模型评价）

老师介绍了一种有趣的方法：让一个 AI 模型评价另一个 AI 模型生成的内容。

例如：

1. 使用 ChatGPT 生成角色扮演游戏的用户手册。
2. 使用 Gemini 阅读这份手册。
3. 向 Gemini 提供评价标准。
4. 让 Gemini 指出手册中的问题。
5. 根据评价结果修改原始内容。

简化流程

ChatGPT （生成用户手册） ↓ Generated Document （生成文档） ↓ Gemini （使用 Rubric 评价） ↓ Critique Report （评价报告） ↓ Revise Original Document （修改原始文档）

示例 Prompt

The following user manual was generated by another AI model. Please evaluate it independently. Use the following criteria: 1. Accuracy 2. Completeness 3. Clarity 4. Internal consistency 5. Practical usability For each issue: - Quote the relevant section. - Explain the problem. - Assess its severity. - Suggest a concrete improvement. Do not assume the document is correct simply because another AI generated it.

为什么跨模型评价可能有帮助？因为不同 AI 模型的知识、训练方式和能力特点可能不同。一个模型可能发现另一个模型忽略的问题。

但老师也指出：跨模型评价通常只会带来有限的额外收益。对于很多普通任务，让同一个模型评价自己的输出，也已经能够取得不错的效果。因此，没有必要为了每次简单修改都使用多个模型。

Self-Critique vs. Cross-model Review

核心知识点：跨模型评价可以作为额外的质量检查方法，但不意味着不同模型的意见一定更加正确。

3.3 案例三：Jagged Intelligence（锯齿状智能）

这是本节另一个重要概念。

Jagged Intelligence（锯齿状智能） 指 AI 的能力并不是在所有任务上均匀分布。

例如，AI 可能非常擅长：

• 快速阅读大量网页。
• 总结长篇文档。
• 解决某些复杂数学问题。
• 生成和修改代码。

但在另一些任务中，它可能表现不如人类。

为什么称为 Jagged？可以想象一条不规则的能力边界：

AI Capabilities （AI 能力） Task A ██████████ Task B ██████ Task C ████████████ Task D ███ Task E █████████

这只是概念示意，不代表真实测试数据。不同任务上的能力水平可能差异很大，因此呈现不均匀的分布。

不同模型的 Jagged Intelligence 也不同
例如：

• Model A 可能更擅长数学推理。
• Model B 可能更擅长写作。
• Model C 可能更擅长代码生成。
• Model D 可能更擅长某种多模态任务。

这些只是说明能力差异的假设示例，并非对具体模型的实测排名。

老师的建议
老师提到，他会不时使用不同的 AI 模型完成相同任务，以了解它们各自的能力。原因是：

1. AI 模型发展非常快。
2. 不同模型擅长的任务不同。
3. 模型能力会随着版本更新而变化。
4. 过去最适合某项任务的模型，不一定一直是最佳选择。

知识点：不要假设某个 AI 模型在所有任务上都最好。应该根据实际任务，通过比较结果建立对模型能力的判断。

四、如何构建高质量的 AI Critique 工作流程？

以下是根据课程思想整理的通用方法。

4.1 Step 1：准备需要评价的内容

例如：

• 文章。
• 研究报告。
• 商业方案。
• 软件设计。
• 用户手册。
• 项目计划。

4.2 Step 2：定义评价标准

例如：

Evaluate the document using: 1. Accuracy 2. Completeness 3. Clarity 4. Logical consistency 5. Practical usefulness

4.3 Step 3：要求具体反馈

不要只要求：

Make it better.

而应该要求：

Identify the five most important issues. For each issue: 1. Explain the problem. 2. Quote the relevant text. 3. Explain why it matters. 4. Suggest a concrete improvement.

4.4 Step 4：优先修改重要问题

可以要求 AI 按照严重程度排序。

Rank the identified issues by severity. Use: - High - Medium - Low Focus on problems that most affect accuracy, clarity, or usefulness.

4.5 Step 5：修改并重新评价

Revise the document based on the approved recommendations. Preserve the original intent and writing style. After revising, summarize the changes you made.

完整工作流程

Prepare Draft （准备初稿） ↓ Define Rubric （制定评价标准） ↓ Generate Critique （生成评价） ↓ Prioritize Issues （确定修改优先级） ↓ Revise Content （修改内容） ↓ Review Again （再次评价） ↓ Final Version （最终版本）

学习启示：AI Critique 最有价值的部分，不只是找出问题，而是帮助用户建立持续改进作品的流程。

五、AI Critique 的局限性

5.1 AI 可能给出错误评价

AI 可能误判：

• 某个论点是否成立。
• 某项研究是否具有创新性。
• 某段代码是否存在错误。
• 某个商业方案是否可行。

因此，重要结论需要人工核实。

5.2 不同模型可能犯相同的错误

Cross-model Review 不保证评价独立。

两个模型可能依赖相似的知识或推理模式，从而得出相同的错误结论。

Model Agreement ≠ Ground Truth

即：多个模型意见一致，不等于结论一定正确。

5.3 AI 可能过度修改作品

如果用户只说：

Improve my writing.

AI 可能：

• 改变作者原本的表达风格。
• 删除重要但不常见的观点。
• 将文章改得过于正式。
• 引入没有依据的新内容。

因此，可以明确要求：

Preserve my original meaning and writing style. Only revise sections that have identifiable problems. Do not add unsupported claims.

5.4 Critique 不等于事实验证

AI 可以评价文章的逻辑、结构和清晰度。但如果涉及事实性结论，还需要查阅原始资料。

例如：文章声称某项研究证明 AI 能提高学生成绩。

AI 可以检查论证是否连贯，但要判断研究是否真的支持这个结论，仍然需要阅读原始论文。

核心知识点：AI Critique 可以辅助质量控制，但不能完全代替事实核查、专业评审和用户判断。

六、重要英文术语

七、实践练习

Exercise 1：让 AI 评价自己的文章
选择一篇自己写的文章。

使用以下 Prompt：

Act as an objective writing reviewer. Critique my article using: 1. Argument clarity 2. Logical structure 3. Evidence quality 4. Writing style 5. Completeness For each criterion: - Identify strengths. - Identify weaknesses. - Quote specific examples. - Suggest improvements. Rank the five most important issues. Do not rewrite the article yet.

练习目标：学习获取具体、可执行的评价，而不是简单的赞美。

Exercise 2：比较 Self-Critique 与 Cross-model Review

第一阶段
使用一个 AI 模型生成一份用户手册：

Write a user manual for a simple role-playing game. Include: 1. Game objectives 2. Character creation 3. Core mechanics 4. Combat rules 5. Progression system

第二阶段
让同一个模型评价手册。

Critique the user manual using a detailed rubric. Identify missing information, unclear rules, and inconsistencies.

第三阶段
将同一份手册提交给另一个 AI 模型。

使用相同 Rubric。比较：

1. 两个模型发现了哪些共同问题？
2. 是否有某个模型发现独有的问题？
3. 哪些评价有明确证据支持？
4. 是否存在错误评价？
5. 跨模型评价是否带来了实际改进？

练习目标：理解 Cross-model Review 的潜在价值与局限。

Exercise 3：测试 Jagged Intelligence
选择三种不同类型的任务：

1. 数学推理。
2. 文章修改。
3. 代码分析。

将相同任务分别提交给两个或三个 AI 模型。

记录结果：

比较：

• 哪个模型更擅长数学？
• 哪个模型提供更具体的写作反馈？
• 哪个模型更容易发现代码问题？
• 不同模型的优势是否一致？

练习目标：通过实际测试理解 Jagged Intelligence。

以上练习是根据课程内容设计的教学补充，并非官方实验题目的逐字复制。

八、复习问题

Q1：什么是 AI Critique？
答：利用 AI 对已有作品进行系统评价，识别优点、缺点和改进空间，并提出具体修改建议。

Q2：什么是 Self-Critique？
答：让 AI 对自己生成的内容进行评价，帮助发现可能存在的问题。

Q3：什么是 Cross-model Review？
答：使用一个 AI 模型评价另一个 AI 模型生成的内容，以获得额外的评价视角。

Q4：跨模型评价是否一定比自我评价更好？
答：不一定。它可能带来有限的额外收益，但不同模型也可能犯相同的错误。

Q5：什么是 Jagged Intelligence？
答：AI 在不同任务上的能力表现并不均匀，有些任务表现很强，有些任务仍然存在明显局限。

Q6：为什么应该定期比较不同 AI 模型？
答：因为 AI 模型不断更新，不同模型的优势也会变化。通过实际比较，可以更好地选择适合当前任务的模型。

九、一页速记版（Quick Review）

核心思想：AI 不仅可以生成内容，还可以评价和改进已有作品。通过 Rubric、具体反馈、自我评价和跨模型评价，可以提高作品质量，但仍然需要人工判断和事实核查。

三个重要知识点：

1. Self-Critique：让 AI 评价自己生成的内容。
2. Cross-model Review：使用不同 AI 模型进行交叉评价。
3. Jagged Intelligence：理解不同模型在不同任务上的能力差异。

三个核心原则：

1. Use clear rubrics to guide AI critique.
   使用明确的评价标准指导 AI 进行评价。
2. Ask for specific, actionable feedback.
   要求 AI 提供具体、可执行的修改建议。
3. Compare models, but verify important conclusions.
   可以比较不同模型，但重要结论仍需核实。

P11 → P13 的知识逻辑

P11 — Sycophancy ↓ 如何避免 AI 过度迎合用户？ ↓ P12 — Writing with AI ↓ 如何利用 AI 进行分阶段写作？ ↓ P13 — AI Critique ↓ 如何让 AI 评价并改进已有作品？ ↓ P14 — Lab Overview: Brainstorming and Critique with AI ↓ 如何通过实验实践头脑风暴、 内容生成和批判性评价？

最终总结：AI Critique 的核心价值，不只是让 AI 判断作品是否优秀，而是帮助用户发现具体问题、理解修改原因并持续改进。高阶用户应该学会使用明确的 Rubric，让 AI 提供有证据支持的反馈，同时通过实际测试了解不同模型的优势与局限。

参考资源

1. 吴恩达《给所有人的人工智能提示词课程|AI Prompting for Everyone》DeepSeek-v4-pro翻译
2. DeepLearning.AI — AI Prompting for Everyone 官方课程
3. Full AI Prompting Course with Andrew Ng — 公开英文转写稿

课程 Slides