AI on Yun 的个人博客

AI 功能上线前检查清单

Mon, 18 May 2026 12:20:00 +0800

AI 功能很容易在演示阶段看起来不错，但上线后遇到长尾输入、成本波动、上下文缺失和不可复现问题。上线前需要把这些风险尽量显性化。

先确认模型能看到完成任务所需的信息：

至少准备一组代表性样例，覆盖正常输入、边界输入和失败输入。日志要能回答：用了什么提示词、传了什么上下文、模型返回了什么、最终是否被用户接受。

AI 功能必须允许失败。失败时应该给出可理解的提示，必要时回退到人工处理、传统规则或安全默认值。

AI 工程化的重点不是让模型永远正确，而是让系统在模型不稳定时仍然可诊断、可回退、可持续改进。

Mon, 18 May 2026 12:10:00 +0800

提示词不是越长越好，而是越清楚越好。一个稳定的提示词应该让模型知道要完成什么、依据什么、不能做什么，以及结果如何判断。

可以从这个结构开始：

目标：
上下文：
输入：
约束：
输出格式：
验收标准：

如果任务需要多轮完成，还可以补充“先做什么、后做什么、什么时候停下来问问题”。

“请认真一点”这类表达很难约束行为。更有效的是明确边界，例如不要修改无关文件、必须引用来源、先运行测试、输出必须包含失败原因。

好的提示词像一份小型任务说明。它不替代判断，但能显著减少误解和返工。

Mon, 18 May 2026 12:00:00 +0800

选择 AI 模型时，不要只看模型名字或排行榜。真正重要的是任务需要什么能力：理解长上下文、写代码、总结资料、调用工具、推理规划，还是快速生成草稿。

一个简单的判断方式是先区分任务类型：

上下文窗口越大，不代表效果一定越好。长上下文任务要关注模型能否抓住关键约束，以及是否会忽略早期信息。

对于长文档或代码库，最好先组织结构化上下文，再让模型执行具体任务。

模型选择应该用自己的任务做小型评估。比如博客写作可以比较标题、结构、事实准确性和可读性；代码任务可以比较测试通过率、改动范围和解释质量。

模型选择不是一次性决定。随着任务、成本和工具链变化，模型策略也应该定期复盘。