AI 功能上线前检查清单

整理 AI 功能上线前需要检查的数据、提示词、评测、成本、日志和失败兜底。

为什么需要检查清单

AI 功能很容易在演示阶段看起来不错,但上线后遇到长尾输入、成本波动、上下文缺失和不可复现问题。上线前需要把这些风险尽量显性化。

数据和上下文

先确认模型能看到完成任务所需的信息:

  • 数据来源是否可靠
  • 上下文是否过长或过少
  • 用户隐私和敏感信息是否被保护
  • 引用或检索结果是否可追溯

评测和日志

至少准备一组代表性样例,覆盖正常输入、边界输入和失败输入。日志要能回答:用了什么提示词、传了什么上下文、模型返回了什么、最终是否被用户接受。

失败兜底

AI 功能必须允许失败。失败时应该给出可理解的提示,必要时回退到人工处理、传统规则或安全默认值。

小结

AI 工程化的重点不是让模型永远正确,而是让系统在模型不稳定时仍然可诊断、可回退、可持续改进。

使用 Hugo 构建
主题 StackJimmy 设计