所有人都知道 LLM 会犯错,但没人因此停下来。
赌注很简单:AI 会越来越聪明,聪明到这些问题自己消失。
整个行业都在等一件事:
可信的 AI。
但即使 AI 完全可信,没有边界的智能体仍然是隐患。
潜在的威胁。
周二凌晨
你有一个能独立部署、监控、修故障的运维 agent,某天凌晨它觉得重建生产索引能解决慢查询就直接做了,结果三个下游服务挂了。
半年后
你跑着十几个 agent,某天一个配置文件被改了。每个 agent 都说自己的任务正常完成,但你不知道是谁改的也没办法查。
周四下午
你的 agent 在写分析报告时发现数据不够,就自己去调了其他团队的 API 和代码仓库。报告写得很好但这些数据源没有一个是你授权过的。
这些 agent 都很聪明,但没人管它们。
如果答案不在于写更好的 prompt?
不是「拒绝访问」。
而是「不可见」。
未授权的 agent 不会收到报错,它压根不知道那个工具存在。
"在它的世界里,没有东西可以调用。"
这不是理念,这是工程。
LLM 之前
过滤工具列表,看不见的就无法调用。
LLM 之后
校验每个参数,超出范围一律拒绝。
每个接缝默认关闭。解析失败返回空列表,校验失败直接拒绝。
当越权在结构上不可能发生,这就不再是信任问题。
而是物理问题。
自然人
Agent
🪪 身份证
身份
⚖️ 法律法规
权限
🔑 门禁卡
凭据
💰 薪资预算
Token 预算
📋 行为记录
审计记录
🧠 记忆
记忆
同一组数据,从两个方向展开,都能自洽。
两个位面的重合。
把所有约束加在一起:身份、授权、凭据、预算、审计,你会发现这和管理员工的方式完全同构。
权限不清晰的 agent,你不敢让它碰生产环境。
没有预算边界的 agent,你不敢月底看账单。
但当这些都有了,你才敢放手。
治理的目的
从来不是限制。
是让你有资格放手。