TikTok SRE 技术负责人：AI Agents 说到底就是分布式系统

TikTok 站点可靠性工程师 Salman Munaf 指出，AI Agent 已从单纯的 LLM 调用演变为分布式系统，需运用分布式系统思维构建。核心观点包括：AI Agent 成为外部系统协调器后，系统边界和风险面改变。影响行动的上下文即状态，易过期、冲突，应将记忆当作可失效且带来源信息的缓存处理。无害模型具备执行不安全操作的能力后会变危险。需全面记录 Agent 的每一步决策依据与动作，而非仅靠日志。他还提到，AI Agent 是概率性协调器，其循环的规划、行动、观察等步骤均跨越系统边界，每一步都需持久化并明确事务边界。针对工具调用的失败模式，需设置请求 ID、幂等键及状态查询机制，同时通过限制重试次数、设置指数退避等避免重试风暴。此外，要为 Agent 限定权限，设置预算与费率限制，完善可观测性，确保能约束、观察 Agent 行为并从错误中恢复，明确系统对 Agent 犯错的容忍程度。