AWS Machine Learning Blog· Claudio Mazzoni·· 4 小时前AI 评分34
AI 智能体的“土拨鼠日”：在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
Amazon Bedrock 的提示词缓存可让 AI 智能体复用已处理的输入前缀，避免每轮重复计费。缓存分隐式与显式两种：隐式由 Bedrock 自动选择可复用前缀，显式通过 prompt_cache_breakpoint 标记边界，可复用前缀需达到 1,024 tokens；测试中约 4,000 tokens 的工具与指令前缀首轮写入 4,120 tokens，后续请求直接读取。
来源：AWS Machine Learning Blog · aws.amazon.com