o3-mini

将 o3-mini 的 max_tokens 设置为任务实际需要的最长响应长度，而不是 100,000 的 Token 上限。严格控制上限可以降低最坏情况下的开销并缩短尾延迟。仅当任务明显需要更长的输出时才提高此值。

是的。o3-mini 可通过 OpenAI 兼容的端点访问，因此现有的 OpenAI SDK 客户端在将基本 URL 指向 MixRoute 并将模型参数设置为 o3-mini 后即可正常工作。请保留您当前的请求和响应处理方式。

在将生产流量切换到 o3-mini 之前，请先在具有代表性的流量样本上运行试点，并检查输出质量、峰值并发时的延迟以及每次请求的成本。验证错误和重试行为，并确认您所依赖的请求限制与您的计划相符。

对于标准输入，在 o3-mini 上启用提示缓存后，缓存的输入数据会存储在 $0.55／100 万 Token 而不是 $1.10／100 万 Token。这种节省仅适用于缓存的前缀部分；请求的其余部分仍按正常方式计费。

是的。o3-mini 支持函数调用和结构化输出。它不包含视觉处理功能。请使用您特定的工具定义和 JSON 模式进行测试。

o3-mini rate limit 因您的 MixRoute 订阅计划而异。请在控制台中查看您的计划详情，了解每分钟请求数 (RPM) 和每分钟 Token 数 (TPM) 的限制。在正式上线前运行一次小规模负载测试，以确认您的有效配额。

对 o3-mini 的缓存命中要求所有请求的提示符前缀必须相同。请将稳定的指令和参考资料放在提示符的开头，保持字节一致，并将可变部分放在后面。这样，缓存读取操作将按缓存速率计费，而不是按输入速率计费。