Hy-MT2-Lite

将 hy-mt2-lite 的 max_tokens 设置为任务实际需要的最长响应长度，而不是 4,000 的 Token 上限。严格控制上限可以降低最坏情况下的开销并缩短尾延迟。仅当任务明显需要更长的输出时才提高此值。

对 hy-mt2-lite 的缓存命中要求所有请求的提示符前缀必须相同。请将稳定的指令和参考资料放在提示符的开头，保持字节一致，并将可变部分放在后面。这样，缓存读取操作将按缓存速率计费，而不是按输入速率计费。

当前模型记录未公布 Hy-MT2-Lite 的数值 rate limit。请在控制台中确认您的套餐配额，然后在预期并发数下运行一次短期负载测试，以确定实际上限后再进行生产。

Hy-MT2-Lite 按使用量计费，记录中未公布任何免费额度。当前公布的费率为：输入 $0.0440 / 1M 个 token，输出 $0.1770 / 1M 个 token。试用额度或促销配额与您的帐户绑定，而非与模型绑定，因此在规划免费额度之前，请务必查看控制台。

hy-mt2-lite 单次请求最多输出 4,000 个 token，context window 为 8,000。用 max_tokens 设上限，避免单次调用超出预算。