GLM-4-AirX

glm-4-airxはカタログステータスstableで登録されています。長期的な統合を構築する前に、モデルページで非推奨に関する通知を確認してください。

GLM-4-AirXは使用量に応じて課金され、レコードには無料枠の割り当ては記載されていません。現在の公開レートは、入力$1.4286/1Mトークン、出力$1.4286/1Mトークンです。トライアルクレジットまたはプロモーション割り当てはモデルではなくアカウントに紐づいているため、無料枠を考慮して計画を立てる前にコンソールを確認してください。

本番環境のトラフィックをglm-4-airxに切り替える前に、トラフィックの代表的な部分でパイロットテストを実行し、出力品質、同時接続ピーク時のレイテンシ、リクエストあたりのコストを確認してください。エラーと再試行の動作を確認し、依存するリクエスト制限がプランと一致していることを確認してください。

glm-4-airx の max_tokens を、タスクが実際に必要とする最長の応答時間に設定してください。4,095 のトークン上限値に設定しないでください。上限値を低く抑えることで、最悪の場合のコストを削減し、テールレイテンシを短縮できます。明らかに長い出力が必要なタスクの場合にのみ、上限値を上げてください。

glm-4-airx のキャッシュヒットには、リクエスト間で同一のプロンプトプレフィックスが必要です。安定した命令と参照資料をプロンプトの先頭に配置し、バイト単位で同一に保ち、変更される部分をその後に記述してください。こうすることで、キャッシュされた読み取りは入力レートではなくキャッシュレートで課金されます。