GPT-4o

gpt-4oはカタログ上でgpt-4o-2024-08-06、gpt-4o-2024-05-13、gpt-4.1-nanoと並んで表示されます。請求額とユーザーエクスペリエンスに影響を与える要素、つまり、独自のプロンプトでのタスク品質、同時実行時のレイテンシ、コンテキストと出力の制限、トークン単位ではなく完了したタスク単位のコストについて比較してください。

gpt-4o のプロンプトキャッシュでは、標準入力の場合、$2.50／100万トークン ではなく $1.25／100万トークン でキャッシュされた入力が課金されます。この節約はキャッシュされたプレフィックスのみに適用され、リクエストの残りの部分は通常どおり課金されます。

gpt-4o のキャッシュヒットには、リクエスト間で同一のプロンプトプレフィックスが必要です。安定した命令と参照資料をプロンプトの先頭に配置し、バイト単位で同一に保ち、変更される部分をその後に記述してください。こうすることで、キャッシュされた読み取りは入力レートではなくキャッシュレートで課金されます。

GPT-4oは使用量に応じて課金され、レコードには無料枠の割り当ては記載されていません。現在の公開レートは、入力$2.5000/1Mトークン、出力$10.0000/1Mトークンです。トライアルクレジットまたはプロモーション割り当てはモデルではなくアカウントに紐づいているため、無料枠を考慮して計画を立てる前にコンソールを確認してください。

gpt-4o の max_tokens を、タスクが実際に必要とする最長の応答時間に設定してください。16,384 のトークン上限値に設定しないでください。上限値を低く抑えることで、最悪の場合のコストを削減し、テールレイテンシを短縮できます。明らかに長い出力が必要なタスクの場合にのみ、上限値を上げてください。

gpt-4oは、128,000トークンのコンテキストウィンドウ内で、リクエストごとに最大16,384個の出力トークンを返します。max_tokensパラメータを使用してレスポンスを制限し、単一の呼び出しが予算を超えないようにしてください。