Кеширование промптов

Многие провайдеры кешируют начало промпта: если следующий запрос начинается с тех же токенов, они читаются из кеша по более низкой цене.

Автоматическое кеширование

Большинство провайдеров кешируют длинные префиксы сами. Чтобы это работало на вас:

• ставьте то, что не меняется (системный промпт, инструкции, документы, описания инструментов), в начало, а то, что меняется, — в конец;
• отправляйте повторные запросы с интервалом в несколько минут: кеш быстро истекает.

Явные точки кеширования

Некоторые модели кешируют только помеченные части. Добавьте cache_control к текстовой части содержимого; роутер передает его провайдеру как есть:

{
  "role": "system",
  "content": [
    { "type": "text", "text": "You are a support agent. Here is the product manual: …", "cache_control": { "type": "ephemeral" } }
  ]
}

Запись в такой кеш может стоить дороже обычного входа, а чтение — дешевле. Точка кеширования полезна только для промптов, которые вы повторяете.

Что попало в кеш

• usage.prompt_tokens_details.cached_tokens: входные токены, прочитанные из кеша.
• GET /api/v1/models возвращает цену чтения из кеша за токен в pricing.input_cache_read.
• Логи в кабинете показывают кешированные токены каждого вызова.

usage.cost уже учитывает скидку за кеш.