# Кеширование промптов

Платите меньше за повторяющееся начало промпта и смотрите кешированные токены в usage.

Многие провайдеры кешируют начало промпта: если следующий запрос начинается с тех же токенов, они читаются из кеша по более низкой цене.

## Автоматическое кеширование

Большинство провайдеров кешируют длинные префиксы сами. Чтобы это работало на вас:

- ставьте то, что не меняется (системный промпт, инструкции, документы, описания инструментов), в начало, а то, что меняется, — в конец;
- отправляйте повторные запросы с интервалом в несколько минут: кеш быстро истекает.

## Явные точки кеширования

Некоторые модели кешируют только помеченные части. Добавьте `cache_control` к текстовой части содержимого; роутер передает его провайдеру как есть:

```json
{
  "role": "system",
  "content": [
    { "type": "text", "text": "You are a support agent. Here is the product manual: …", "cache_control": { "type": "ephemeral" } }
  ]
}
```

Запись в такой кеш может стоить дороже обычного входа, а чтение — дешевле. Точка кеширования полезна только для промптов, которые вы повторяете.

## Что попало в кеш

- `usage.prompt_tokens_details.cached_tokens`: входные токены, прочитанные из кеша.
- `GET /api/v1/models` возвращает цену чтения из кеша за токен в `pricing.input_cache_read`.
- Логи в кабинете показывают кешированные токены каждого вызова.

`usage.cost` уже учитывает скидку за кеш.