Как снизить расходы на ChatGPT API

1. Подключитесь к ChatGPT API

Вместо официального OpenAI API подключите ChatGPT API. Вы продолжите использовать те же модели, промпты и объём токенов, но будете платить на 50% меньше. Для перехода достаточно получить наш API-ключ и заменить endpoint.

2. Подбирайте модель под сложность задачи

Не отправляйте классификацию, извлечение полей и простые преобразования в самую дорогую модель. Проверяйте качество на собственном наборе примеров и используйте более мощную модель только для задач, где она действительно улучшает результат.

const model = task.requiresDeepReasoning
  ? "gpt-5.6-sol"
  : "gpt-5.4-mini";

const res = await client.chat.completions.create({
  model,
  max_completion_tokens: task.requiresLongAnswer ? 1200 : 300,
  messages,
});

3. Сокращайте повторяющийся контекст

Не отправляйте всю историю диалога и все документы при каждом запросе. Оставляйте релевантные фрагменты, сводку предыдущих сообщений и инструкции, необходимые для текущего шага.

−75% входных токенов в этом примере

4. Используйте prompt caching

Держите стабильные инструкции в начале, а переменные данные — в конце. Для GPT-5.6 задайте prompt_cache_key и явную точку кеширования после повторяемого префикса длиной не менее 1 024 токенов. Учитывайте не только дешёвые cache reads, но и cache writes по ставке 1,25× от обычного ввода: кеш выгоден, когда префикс действительно переиспользуется.

const res = await client.chat.completions.create({
  model: "gpt-5.6-sol",
  max_completion_tokens: 500,
  prompt_cache_key: "support-policy-v1",
  prompt_cache_options: { mode: "explicit" },
  messages: [
    {
      role: "system",
      content: [{
        type: "text",
        text: policyAndInstructions,
        prompt_cache_breakpoint: { mode: "explicit" },
      }],
    },
    { role: "user", content: relevantChunks.join("\n\n") },
  ],
});

Официальная документация OpenAI по prompt caching ↗

5. Ограничивайте длину ответа

Задавайте реалистичный max_completion_tokens и просите модель отвечать в нужном формате. Этот лимит включает видимые и reasoning-токены. Потоковая выдача улучшает время до первого токена, но сама по себе не уменьшает число оплачиваемых токенов.

const stream = await client.chat.completions.create({
  model: "gpt-5.6-sol",
  max_completion_tokens: 300, // cap, including reasoning tokens
  stream: true,
  stream_options: { include_usage: true },
  messages: [
    { role: "system", content: "Return only compact JSON with fields summary and risk_level. No Markdown." },
    ...messages,
  ],
});

for await (const chunk of stream) {
  if (chunk.usage) console.log(chunk.usage.completion_tokens); // billed output tokens
}

6. Держите повторные запросы под контролем

Повторяйте только временные ошибки и используйте exponential backoff. Не перезапускайте успешный запрос из-за ошибки в интерфейсе или таймаута собственного сервиса.