Как работать с ChatGPT API

Из чего состоит запрос

Запрос это массив сообщений. У каждого своя роль, и модель читает их по порядку. Роли определяют, что модель считает инструкцией, а что репликой собеседника.

system

Инструкция, которая задаёт поведение на весь диалог: тон, формат ответа, ограничения. Ставится первой и не меняется от реплики к реплике.

user

Сообщение пользователя. То, на что модель отвечает прямо сейчас.

assistant

Предыдущие ответы самой модели. Нужны, чтобы она помнила, что уже говорила.

curl https://api.llm-gate.tech/v1/chat/completions \
  -H "Authorization: Bearer $CHATGPT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-6.1-sol",
    "messages": [
      { "role": "system", "content": "Отвечай кратко, по-русски." },
      { "role": "user", "content": "Что такое токен?" }
    ]
  }'

Как вести диалог

API не хранит состояние между запросами. Модель не помнит ничего из прошлого вызова, поэтому историю диалога вы отправляете заново каждый раз: системную инструкцию, все прошлые реплики и новый вопрос. Ответ модели добавляете в массив сами, иначе на следующем шаге она его не увидит.

messages = [
    {"role": "system", "content": "Отвечай кратко, по-русски."},
    {"role": "user", "content": "Что такое токен?"},
    # ответ модели возвращаем обратно в массив
    {"role": "assistant", "content": "Токен это кусок текста примерно в 4 символа."},
    {"role": "user", "content": "А сколько их в слове «программирование»?"},
]

response = client.chat.completions.create(
    model="gpt-6.1-sol",
    messages=messages,
    max_completion_tokens=300,
)

История растёт, а вместе с ней растёт счёт: вы платите за все входные токены при каждом запросе. На длинных диалогах обрезайте старые реплики или сжимайте их в краткое резюме.

Стриминг: ответ по мере генерации

По умолчанию ответ приходит целиком, когда модель договорила. На длинных ответах это выглядит как зависание на десятки секунд. Со стримингом текст идёт кусками сразу, как в веб-интерфейсе ChatGPT.

stream = client.chat.completions.create(
    model="gpt-6.1-sol",
    messages=messages,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="", flush=True)

• Чат-интерфейсы, где пользователь ждёт ответ и смотрит на экран
• Длинные ответы: тексты, код, разборы
• Не нужен для фоновых задач: классификации, извлечения полей, обработки по расписанию

Параметры, которые реально влияют

Их больше, но на практике вы будете трогать эти четыре. Остальные имеют смысл в редких сценариях.

Ошибки и что они значат

Код ответа говорит, чья это проблема и надо ли повторять запрос. Половина ошибок лечится ретраем, половина нет.

Ретраи с нарастающей задержкой

Повторять сразу бессмысленно: при лимите вы просто получите ту же ошибку и потратите квоту. Увеличивайте паузу с каждой попыткой и ограничьте их число. Официальные SDK так умеют из коробки, но если ходите в API напрямую, схема такая.

import time

for attempt in range(5):
    try:
        response = client.chat.completions.create(
            model="gpt-6.1-sol",
            messages=messages,
            max_completion_tokens=300,
        )
        break
    except Exception:
        if attempt == 4:
            raise
        time.sleep(2 ** attempt)  # 1, 2, 4, 8 секунд

Как не переплачивать

Счёт растёт не от числа запросов, а от объёма токенов. Четыре вещи, которые дают основную экономию.

Частые вопросы