Почему общаться с нейросетью на русском выходит дороже и как с этим работать

Когда я собираю клиентам агентов и ботов на n8n и API, счёт за токены почти всегда выше прогноза, если весь диалог идёт на русском. Дело не в жадности провайдера. Дело в том, как модель режет текст на токены перед тем, как его обработать.

Что такое токен и почему это не буква и не слово

Нейросеть не читает текст буквами. Она режет его на кусочки, токены, и уже их превращает в числа для расчёта. Для английского токенизаторы обучены хорошо: один токен часто покрывает целое слово или слог, в среднем около 4-5 символов на токен.

С кириллицей так не выходит. У большинства токенизаторов на русский текст приходится примерно один токен на букву. Та же мысль, что в английском укладывается в один токен, в русском может потребовать трёх-четырёх.

Разница по цифрам, не на словах

Независимое тестирование токенизаторов (методология описана на dev.to, автор проверял через tiktoken и API моделей, опирался на более раннюю работу Petrov et al., NeurIPS 2023) дало конкретные множители для одного и того же смысла на двух языках:

Один технический текст из того же тестирования занял 327 токенов на английском и 872 токена на русском у Claude Opus 5. Это 2.67 раза на одном и том же смысле, без единого лишнего слова.

Почему так вышло

Две причины складываются вместе. Первая техническая: кириллица в UTF-8 кодируется двумя байтами на символ, латиница одним, и токенизатор это чувствует. Вторая про обучение: словарь токенизатора строится на корпусе текстов, а корпуса у крупных моделей смещены в сторону английского. Модель эффективно "знает" английские слова целиком, а русские ей приходится собирать по кусочкам.

Что это меняет на практике

Если Вы работаете в чате ChatGPT или Claude и просто переписываетесь, разница в деньгах не заметна. Она начинает иметь значение там, где текст на русском проходит через API много раз подряд.

Главный случай: агент или бот, который обрабатывает входящие сообщения через API и платит за каждый токен. При одинаковом объёме переписки русскоязычный бот обходится в полтора-три раза дороже в месяц, чем точно такой же на английском. Похожая история с длинным разговором в одном окне: контекстное окно у модели ограничено числом токенов, не числом слов, и русский диалог заполняет его быстрее, так что модель раньше начинает "забывать" начало разговора.

И отдельно стоят системные инструкции и шаблоны, которые модель читает при каждом запросе. Если инструкция агенту написана на русском и подгружается в каждый вызов, Вы платите тот же налог на кириллицу многократно, за один и тот же текст.

Как снизить расход без потери качества

В агентах, которые я собираю клиентам, системные инструкции и схемы данных я обычно пишу на английском, а финальный ответ клиенту модель всё равно формулирует на русском. Инструкция читается моделью на каждый вызов, и экономия токенов на этой части реально заметна в счёте за месяц.

Ещё момент: не пересылайте модели заново весь предыдущий текст, если нужно поправить один абзац. Просите точечную правку, а не полную перегенерацию, это тоже заметно снижает расход токенов на входе. А если работаете с длинным документом на русском, попросите модель сначала сжать его в тезисы, и дальше работайте с тезисами, а не с полным текстом в каждом новом сообщении.

Итог

Разница между русским и английским в токенах не мелочь и не миф из телеграм-канала, у неё есть опубликованная методология и конкретные числа по моделям. Для разового вопроса в чате это не критично. Для бота, агента или любой системы, которая считает токены на автомате, это прямая статья расходов, с которой можно и нужно работать.

Про то, как я собираю такие системы для экспертов и какие расходы в них реально заложены, пишу в канале «Растём с ИИ». Если считаете бюджет своего бота или агента и хотите разобрать его трезво, запишитесь на бесплатную консультацию.