Пользователь donseo установил, что при одинаковой цене за токен обработка одного и того же русского текста в Claude Opus 5 требует в 3,9 раза больше токенов, чем в GPT-5.5. Исследование показало, что русский текст в нейросетях токенизируется по-разному, что приводит к существенной переплате. В ходе эксперимента donseo сравнил 11 популярных нейросетей, включая российские GigaChat и YandexGPT, и выяснил, что для русского языка разброс в количестве токенов между моделями значительно выше, чем для английского.
Автор исследования отметил, что токенизаторы в основном обучались на английском языке, поэтому для него результаты у разных моделей примерно одинаковы. В то же время для русского языка разница в токенизации может быть очень существенной, как в случае с Claude Opus 5, где почти каждая буква становится отдельным токеном.