Разработан Gigatoken — токенизатор BPE на языке Rust с лицензией MIT. На тестовой платформе с 144-ядерным процессором AMD EPYC 9565 он достиг скорости обработки текста 24.53 GB/s при кодировании для GPT-2.
Производительность Gigatoken в 989 раз превышает аналогичные показатели библиотеки HuggingFace и в 681 раз — библиотеки tiktoken. Ускорение достигнуто за счет ручной реализации SWAR pretokenizer и кэширования pretoken, а не за счет оптимизации BPE merge loop.