Byte Language Models: трансформеры без токенизаторов

Исследователи изучили, могут ли стандартные Transformer-архитектуры без специализированных токенизаторов эффективно обрабатывать текст на уровне байтов. Работа показывает, что плоские Transformer-модели способны работать с сырыми байтовыми последовательностями и при увеличении числа параметров обгоняют традиционные субтокенные модели. Это противоречит распространённому мнению, что байтовые последовательности слишком длинные и потому вычислительно неэффективны.

Ключевая идея в том, что дополнительная длина последовательности — не дефект, а ресурс. Типичный субтокен содержит около четырёх байтов, поэтому байтовая модель обрабатывает примерно в четыре раза больше позиций при том же бюджете параметров. Авторы утверждают, что это даёт дополнительную вычислительную мощность, которую можно использовать. Для обучения применяются token-superposition training и хеш-эмбеддинги, что позволяет байтовым Transformer стабильно превосходить субтокенные аналоги по мере роста размера модели.

В работе также исследуется, как байтовая модель формирует абстракции, которые обычно обеспечивает токенизатор. Оказалось, что модель учится выделять позиции, похожие на границы сегментов, и собирать локальные контекстные представления. Ограничение до 25% промежуточных слоёв только этими локальными представлениями не ухудшает качество на нижестоящих задачах. Это говорит о том, что иерархия «локальная абстракция — глобальное рассуждение» может возникать неявно, без специальных архитектур вроде BLT или H-Net.

Дополнительно авторы изучили распределение сложности генерации по байтам. Байтовые модели демонстрируют гораздо большую дисперсию потерь: многие позиции имеют почти нулевую ошибку, а высокая неопределённость сосредоточена вблизи границ выученных локальных структур. Это позволило применить спекулятивное декодирование и получить в 3,4 раза больше принятых токенов, чем у субтокенных моделей.

На downstream-задачах, требующих тонкого восприятия, байтовые Transformer показали значительный рост: около 40% относительного улучшения по метрике CUTE и 20% по OCRBench. При фиксированном бюджете FLOPs оптимальное соотношение данных и параметров для байтовых моделей оказывается в 1,5–3 раза выше, чем для субтокенных. Это указывает на новый взгляд на длину последовательности как на полезную ось масштабирования.

Авторы подчёркивают, что их результаты поддерживают простую идею: байтовые последовательности дают дополнительную вычисления, а модель может сама выучивать локальные абстракции вместо фиксированного токенизатора. Это связывает длину последовательности, обучение абстракциям и распределение вычислений в единую перспективу для будущего дизайна языковых моделей.