Это третья часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. В предыдущих частях автор обучил токенизатор, собрал pretrain-датасет и реализовал класс Трансформер-блока.
В данной части Владимир будет собирать и предобучать разработанную LLM. Статья является продолжением цикла, посвященного созданию модели для вселенной Warhammer 40k.