Subquadratic создала механизм sparse attention, который сопоставим с трансформерами в задачах поиска и кодирования. Manifest AI адаптировала StarCoder в PowerCoder и разработала Brumby, который конкурирует с моделью Qwen.
Стартапы ищут следующий прорыв в LLM
Два стартапа предлагают альтернативы трансформерам: Subquadratic разработала механизм sparse attention, сопоставимый с трансформерами в поиске и кодировании, а Manifest AI создала PowerCoder и Brumby.
Источник: technologyreview.com
Открыть в ArenaPulse