Gemma 4 EAGLE3: ускорение инференса в 1.72 раза с помощью Draft Head

Google представила Gemma 4 2 апреля. Через пять дней? Hugging Face выпускает EAGLE3. Эта легковесная draft-головка сокращает время инференса до 1.72x на MT-Bench — с 49.7 до 85.4 токенов в секунду. Взгляните, мультимодальные возможности Gemma 4 — seamless обработка текста и изображений — делают её настоящим зверем для создателей контента. Но медленный локальный запуск портил всю малину. EAGLE3 это исправляет. Создатели теперь создают генеративные сцены быстрее, без зависимости от облака. Вот в чём соль: open-source несётся на warp-скорости. Закрытые модели вроде Sora? Всё ещё ползают.

Speculative decoding угадывает наперёд. Draft-головка предлагает токены. Основная модель принимает или отвергает. Бум — скорость без потери качества. EAGLE3 объёмом ~277 МБ справляется с гибридным attention Gemma 4. Исправляет баги dual KV cache из предыдущих версий. Обучена с высоким acceptance rate для надёжного буста. Развёртывается на одном GPU. Без лишних заморочек с железом. Бенчмарки? MT-Bench взлетает в 1.72x. Задачи по кодированию показывают похожий прирост. Как указано в блоге Hugging Face. Неожиданный поворот: работает из коробки через Docker.

Быстрее инференс — значит локальные установки Gemma 4 летают. Рабочие процессы с изображениями и текстом? Теперь молниеносные. Больше не ждёте минуты на одну генерацию. Затраты падают — ваш счёт за электричество скажет спасибо. Приватность на пике. Держите чувствительные мультимодальные проекты на устройстве. Я заметил, как создатели бросают облака именно по этой причине. Ускорители мультимодального инференса вроде EAGLE3 для Gemma 4 делают обработку текста и изображений сверхбыстрой локально, питая более эффективные NSFW-генераторы видео с точным контролем и приватностью. Горячее мнение: проприетарные API не дотягивают до такой гибкости.