Опубликовано по адресу: 6 апреля 2025 года / Обновление с: 6 апреля 2025 г. - Автор: Конрад Вольфенштейн
Meta публикует New Llama 4 Scout, Maverick и Behemoth-Image: Xpert.Digital
Llama 4: Новое поколение систем Open AI от Meta
Llama 4 раскрыл: Metas Key к следующему возрасту AI
5 апреля 2025 года Meta представила последнее поколение своих моделей ИИ, Llama 4. Эти новые модели представляют собой значительный прогресс в разработке открытых систем ИИ и выполняют ряд новаторских функций, которые значительно повышают их производительность и эффективность. Серия Llama 4 состоит из разных моделей, причем две из них уже общедоступны, в то время как самая мощная модель все еще находится на этапе обучения.
Подходит для:
Семья модели Llama 4
Meta разработала три разные модели в серии Llama 4, каждая из которых оптимизирована для разных приложений:
Llama 4 Scout
Llama 4 Scout - компактная модель с впечатляющими техническими характеристиками:
- 17 миллиардов активных параметров с 16 экспертами (в общей сложности 109 миллиардов параметров)
- Может работать на одном графическом процессоре NVIDIA H100 с квантованием Int4
- Имеет удивительно большое контекстное окно в 10 миллионов токенов, что делает его одной из первых открытых моделей с этой способностью
Согласно Meta, Scout превышает другие модели в своем классе, такие как Gemini 3, Gemini 2.0 Flash-Lite и Mistral 3.1. Это особенно подходит для таких задач, как сводка длинных документов, персонализация, основанная на пользовательских данных и сложные выводы о больших объемах знаний.
Лама 4 Маверик
Llama 4 Maverick - более мощный из двух доступных моделей:
- 17 миллиардов активных параметров с 128 экспертами (в общей сложности 400 миллиардов параметров)
- Экспериментальная версия чата достигла ELO 1417 на Lmarena
- Превышает такие модели, как GPT-4O и Gemini 2.0 Flash в многочисленных тестах
Эта модель особенно подходит для общей помощи и приложений в чате, таких как творческое письмо, и показывает результаты, которые сопоставимы с DeepSeek V3 в задачах рассуждения и кодирования, но с половиной параметров.
Лама 4 Бегемот
Llama 4 Бегемот - самая мощная модель Metas, которая еще не доступна:
- 288 миллиардов активных параметров с 16 экспертами (в общей сложности почти 2 триллиона параметров)
- Согласно Meta, он превышает GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro для нескольких тестов STEM
- Служит «моделью учителя» для меньших моделей Llama 4
Бегемот в настоящее время все еще находится на этапе обучения и будет опубликован позже.
Технические инновации
Модельная серия Llama 4 представляет несколько важных технических инноваций, которые повышают их производительность и эффективность:
Смесь экспертов (MOE) архитектура
Одним из наиболее важных инноваций в Llama 4 является смесь архитектуры экспертов (MOE), в которой только часть параметров модели активируется для каждого токена:
- Это значительно уменьшает усилия и задержку расчета, в то время как высокая производительность сохраняется
- В Llama 4 Maverick каждый токен обрабатывается общим экспертом и одним из 128 гереированных экспертов
- Эта архитектура позволяет увеличить общий параметр модели без увеличения затрат на вывод
Нативная мультимодальность с ранним слиянием
Llama 4 - первая открытая модель с нативной мультимодальностью по раннему слиянию:
- Токены текста и изображения интегрированы в единую архитектуру модели
- Это обеспечивает совместное предварительное обучение с большим количеством текста, изображений и видеодантеров
- В отличие от Llama 3.2, которая использовала отдельные параметры для текста и изображений, Llama 4 понимает оба модальности, используемые с одинаковыми параметрами
Чрезвычайно длинное окно контекста
Чрезвычайно длинное окно контекста Llama 4 Scout особенно впечатляет:
- С 10 миллионами токенов это явно превышает большинство доступных моделей
- Это позволяет обрабатывать очень длинные документы, целые кодовые базы или обширные разговоры
- Архитектура IROPE (чередованные слои внимания) делает это возможным
Новые методы обучения
Meta использовала несколько инновационных методов обучения Llama 4:
- METAP: метод для надежной координации критической модели гипераметра
- Точность FP8: использование 8-битных чисел, сделанных слайдами, для эффективного обучения
- Совместная дистилляция: использование Llama 4 Behemoth в качестве модели учителя для небольших моделей
- Полностью асинхронное онлайн-обучение с подкреплением: новая инфраструктура для крупномасштабного обучения
Доступность и интеграция
Модели Llama 4 доступны через различные платформы и услуги:
Скачать и облачный провайдер
- Модели скаутов и индивидуалика могут быть загружены непосредственно с Meta или через обнимающееся лицо
- Они также доступны через различные облачные платформы:
- Работники Cloudflare AI
- Azure Ai Foundry и Dazure Databricks
- Google Cloud Vertex Ai
- Другие партнеры последуют в ближайшие дни
Интеграция в метапродукцию
Meta уже обновила своих помощников по ИИ на различных платформах на Llama 4:
- WhatsApp, Messenger и Instagram Direct в 40 разных странах
- Веб -сайт Meta.ai
- Тем не менее, мультимодальные функции в настоящее время доступны только для английских пользователей в США в США.
Подходит для:
Лицензия и споры
Хотя Meta Llama 4 относится к «открытому исходному коду», в лицензии есть некоторые ограничения, вызвавшие противоречие:
Ограничения лицензии
Лицензия сообщества Llama 4 содержит несколько ограничений:
- Компаниям с более чем 700 миллионами ежемесячных активных пользователей нужна специальная лицензия от Meta
- Моделям, по -видимому, не разрешено использовать или распространять пользователей и компании из ЕС, предположительно из -за нормативных требований
- Существуют требования, касающиеся именования и атрибуции для производных моделей
Дебаты о «открытом исходном коде»
Существуют дебаты о том, следует ли называть Llama 4 на самом деле «с открытым исходным кодом»:
- Инициатива с открытым исходным кодом обнаружила в 2023 году, что ограничения в лицензии Llama выведут его «из категории« От открытого исходного кода »»
- Критики утверждают, что это скорее модель «откровение источника» или «с открытыми весами», чем реальное программное обеспечение с открытым исходным кодом
- Ограничения лицензии могут быть проблематичными для небольших компаний без собственных юридических отделов
Планы на будущее
Мета уже дал некоторое представление о своих будущих планах на ламу 4 и далее:
Llamacon и другие объявления
- Meta будет организовать первую конференцию Lmamacon 29 апреля 2025 года, в которой должны быть объявлены дополнительные подробности о ее моделях ИИ и планах продуктов
- Компания также планирует опубликовать выделенное приложение для своего бота мета-чата во втором квартале
Расширение языковых навыков
- Meta работает над улучшением языковых навыков Llama 4, чтобы обеспечить более естественные разговоры
- Цель состоит в том, чтобы включить более плавные двусторонние диалоги, в которых пользователи могут прервать модель ИИ
- Крис Кокс, директор по продукту Meta, описал предстоящий Llama 4 как «модель Omni», которая позволяет нативно -тому языку вместо перевода языка в текст
Агент ИИ и расширенные навыки
- Марк Цукерберг объявил, что у Llama 4 будет «навыки агента», которые должны обеспечить новые приложения
- Мета направлена на разработку моделей искусственного интеллекта, которые «осуществляют обобщенные действия, конечно, общаются с людьми и решают сложные проблемы»
- Компания рассматривает возможность предложения подписки премиум -класса для своего помощника по искусственному интеллекту для агентских целей, таких как бронирование или видеопроизводство
Почему Llama 4 является поворотным моментом в ландшафте ИИ
Публикация Llama 4 представляет собой значительный шаг в стратегии METAS, чтобы стать ведущей областью генеративного ИИ в высококонкурентной области. С введением смеси архитектуры экспертов, нативной мультимодальности и впечатляюще длинного контекстного окна, Meta показывает, что открытые модели могут не отставать от проприетарных моделей крупных технологических компаний.
Несмотря на споры о лицензировании и вопрос о том, действительно ли Llama 4 действительно назвать «открытым исходным кодом», технический прогресс является важной вехой. Способность моделей обрабатывать как текст, так и изображения открывает новые возможности для разработчиков и компаний.
Благодаря выдающемуся бегемоту Llama 4 и объявленным планам расширенных языковых и агентских навыков, ясно, что Meta еще больше усилит свои инвестиции в ИИ. В ближайшие месяцы покажут, как эти новые модели изменяют ландшафт ИИ и, как, как предсказано Марком Цукербергом, они фактически помогут сделать открытые модели ИИ в области искусственного интеллекта.
Подходит для:
Ваш глобальный партнер по маркетингу и развитию бизнеса
☑️ Наш деловой язык — английский или немецкий.
☑️ НОВИНКА: Переписка на вашем национальном языке!
Конрад Вольфенштейн
Я был бы рад служить вам и моей команде в качестве личного консультанта.
Вы можете связаться со мной, заполнив контактную форму или просто позвоните мне по телефону +49 89 89 674 804 (Мюнхен) . Мой адрес электронной почты: wolfenstein ∂ xpert.digital
Я с нетерпением жду нашего совместного проекта.
