Meta випускає нові серії моделей зі штучним інтелектом: Llama 4 Scout, Maverick та Behemoth – Зображення: Xpert.Digital
Llama 4: Нове покоління відкритих систем штучного інтелекту від Meta
Розкрито Llama 4: ключ Мети до наступної ери штучного інтелекту
5 квітня 2025 року компанія Meta представила останнє покоління своїх моделей штучного інтелекту, Llama 4. Ці нові моделі є значним кроком у розвитку відкритих систем штучного інтелекту та мають низку новаторських можливостей, які суттєво підвищують їхню продуктивність та ефективність. Серія Llama 4 складається з кількох моделей, дві з яких вже є загальнодоступними, тоді як найпотужніша модель все ще перебуває на стадії навчання.
Підходить для цього:
Сімейство моделей Llama 4
Meta розробила три різні моделі серії Llama 4, кожна з яких оптимізована для різних випадків використання:
Лама 4 Скаут
Llama 4 Scout – це компактна модель із вражаючими технічними характеристиками:
- 17 мільярдів активних параметрів з 16 експертами (загалом 109 мільярдів параметрів)
- Може працювати на одному графічному процесорі NVIDIA H100 з квантуванням Int4
- Він має надзвичайно велике контекстне вікно в 10 мільйонів токенів, що робить його однією з перших відкритих моделей з такою ємністю.
Згідно з Meta, Scout перевершує інші моделі у своєму класі, такі як Gemini 3, Gemini 2.0 Flash-Lite та Mistral 3.1. Він особливо добре підходить для таких завдань, як узагальнення довгих документів, персоналізація контенту на основі даних користувачів та формування складних висновків з великих обсягів знань.
Лама 4 Маверік
Llama 4 Maverick є потужнішою з двох доступних моделей:
- 17 мільярдів активних параметрів зі 128 експертами (загалом 400 мільярдів параметрів)
- Експериментальна версія чату досягла ELO 1417 на LMArena
- Згідно з Meta, він перевершує такі моделі, як GPT-4o та Gemini 2.0 Flash, у численних бенчмарках.
Ця модель особливо підходить для загальної допомоги та чат-додатків, таких як творче письмо, і показує результати, порівнянні з DeepSeek v3, у завданнях міркування та кодування, але з вдвічі меншими параметрами.
Лама 4 Бегемот
Llama 4 Behemoth — найпотужніша модель від Meta, але вона ще не доступна для широкого загалу:
- 288 мільярдів активних параметрів з 16 експертами (майже 2 трильйони параметрів загалом)
- Згідно з Meta, він перевершує GPT-4.5, Claude Sonnet 3.7 та Gemini 2.0 Pro в кількох STEM-тестах.
- Служить «моделлю для вчителя» для менших моделей Llama 4.
Бегемот зараз все ще перебуває на стадії тренувань і буде випущений пізніше.
Технічні інновації
Модельний ряд Llama 4 представлений кількома значними технічними інноваціями, які покращують його продуктивність та ефективність:
Архітектура змішаних експертів (Міністерство освіти)
Одним із найважливіших нововведень у Llama 4 є архітектура Mixture of Experts (MoE), в якій для кожного токена активується лише підмножина параметрів моделі:
- Це значно зменшує обчислювальні зусилля та затримку, зберігаючи при цьому високу продуктивність.
- У Llama 4 Maverick кожен токен обробляється спільним експертом та одним зі 128 маршрутизованих експертів.
- Така архітектура дозволяє збільшити загальні параметри моделі без збільшення витрат на логічний висновок.
Рідна мультимодальність з раннім злиттям
Llama 4 — це перша відкрита модель з власною мультимодальністю завдяки Early Fusion:
- Текстові та графічні токени інтегровані в єдину архітектуру моделі.
- Це дозволяє проводити спільне попереднє навчання з великими обсягами текстових, графічних та відеоданих.
- На відміну від Llama 3.2, яка використовувала окремі параметри для тексту та зображень, Llama 4 розуміє обидві модальності з однаковими параметрами.
Надзвичайно довге контекстне вікно
Надзвичайно довге контекстне вікно Llama 4 Scout особливо вражає:
- З 10 мільйонами токенів він значно перевершує більшість доступних моделей.
- Це дозволяє обробляти дуже довгі документи, цілі кодові бази або розгорнуті діалоги.
- Архітектура iRoPE (черезшарові шари уваги) робить це можливим.
Нові методи навчання
Meta використала кілька інноваційних методів для дресирування Лами 4:
- MetaP: Методика для надійного налаштування критичних гіперпараметрів моделі
- Точність FP8: Використання 8-бітних чисел з плаваючою комою для ефективного навчання
- Спільна дистиляція: Використання Llama 4 Behemoth як навчальної моделі для менших моделей
- Повністю асинхронне онлайн-навчання з посиленням: нова інфраструктура для масштабного навчання
Доступність та інтеграція
Моделі Llama 4 доступні на різних платформах та сервісах:
Постачальники послуг завантаження та хмарних послуг
- Моделі Scout та Maverick можна завантажити безпосередньо з Meta або через Hugging Face.
- Вони також доступні через різні хмарні платформи:
- Штучний інтелект працівників Cloudflare
- Azure AI Foundry та Azure Databricks
- Штучний інтелект Vertex від Google Cloud
- Більше партнерів підтримають нас найближчими днями.
Інтеграція в метапродукти
Meta вже оновила своїх помічників зі штучним інтелектом до Llama 4 на різних платформах:
- WhatsApp, Messenger та Instagram Direct у 40 різних країнах
- Вебсайт Meta.AI
- Однак мультимодальні функції наразі доступні лише англомовним користувачам у США.
Підходить для цього:
Ліцензування та суперечки
Хоча Meta Llama 4 описується як «програма з відкритим вихідним кодом», у ліцензії є деякі обмеження, які викликали суперечки:
Ліцензійні обмеження
Ліцензія спільноти Llama 4 містить кілька обмежень:
- Компанії з понад 700 мільйонами активних користувачів щомісяця потребують спеціальної ліцензії від Meta.
- Користувачам та компаніям з ЄС, очевидно, заборонено використовувати або розповсюджувати ці моделі, ймовірно, через нормативні вимоги.
- Існують вимоги щодо найменування та атрибуції похідних моделей.
Дебати про «відкритий вихідний код»
Точаться дебати щодо того, чи варто називати Llama 4 «програмою з відкритим вихідним кодом»:
- Ініціатива з відкритого коду у 2023 році визначила, що обмеження ліцензії Llama виводять її «з категорії «відкритого коду»».
- Критики стверджують, що це радше модель «відкритого вихідного коду» або «відкритих ваг», ніж справжнє програмне забезпечення з відкритим вихідним кодом.
- Ліцензійні обмеження можуть бути проблематичними для малого бізнесу без власних юридичних відділів.
Плани на майбутнє
Мета вже поділився деякими планами на майбутнє щодо Llama 4 та подальших проектів:
LlamaCon та інші оголошення
- Meta проведе свою першу конференцію LlamaCon 29 квітня 2025 року, де буде оголошено додаткові подробиці про моделі штучного інтелекту та плани щодо продуктів.
- Компанія також планує випустити спеціальний застосунок для свого мета-чат-бота у другому кварталі.
Розширення мовних навичок
- Мета працює над покращенням мовних навичок Лами 4, щоб зробити розмови більш природними.
- Мета полягає в тому, щоб забезпечити більш плавні двосторонні діалоги, де користувачі можуть переривати модель штучного інтелекту.
- Кріс Кокс, головний директор з продуктів Meta, описав майбутню Llama 4 як «омні-модель», яка дозволяє використовувати рідну мову замість перекладу мовлення в текст.
Штучний інтелект агента та розширені можливості
- Марк Цукерберг оголосив, що Llama 4 матиме «агентські можливості», які дозволять реалізувати нові варіанти використання.
- Meta прагне розробити моделі штучного інтелекту, які можуть «виконувати узагальнені дії, природним чином спілкуватися з людьми та вирішувати складні проблеми».
- Компанія розглядає можливість запропонувати преміум-підписки для свого помічника зі штучним інтелектом для потреб, пов'язаних з агентами, таких як бронювання або відеовиробництво.
Чому Llama 4 є поворотним моментом у світі штучного інтелекту
Випуск Llama 4 є важливим кроком у стратегії Meta, спрямованій на лідерство у висококонкурентній галузі генеративного штучного інтелекту. Завдяки впровадженню архітектури Mixture of Experts, нативної мультимодальності та вражаюче довгого контекстного вікна, Meta демонструє, що відкриті моделі можуть конкурувати з власними моделями великих технологічних компаній.
Незважаючи на суперечки щодо ліцензування та питання про те, чи дійсно Llama 4 слід називати «відкритим кодом», технічні досягнення є важливою віхою. Здатність моделей обробляти як текст, так і зображення відкриває нові можливості для розробників та бізнесу.
З огляду на те, що Llama 4 Behemoth все ще очікує розробки, а також оголошені плани щодо покращення можливостей мови та агентів, очевидно, що Meta ще більше активізує свої інвестиції в штучний інтелект. Найближчі місяці покажуть, як ці нові моделі трансформують ландшафт штучного інтелекту та чи справді вони, як передбачав Марк Цукерберг, допоможуть відкритим моделям ШІ стати провідною силою в галузі штучного інтелекту.
Підходить для цього:
Ваш глобальний партнер з маркетингу та розвитку бізнесу
☑ Наша ділова мова - англійська чи німецька
☑ Нове: листування на вашій національній мові!
Konrad Wolfenstein
Я радий бути доступним вам та моїй команді як особистого консультанта.
Ви можете зв’язатися зі мною, заповнивши тут контактну форму або просто зателефонуйте мені за номером +49 89 674 804 (Мюнхен) . Моя електронна адреса: Вольфенштейн ∂ xpert.digital
Я з нетерпінням чекаю нашого спільного проекту.
