Опубліковано: 6 квітня 2025 р. / Оновлення з: 6 квітня 2025 р. - Автор: Конрад Вольфенштейн
Meta публікує нову Llama 4 Scout, Maverick та Behemoth-Image: xpert.digital
LLAMA 4: Нове покоління відкритих систем AI від Meta
Llama 4 виявив: ключ метас до наступного віку АІ
5 квітня 2025 року Meta представила останнє покоління своїх моделей AI, Llama 4. Ці нові моделі представляють значний прогрес у розробці відкритих систем AI та мають ряд новаторських функцій, які значно підвищують їх ефективність та ефективність. Серія Llama 4 складається з різних моделей, з двома з них вже загальнодоступними, тоді як найпотужніша модель все ще знаходиться на етапі навчання.
Підходить для цього:
Сім'я моделей Llama 4
META розробила три різні моделі в серії Llama 4, кожна з яких оптимізована для різних додатків:
Llama 4 розвідник
Llama 4 Scout - це компактна модель з вражаючими технічними характеристиками:
- 17 мільярдів активних параметрів з 16 експертами (загалом 109 мільярдів параметрів)
- Може керуватися на одному GPU NVIDIA H100 з квантуванням Int4
- Має надзвичайно велике контекстне вікно з 10 мільйонів жетонів, що робить його однією з перших відкритих моделей з цією потужністю
За даними META, скаут перевищує інші моделі у своєму класі, такі як Gemini 3, Gemini 2.0 Flash-Lite та Mistral 3.1. Він особливо підходить для таких завдань, як підсумок довгих документів, персоналізація на основі даних користувачів та складних висновків про велику кількість знань.
Llama 4 Maverick
Llama 4 Maverick є більш потужною з двох доступних моделей:
- 17 мільярдів активних параметрів із 128 експертами (загалом 400 мільярдів параметрів)
- Експериментальна версія чату досягла ELO 1417 на Lmarena
- Перевищує такі моделі, як GPT-4O та Gemini 2.0 Flash у численних орієнтирах
Ця модель особливо підходить для загальної допомоги та додатків для чатів, таких як творче письмо, і показує результати, порівнянні з DeepSeek V3 у міркуванні та кодуванні завдань, але з половиною параметрів.
Llama 4 Бегемот
Llama 4 Behemoth - найпотужніша модель Metas, яка ще не є загальнодоступною:
- 288 мільярдів активних параметрів з 16 експертами (загалом майже 2 трлн параметрів)
- Згідно з META, він перевищує GPT-4.5, Claude Sonnet 3.7 та Gemini 2.0 Pro для декількох орієнтирів STEM
- Служить «моделлю вчителя» для менших моделей Llama 4
Наразі Бегемот все ще знаходиться на етапі навчання і буде опублікований пізніше.
Технічні інновації
Модельна серія Llama 4 представляє кілька важливих технічних інновацій, які підвищують їх ефективність та ефективність:
Суміш експертів (МО) архітектури
Однією з найважливіших нововведень Lama 4 є суміш архітектури експертів (МО), в якій для кожного токена активується лише частина параметрів моделі:
- Це суттєво зменшує зусилля та затримку розрахунків, тоді як висока продуктивність зберігається
- У Llama 4 Maverick кожен жетон обробляється загальним експертом і одним із 128 побігових експертів
- Ця архітектура дозволяє збільшити загальний параметр моделі без збільшення витрат на висновки
Рідна мультимодальність з раннім синтезом
Llama 4 - перша відкрита модель з рідною мультимодальністю від раннього Fusion:
- Текстові та зображення жетони інтегровані в єдину архітектуру моделі
- Це забезпечує спільну попередню підготовку з великими кількостями текстових, зображень та відеоданих
- На відміну від LLAMA 3.2, яка використовувала окремі параметри для тексту та зображень, Llama 4 розуміє обидва модальності з однаковими параметрами
Надзвичайно довге контекстне вікно
Надзвичайно довге контекстне вікно розвідника Llama 4 є особливо вражаючим:
- Маючи 10 мільйонів жетонів, він явно перевищує більшість наявних моделей
- Це дозволяє обробляти дуже довгі документи, цілі бази коду або великі розмови
- Архітектура IROPE (переплетені шари уваги) робить це можливим
Нові методи навчання
META використовував кілька інноваційних методів для навчання LLAMA 4:
- Метап: методика надійної координації критичної моделі гіпераметра
- FP8 Точність: Використання 8-бітних слайдних номерів для ефективної підготовки
- Співізиляція: Використання Llama 4 Behemoth як модель вчителя для менших моделей
- Повністю асинхронне навчання в Інтернеті з підкріпленнями: нова інфраструктура для масштабного навчання
Наявність та інтеграція
Моделі Llama 4 доступні через різні платформи та послуги:
Завантажити та хмарний постачальник
- Моделі розвідника та маверика можна завантажити безпосередньо з мета або через обійми обличчя
- Вони також доступні через різні хмарні платформи:
- Cloudflare Workers AI
- Azure AI Foundry та Azure Databricks
- Вершина AI Google Cloud
- Інші партнери будуть слідувати в найближчі дні
Інтеграція в мета -продукти
Meta вже оновив своїх помічників AI на різних платформах на Llama 4:
- WhatsApp, Messenger та Instagram безпосередньо в 40 різних країнах
- Веб -сайт Meta.ai
- Однак мультимодальні функції наразі доступні лише для користувачів англійської мови в США
Підходить для цього:
Ліцензія та суперечка
Хоча Meta Llama 4 відноситься до "відкритого коду", є деякі обмеження в ліцензії, що викликало суперечки:
Обмеження ліцензії
Ліцензія громади LLAMA 4 містить кілька обмежень:
- Компанії з більш ніж 700 мільйонами щомісячних активних користувачів потребують спеціальної ліцензії від Meta
- Моделі, мабуть, не дозволяють використовувати або розповсюджувати користувачів та компанії з ЄС, імовірно, через регуляторні вимоги
- Існують вимоги щодо іменування та атрибуції для похідних моделей
Дебати про "відкритий код"
Існує дискусія щодо того, чи слід насправді називати "відкритим кодом" Llama 4:
- Ініціатива з відкритим кодом виявила в 2023 році, що обмеження ліцензії LLAMA виводять її з категорії "Відкритий код"
- Критики стверджують, що це більше модель "відкриття джерела" або "з відкритими вагами", ніж реальне програмне забезпечення з відкритим кодом
- Обмеження ліцензії можуть бути проблематичними для малих компаній без власних юридичних відділів
Майбутні плани
Мета вже дала певну інформацію про свої майбутні плани щодо Llama 4 і за його межами:
Llamacon та інші оголошення
- META організуватиме першу конференцію Llamacon 29 квітня 2025 року
- Компанія також планує опублікувати спеціальну заявку на свій мета-чат у другому кварталі
Розширення мовних навичок
- META працює над вдосконаленням мовних навичок Llama 4, щоб забезпечити більше природних розмов
- Мета полягає в тому, щоб забезпечити більше рідких, двосторонніх діалогів, в яких користувачі можуть перервати модель AI
- Кріс Кокс, головний директор з продуктів META, описав майбутню Llama 4 як "модель Omni", яка дозволяє рідною мовою замість того, щоб перекладати мову в текст
Агентний ШІ та розширені навички
- Марк Цукерберг оголосив, що Llama 4 матиме "навички агента", які повинні дозволити нові програми
- META має на меті розробити моделі AI, які "здійснюють узагальнені дії, звичайно спілкуються з людьми та вирішують складні проблеми"
- Компанія розглядає можливість пропонувати передплату на премію за своїм помічником AI для таких цілей агента, як бронювання або відеопродукція
Чому Llama 4 - це переломний момент в пейзажі ШІ
Публікація LLAMA 4 є значним кроком у стратегії Metas, щоб стати провідною сферою генеративного ШІ у висококонкурентній області. Завдяки впровадженню суміші архітектури експертів, рідної мультимодальності та вражаюче довгим вікном контексту, Meta показує, що відкриті моделі можуть йти в курсі власних моделей великих технологічних компаній.
Незважаючи на суперечки щодо ліцензування та питання про те, чи слід дійсно LLAMA 4 як "відкритий код", технічний прогрес є важливою віхою. Здатність моделей обробляти як текстові, так і зображення відкриває нові можливості для розробників та компаній.
З видатним бегемотом Llama 4 та оголошеними планами розширених навичок мови та агентів зрозуміло, що META ще більше посилить свої інвестиції в ШІ. У найближчі місяці покажуть, як ці нові моделі змінюють пейзаж AI та чи, як це прогнозував Марк Цукерберг, вони насправді допоможуть зробити відкриті моделі AI у галузі штучного інтелекту.
Підходить для цього:
Ваш глобальний партнер з маркетингу та розвитку бізнесу
☑ Наша ділова мова - англійська чи німецька
☑ Нове: листування на вашій національній мові!
Конрад Вольфенштейн
Я радий бути доступним вам та моїй команді як особистого консультанта.
Ви можете зв’язатися зі мною, заповнивши тут контактну форму або просто зателефонуйте мені за номером +49 89 674 804 (Мюнхен) . Моя електронна адреса: Вольфенштейн ∂ xpert.digital
Я з нетерпінням чекаю нашого спільного проекту.
