Publikováno dne: 6. dubna 2025 / Aktualizace od: 6. dubna 2025 - Autor: Konrad Wolfenstein
Meta publikuje New Llama 4 Scout, Maverick a Behemoth-Image: Xpert.digital
Llama 4: Nová generace otevřených systémů AI z meta
Llama 4 odhaleno: Metas klíč do dalšího věku AI
Meta představila nejnovější generaci svých modelů AI, Llama 4, 5. dubna 2025. Tyto nové modely představují významný pokrok ve vývoji otevřených systémů AI a mají řadu průkopnických funkcí, které výrazně zvyšují jejich výkon a efektivitu. Série LLAMA 4 se skládá z různých modelů, přičemž dva jsou již veřejně dostupné, zatímco nejsilnější model je stále ve fázi tréninku.
Vhodné pro:
Rodina modelu Llamy 4
Meta vyvinula tři různé modely v řadě Llama 4, z nichž každá je optimalizována pro různé aplikace:
Llama 4 Scout
Llama 4 Scout je kompaktní model s působivými technickými specifikacemi:
- 17 miliard aktivních parametrů se 16 odborníky (celkem 109 miliard parametrů)
- Lze provozovat na jediném GPU NVIDIA H100 s kvantizací INT4
- Má pozoruhodně velké kontextové okno s 10 miliony žetonů, což z něj činí jeden z prvních otevřených modelů s touto kapacitou
Podle Meta Scout přesahuje další modely ve své třídě, jako je Gemini 3, Gemini 2.0 Flash-Lite a Mistral 3.1. Je zvláště vhodný pro úkoly, jako je shrnutí dlouhých dokumentů, personalizace založená na uživatelských datech a složitých závěrech o velkém množství znalostí.
Llama 4 Maverick
Llama 4 Maverick je silnější ze dvou dostupných modelů:
- 17 miliard aktivních parametrů s 128 odborníky (celkem 400 miliard parametrů)
- Experimentální chatovací verze dosáhla Elo 1417 na Lmarena
- Překročí modely, jako je GPT-4o a Gemini 2.0 Flash v mnoha benchmarcích
Tento model je zvláště vhodný pro obecné asistenční a chatovací aplikace, jako je kreativní psaní, a ukazuje výsledky, které jsou srovnatelné s DeepSeek V3 v úkolech uvažování a kódování, ale s polovinou parametrů.
Llama 4 Behemoth
Llama 4 Behemoth je nejsilnější model Metas, který ještě není veřejně dostupný:
- 288 miliard aktivních parametrů s 16 odborníky (celkem téměř 2 biliony parametrů)
- Podle Meta přesahuje GPT-4,5, Claude Sonnet 3.7 a Gemini 2.0 Pro pro několik srovnávacích hodnot STEM
- Slouží jako „model učitele“ pro menší modely Llama 4
Behemoth je v současné době stále ve fázi školení a bude zveřejněn později.
Technické inovace
Modelová řada Llama 4 představuje několik důležitých technických inovací, které zlepšují jejich výkon a efektivitu:
Směs architektury odborníků (MOE)
Jednou z nejdůležitějších inovací na Llama 4 je směs architektury odborníků (MOE), ve které je pro každý token aktivována pouze část parametrů modelu:
- To výrazně snižuje výpočtovou úsilí a latenci, zatímco vysoký výkon je zachován
- V Llama 4 Maverick je každý token zpracován společným odborníkem a jedním z 128 geterizovaných odborníků
- Tato architektura umožňuje zvýšit celkový parametr modelu bez zvýšení inferenčních nákladů
Nativní multimodalita s časnou fúzí
Llama 4 je první otevřený model s nativní multimodality včasné fúzi:
- Textové a obrazové tokeny jsou integrovány do jednotné architektury modelu
- To umožňuje společné předběžné školení s velkým množstvím textových, obrázkových a videí
- Na rozdíl od Llama 3.2, která používala samostatné parametry pro text a obrázky, Llama 4 chápe obě modality nativní se stejnými parametry
Extrémně dlouhé kontextové okno
Obzvláště působivé je extrémně dlouhé kontextové okno Llamy 4 Scout:
- S 10 miliony žetonů to jasně překračuje většinu dostupných modelů
- To umožňuje zpracování velmi dlouhých dokumentů, celých kódových základen nebo rozsáhlých konverzací
- Umožňuje to architektura Irope (prokládané vrstvy pozornosti)
Nové metody tréninku
Meta použila několik inovativních metod pro školení Llamy 4:
- Metap: Technika pro robustní koordinaci hyperametru kritického modelu
- Přesnost FP8: Použití 8bitových čísel s posuvným skluzem pro efektivní trénink
- Spoletá destilace: Použití Llamy 4 Behemoth jako modelu učitele pro menší modely
- Plně asynchronní online učení s posílením: nová infrastruktura pro rozsáhlé učení
Dostupnost a integrace
Modely Llama 4 jsou k dispozici prostřednictvím různých platforem a služeb:
Poskytovatel stahování a cloudu
- Modely Scout a Maverick si lze stáhnout přímo z meta nebo prostřednictvím objímání
- Jsou také k dispozici prostřednictvím různých cloudových platforem:
- Cloudflare Workers AI
- Azure AI Foundry a Azure Databricks
- Vertex AI Google Cloud
- V nadcházejících dnech budou následovat další partneři
Integrace do meta produktů
Meta již aktualizovala své asistenty AI na různých platformách Llama 4:
- WhatsApp, Messenger a Instagram Direct ve 40 různých zemích
- Web meta.ai
- Multimodální funkce jsou však v současné době k dispozici pouze pro uživatele angličtiny -jazyk v USA
Vhodné pro:
Licence a diskuse
Ačkoli Meta Llama 4 odkazuje na „Open Source“, v licenci existují určitá omezení, která vyvolala kontroverzi:
Licenční omezení
Komunitní licence Llama 4 obsahuje několik omezení:
- Společnosti s více než 700 miliony aktivních uživatelů měsíčně potřebují zvláštní licenci od meta
- Modely zjevně nesmějí používat nebo distribuovat uživatele a společnosti z EU, pravděpodobně kvůli požadavkům na regulaci
- Existují požadavky týkající se pojmenování a přiřazení pro odvozené modely
Debata o „open source“
Existuje debata o tom, zda by se Llama 4 měla ve skutečnosti nazývat „Open Source“:
- Iniciativa s otevřeným zdrojovým kódem v roce 2023 zjistila, že omezení v licenci LLAMA to odstraní „z kategorie„ z otevřeného zdroje “
- Kritici tvrdí, že se jedná spíše o model „otevřený zdroj“ nebo „s otevřeným váhám“ než skutečný software s otevřeným zdrojovým kódem
- Licenční omezení by mohla být problematická pro malé společnosti bez vlastních právních oddělení
Budoucí plány
Meta již poskytla určité informace o svých budoucích plánech pro Llama 4 a dále:
Llamacon a další oznámení
- Meta uspořádá první konferenci Llamacon 29. dubna 2025, ve které mají být oznámeny další podrobnosti o svých modelech AI a produktových plánech
- Společnost také plánuje zveřejnit vyhrazenou aplikaci pro svůj bot meta-chat ve druhém čtvrtletí
Rozšíření jazykových dovedností
- Meta pracuje na zlepšení jazykových dovedností Llamy 4, aby umožnila přirozenější konverzace
- Cílem je umožnit více tekutin, oboustranné dialogy, ve kterých mohou uživatelé přerušit model AI
- Chris Cox, hlavní produktový ředitel společnosti Meta, popsal nadcházející Llama 4 jako „Omni model“, který místo překládání jazyka umožňuje do textu rodný jazyk namísto překládání jazyka do textu
Agentické AI a rozšířené dovednosti
- Mark Zuckerberg oznámil, že Llama 4 bude mít „dovednosti agenta“, které by měly povolit nové aplikace
- Cílem Meta je vyvinout modely AI, které „provádějí zobecněné akce, samozřejmě komunikují s lidmi a řešit náročné problémy“
- Společnost zvažuje nabídku předplatného prémie pro svého asistenta AI pro účely agenta, jako jsou rezervace nebo výroba videa
Proč je Llama 4 obratem v krajině AI
Zveřejnění Llamy 4 představuje významný krok ve strategii Metas, aby se stal přední oblastí generativní AI ve vysoce konkurenční oblasti. Zavedením směsi architektury odborníků, nativní multimodality a působivě dlouhého kontextového okna Meta ukazuje, že otevřené modely mohou držet krok s proprietárními modely velkých technologických společností.
Navzdory diskusi o licencování a otázce, zda by Llama 4 měla být skutečně označována jako „open source“, je technický pokrok důležitým mezníkem. Schopnost modelů zpracovávat text i obrázky otevírá pro vývojáře a společnosti nové příležitosti.
S vynikajícím Behemothem Llama 4 a oznámenými plány na rozšířené jazykové a agentské dovednosti je jasné, že Meta dále zintenzivňuje své investice do umělé inteligence. V nadcházejících měsících ukážou, jak tyto nové modely mění krajinu AI a zda, jak předpovídá Mark Zuckerberg, ve skutečnosti pomohou vytvořit otevřené modely AI v oblasti umělé inteligence.
Vhodné pro:
Váš globální partner pro marketing a rozvoj podnikání
☑️ Naším obchodním jazykem je angličtina nebo němčina
☑️ NOVINKA: Korespondence ve vašem národním jazyce!
Konrad Wolfenstein
Rád vám a mému týmu posloužím jako osobní poradce.
Kontaktovat mě můžete vyplněním kontaktního formuláře nebo mi jednoduše zavolejte na číslo +49 89 89 674 804 (Mnichov) . Moje e-mailová adresa je: wolfenstein ∂ xpert.digital
Těším se na náš společný projekt.
