Veröffentlicht am: 6. April 2025 / Update vom: 6. April 2025 – Verfasser: Konrad Wolfenstein
Meta veröffentlicht neue KI-Modellreihe Llama 4 Scout, Maverick und Behemoth – Bild: Xpert.Digital
Llama 4: Die neue Generation offener KI-Systeme von Meta
Llama 4 enthüllt: Metas Schlüssel zum nächsten KI-Zeitalter
Meta hat am 5. April 2025 die neueste Generation seiner KI-Modelle, Llama 4, vorgestellt. Diese neuen Modelle repräsentieren einen bedeutenden Fortschritt in der Entwicklung offener KI-Systeme und verfügen über eine Reihe bahnbrechender Funktionen, die ihre Leistungsfähigkeit und Effizienz erheblich steigern. Die Llama 4-Reihe besteht aus verschiedenen Modellen, wobei zwei davon bereits öffentlich verfügbar sind, während das leistungsstärkste Modell sich noch in der Trainingsphase befindet.
Passend dazu:
Die Llama 4-Modellfamilie
Meta hat drei verschiedene Modelle in der Llama 4-Reihe entwickelt, die jeweils für unterschiedliche Anwendungsfälle optimiert sind:
Llama 4 Scout
Llama 4 Scout ist ein kompaktes Modell mit beeindruckenden technischen Spezifikationen:
- 17 Milliarden aktive Parameter mit 16 Experten (insgesamt 109 Milliarden Parameter)
- Kann auf einer einzigen NVIDIA H100 GPU mit Int4-Quantisierung betrieben werden
- Verfügt über ein bemerkenswert großes Kontextfenster von 10 Millionen Tokens, was es zu einem der ersten offenen Modelle mit dieser Kapazität macht
Scout übertrifft laut Meta andere Modelle seiner Klasse wie Gemini 3, Gemini 2.0 Flash-Lite und Mistral 3.1. Es eignet sich besonders gut für Aufgaben wie die Zusammenfassung langer Dokumente, die Personalisierung anhand von Nutzerdaten und komplexe Schlussfolgerungen über große Wissensmengen.
Llama 4 Maverick
Llama 4 Maverick ist das leistungsstärkere der beiden verfügbaren Modelle:
- 17 Milliarden aktive Parameter mit 128 Experten (insgesamt 400 Milliarden Parameter)
- Die experimentelle Chat-Version erreichte ELO 1417 auf LMArena
- Übertrifft laut Meta Modelle wie GPT-4o und Gemini 2.0 Flash in zahlreichen Benchmarks
Dieses Modell ist besonders für allgemeine Assistenz- und Chat-Anwendungen wie kreatives Schreiben geeignet und zeigt Ergebnisse, die mit DeepSeek v3 in Reasoning- und Codierungsaufgaben vergleichbar sind, jedoch mit der Hälfte der Parameter.
Llama 4 Behemoth
Llama 4 Behemoth ist Metas leistungsstärkstes Modell, das jedoch noch nicht öffentlich verfügbar ist:
- 288 Milliarden aktive Parameter mit 16 Experten (insgesamt fast 2 Billionen Parameter)
- Laut Meta übertrifft es GPT-4.5, Claude Sonnet 3.7 und Gemini 2.0 Pro bei mehreren STEM-Benchmarks
- Dient als “Lehrermodell” für die kleineren Llama 4-Modelle
Behemoth befindet sich derzeit noch in der Trainingsphase und wird zu einem späteren Zeitpunkt veröffentlicht.
Technische Innovationen
Die Llama 4-Modellreihe führt mehrere bedeutende technische Innovationen ein, die ihre Leistung und Effizienz verbessern:
Mixture of Experts (MoE) Architektur
Eine der wichtigsten Neuerungen bei Llama 4 ist die Mixture of Experts (MoE) Architektur, bei der nur ein Teil der Modellparameter für jeden Token aktiviert wird:
- Dies reduziert den Rechenaufwand und die Latenz erheblich, während die hohe Leistung erhalten bleibt
- Bei Llama 4 Maverick wird jeder Token von einem gemeinsamen Experten und einem von 128 gerouteten Experten verarbeitet
- Diese Architektur ermöglicht es, die Gesamtparameter des Modells zu erhöhen, ohne die Inferenzkosten zu steigern
Native Multimodalität mit Early Fusion
Llama 4 ist das erste offene Modell mit nativer Multimodalität durch Early Fusion:
- Text- und Bild-Tokens werden in einer einheitlichen Modellarchitektur integriert
- Dies ermöglicht ein gemeinsames Vortraining mit großen Mengen an Text-, Bild- und Videodaten
- Im Gegensatz zu Llama 3.2, das separate Parameter für Text und Bilder verwendete, versteht Llama 4 beide Modalitäten nativ mit denselben Parametern
Extrem langes Kontextfenster
Besonders beeindruckend ist das extrem lange Kontextfenster von Llama 4 Scout:
- Mit 10 Millionen Tokens übertrifft es die meisten verfügbaren Modelle deutlich
- Dies ermöglicht die Verarbeitung sehr langer Dokumente, ganzer Codebasen oder umfangreicher Konversationen
- Die iRoPE-Architektur (interleaved attention layers) macht dies möglich
Neue Trainingsmethoden
Meta hat für das Training von Llama 4 mehrere innovative Methoden eingesetzt:
- MetaP: Eine Technik zur robusten Abstimmung kritischer Modellhyperparameter
- FP8-Präzision: Verwendung von 8-Bit-Gleitkommazahlen für effizientes Training
- Co-Distillation: Nutzung von Llama 4 Behemoth als Lehrermodell für kleinere Modelle
- Vollständig asynchrones Online-Lernen mit Verstärkung: Eine neue Infrastruktur für großangelegtes Lernen
Verfügbarkeit und Integration
Die Llama 4-Modelle sind über verschiedene Plattformen und Dienste verfügbar:
Download und Cloud-Anbieter
- Die Modelle Scout und Maverick können direkt von Meta oder über Hugging Face heruntergeladen werden
- Sie sind auch über verschiedene Cloud-Plattformen verfügbar:
- Cloudflare Workers AI
- Azure AI Foundry und Azure Databricks
- Google Cloud’s Vertex AI
- Weitere Partner werden in den kommenden Tagen folgen
Integration in Meta-Produkte
Meta hat seine KI-Assistenten in verschiedenen Plattformen bereits auf Llama 4 aktualisiert:
- WhatsApp, Messenger und Instagram Direct in 40 verschiedenen Ländern
- Die Meta.AI-Website
- Die multimodalen Funktionen sind derzeit jedoch nur für englischsprachige Nutzer in den USA verfügbar
Passend dazu:
Lizenzierung und Kontroversen
Obwohl Meta Llama 4 als “Open-Source” bezeichnet, gibt es einige Einschränkungen in der Lizenz, die Kontroversen ausgelöst haben:
Lizenzeinschränkungen
Die Llama 4 Community License enthält mehrere Einschränkungen:
- Unternehmen mit mehr als 700 Millionen monatlich aktiven Nutzern benötigen eine spezielle Lizenz von Meta
- Nutzer und Unternehmen aus der EU dürfen die Modelle offenbar nicht verwenden oder verteilen, vermutlich aufgrund regulatorischer Anforderungen
- Es gibt Anforderungen bezüglich der Namensgebung und Attribution für abgeleitete Modelle
Debatte über “Open Source”
Es gibt eine Debatte darüber, ob Llama 4 tatsächlich als “Open Source” bezeichnet werden sollte:
- Die Open Source Initiative hat 2023 festgestellt, dass die Einschränkungen in der Llama-Lizenz sie “aus der Kategorie ‘Open Source'” herausnehmen
- Kritiker argumentieren, dass es sich eher um ein “quelloffenes” oder “mit offenen Gewichten” ausgestattetes Modell handelt als um echte Open-Source-Software
- Die Lizenzeinschränkungen könnten für kleine Unternehmen ohne eigene Rechtsabteilungen problematisch sein
Zukünftige Pläne
Meta hat bereits einige Einblicke in seine zukünftigen Pläne für Llama 4 und darüber hinaus gegeben:
LlamaCon und weitere Ankündigungen
- Meta wird am 29. April 2025 die erste LlamaCon-Konferenz veranstalten, bei der weitere Details zu seinen KI-Modellen und Produktplänen bekannt gegeben werden sollen
- Das Unternehmen plant außerdem, im zweiten Quartal eine dedizierte Anwendung für seinen Meta-Chatbot zu veröffentlichen
Erweiterung der Sprachfähigkeiten
- Meta arbeitet daran, die Sprachfähigkeiten von Llama 4 zu verbessern, um natürlichere Gespräche zu ermöglichen
- Ziel ist es, flüssigere, zweiseitige Dialoge zu ermöglichen, bei denen Nutzer das KI-Modell unterbrechen können
- Chris Cox, Chief Product Officer von Meta, beschrieb das kommende Llama 4 als ein “Omni-Modell”, das native Sprache ermöglicht, anstatt Sprache in Text zu übersetzen
Agentic AI und erweiterte Fähigkeiten
- Mark Zuckerberg hat angekündigt, dass Llama 4 “agentische Fähigkeiten” haben wird, die neue Anwendungsfälle ermöglichen sollen
- Meta zielt darauf ab, KI-Modelle zu entwickeln, die “generalisierte Aktionen ausführen, natürlich mit Menschen kommunizieren und herausfordernde Probleme lösen können”
- Das Unternehmen erwägt, Premium-Abonnements für seinen KI-Assistenten für agentische Zwecke wie Reservierungen oder Videoproduktion anzubieten
Warum Llama 4 ein Wendepunkt in der KI-Landschaft ist
Die Veröffentlichung von Llama 4 stellt einen bedeutenden Schritt in Metas Strategie dar, im hart umkämpften Bereich der generativen KI führend zu werden. Mit der Einführung der Mixture of Experts-Architektur, nativer Multimodalität und einem beeindruckend langen Kontextfenster zeigt Meta, dass offene Modelle mit den proprietären Modellen der großen Technologieunternehmen mithalten können.
Trotz der Kontroversen um die Lizenzierung und die Frage, ob Llama 4 wirklich als “Open Source” bezeichnet werden sollte, stellen die technischen Fortschritte einen wichtigen Meilenstein dar. Die Fähigkeit der Modelle, sowohl Text als auch Bilder zu verarbeiten, eröffnet neue Möglichkeiten für Entwickler und Unternehmen.
Mit dem noch ausstehenden Llama 4 Behemoth und den angekündigten Plänen für erweiterte Sprach- und Agentenfähigkeiten ist klar, dass Meta seine Investitionen in KI weiter intensivieren wird. Die kommenden Monate werden zeigen, wie diese neuen Modelle die KI-Landschaft verändern und ob sie tatsächlich, wie von Mark Zuckerberg vorhergesagt, dazu beitragen werden, dass offene KI-Modelle zur führenden Kraft im Bereich der künstlichen Intelligenz werden.
Passend dazu:
Ihr globaler Marketing und Business Development Partner
☑️ Unsere Geschäftssprache ist Englisch oder Deutsch
☑️ NEU: Schriftverkehr in Ihrer Landessprache!
Konrad Wolfenstein
Gerne stehe ich Ihnen und mein Team als persönlicher Berater zur Verfügung.
Sie können mit mir Kontakt aufnehmen, indem Sie hier das Kontaktformular ausfüllen oder rufen Sie mich einfach unter +49 89 89 674 804 (München) an. Meine E-Mail Adresse lautet: wolfenstein∂xpert.digital
Ich freue mich auf unser gemeinsames Projekt.
