Veröffentlicht am: 19. April 2025 / Update vom: 19. April 2025 – Verfasser: Konrad Wolfenstein
KI Open-Source-Alternative: Together AI veröffentlicht das quelloffene “Open Deep Research” für detaillierte Webrecherchen – Bild: Xpert.Digital
Strukturiert, quelloffen, leistungsstark: Together AI bringt Deep Research auf ein neues Level
Together AI stellt “Open Deep Research” vor: Eine Open-Source-Alternative zu OpenAIs Deep Research
Together AI hat am 16. April 2025 “Open Deep Research” veröffentlicht – ein quelloffenes System zur strukturierten Webrecherche, das als Alternative zu OpenAIs Deep Research konzipiert wurde. Das Tool kann komplexe Fragen durch mehrstufige Webrecherche beantworten und umfassende, quellenbasierte Berichte erstellen. Im Gegensatz zu proprietären Lösungen stellt Together AI den vollständigen Code, Datensätze und die Systemarchitektur öffentlich zur Verfügung, um Community-basierte Weiterentwicklung zu fördern.
Passend dazu:
Die Architektur von Open Deep Research
Open Deep Research arbeitet mit einem vierstufigen Workflow, der den menschlichen Rechercheprozess nachahmt. Der Prozess beginnt mit einem Planungsschritt, bei dem ein KI-Modell eine Liste relevanter Suchanfragen erstellt. Anschließend werden über die Tavily-Such-API entsprechende Inhalte aus dem Web gesammelt. Ein Bewertungsmodell prüft dann, ob noch Wissenslücken bestehen, bevor schließlich ein Schreibmodell den endgültigen Bericht erstellt.
Der besondere Ansatz von Together AI liegt in der Verwendung verschiedener spezialisierter Modelle für unterschiedliche Aufgaben im Workflow – ein sogenannter “Mixture-of-Agents” (MoA) Ansatz. Für die Implementierung werden folgende KI-Modelle eingesetzt:
- Planer: Qwen2.5-72B-Instruct-Turbo von Alibaba für die Planung und Reasoning-Fähigkeiten
- Zusammenfasser: Llama-3.3-70B-Instruct-Turbo von Meta zur Zusammenfassung langer Webinhalte
- JSON-Extraktor: Llama-3.1-70B-Instruct-Turbo von Meta zur strukturierten Informationsextraktion
- Berichtsersteller: DeepSeek-V3 für die Aggregation von Informationen und Erstellung hochwertiger Forschungsberichte
Um mit längeren Texten umgehen zu können, fasst das Zusammenfassungsmodell die Inhalte kompakt zusammen und bewertet deren Relevanz. So wird verhindert, dass die Kontextfenster der Sprachmodelle überlaufen.
Technischer Stack und Integration
Als technische Grundlage werden die Modelle über die eigene Together AI Cloud-Plattform bereitgestellt. Die Websuche und Inhaltsabfrage erfolgt über Tavily, wobei ein besonderer Vorteil darin liegt, dass sowohl die Suche als auch der Abruf der Webseiteninhalte in einem einzigen API-Aufruf erfolgen kann.
Die Bearbeitungszeit für eine typische Anfrage liegt zwischen 2 und 5 Minuten, abhängig von der Komplexität der Anfrage und der Anzahl der Evaluierungs- und Reflexionsschleifen.
Multimodale Ausgaben und erweiterte Funktionen
Open Deep Research beschränkt sich nicht nur auf Textausgaben, sondern bietet eine Reihe multimodaler Funktionen:
- HTML-Ausgabe: Die Ergebnisse werden in strukturiertem HTML-Format präsentiert, das Text und visuelle Elemente kombiniert
- Diagramme: Automatische Erstellung von Diagrammen über die JavaScript-Bibliothek Mermaid JS
- Cover-Bilder: Generierung von thematisch passenden Bildern mit Hilfe der Flux-Modelle von Black Forest Labs
- Podcast-Funktion: Automatische Erstellung eines kompakten Audio-Podcasts, der die Hauptpunkte des Berichts zusammenfasst, unter Verwendung der Sonic-Sprachmodelle von Cartesia
Diese multimodalen Ausgabeformate ermöglichen eine umfassendere und ansprechendere Darstellung der recherchierten Informationen.
Leistungsevaluation und Benchmarks
Together AI hat die Leistung von Open Deep Research anhand von drei populären Benchmarks evaluiert:
- FRAMES: Test für mehrstufige logische Schlussfolgerungen
- SimpleQA: Prüfung von faktischem Wissen
- HotPotQA: Bewertung von Multi-Hop-Fragen, die mehrere Schlussfolgerungsschritte erfordern
In allen drei Benchmarks schnitt Open Deep Research deutlich besser ab als Basismodelle ohne Suchwerkzeuge. Auch im Vergleich zu ähnlichen offenen Systemen wie LangChains Open Deep Research (LDR) und Hugging Faces SmolAgents (SearchCodeAgent) erzielte das System meist höhere Antwortqualität.
Ein besonders wichtiges Ergebnis der Evaluierung war die Erkenntnis, dass mehrere aufeinanderfolgende Rechercheschritte die Antwortqualität signifikant verbessern. Bei Beschränkung auf einen einzigen Suchdurchlauf sank die Genauigkeit merklich.
Bekannte Einschränkungen und Herausforderungen
Trotz der Fortschritte weist Together AI auf verschiedene Einschränkungen ihres Systems hin:
- Fehlerfortpflanzung: Fehler in frühen Schritten des Workflows können sich durch die gesamte Pipeline fortsetzen und zu fehlerhaften Endergebnissen führen
- Halluzinationen: Bei der Interpretation von Quellen können Halluzinationen auftreten, besonders bei mehrdeutigen oder widersprüchlichen Informationen
- Strukturelle Verzerrungen: Bias in Trainingsdaten oder Suchindizes kann die Ergebnisse beeinflussen
- Aktualität: Themen mit hohem Aktualitätsbedarf oder geringer Webabdeckung stellen eine besondere Herausforderung dar
- Caching-Problematik: Das implementierte Caching kann zwar Kosten senken, führt aber ohne angemessene Ablaufzeit zur Lieferung veralteter Informationen
Diese Einschränkungen sind typisch für aktuelle KI-Recherchetools und stellen wichtige Herausforderungen für künftige Verbesserungen dar.
Passend dazu:
Open Deep Research im Vergleich zu anderen Angeboten
Die Entwicklung von Deep-Research-Funktionen ist aktuell ein Trend bei KI-Anbietern. OpenAI führte das Konzept ursprünglich ein, aber inzwischen bieten auch Google, Grok und Perplexity ähnliche Funktionen an. Anthropic hat kürzlich ebenfalls eine agentenbasierte Recherchefunktion für sein Claude-Modell vorgestellt.
Hugging Face hatte bereits kurz nach OpenAIs Veröffentlichung eine quelloffene Alternative präsentiert, diese jedoch nicht weiterentwickelt. Perplexity bietet als KI-Suchmaschine eine kostenlose Alternative zu ChatGPTs Deep Research, wobei Nutzer täglich bis zu fünf Suchen mit “tiefer Forschung” durchführen können.
Im Unterschied zu geschlossenen, kostenpflichtigen Systemen wie OpenAIs Deep Research (das Teil des ChatGPT Pro-Abonnements für etwa 200 Dollar pro Monat ist) bietet Together AI eine vollständig offene und quelloffene Alternative.
Community-Fokus und Erweiterbarkeit
Together AI hat Open Deep Research bewusst als offene Plattform konzipiert, die von der Community erweitert und verbessert werden kann. Die Architektur wurde so gestaltet, dass sie leicht erweiterbar ist – Entwickler können eigene Modelle einbinden, Datenquellen anpassen oder neue Ausgabeformate hinzufügen.
Der vollständige Code und die Dokumentation wurden auf GitHub veröffentlicht, zusammen mit einem Evaluierungsdatensatz und detaillierten Erläuterungen im Unternehmensblog. Together AI sieht sein System als Grundlage für weitere Experimente und Verbesserungen durch die Open-Source-Gemeinschaft.
Diese Offenheit steht im Kontrast zu den geschlossenen Ansätzen anderer großer KI-Unternehmen und spiegelt Together AIs breiteres Engagement für Open-Source-KI wider, das auch in früheren Projekten zum Ausdruck kam, wie der kürzlichen Veröffentlichung eines quelloffenen Coding-Modells auf dem Niveau von o3-mini, jedoch mit deutlich weniger Parametern als die geschlossene Konkurrenz.
Bedeutung für die KI-Forschungslandschaft
Die Veröffentlichung von Open Deep Research durch Together AI markiert einen wichtigen Schritt in der Demokratisierung fortschrittlicher KI-Recherchewerkzeuge. Durch die Kombination von leistungsstarken KI-Modellen, strukturierter mehrstufiger Webrecherche und multimodalen Ausgabeformaten bietet das System eine vielversprechende Alternative zu proprietären Lösungen.
Der offene Ansatz ermöglicht es Entwicklern und Forschern, das System an ihre Bedürfnisse anzupassen, zu erweitern und zu verbessern. Dies könnte langfristig zu innovativeren und vielfältigeren Anwendungen führen als bei geschlossenen Systemen möglich wäre.
Obwohl noch Herausforderungen bestehen, insbesondere im Hinblick auf Halluzinationen, Bias und Aktualität, zeigt Together AIs Open Deep Research, dass leistungsfähige KI-Recherchewerkzeuge nicht auf proprietäre Plattformen beschränkt sein müssen. Die Initiative fördert nicht nur den offenen Zugang zu fortschrittlicher KI-Technologie, sondern trägt auch zur Transparenz und Nachvollziehbarkeit bei – wichtige Faktoren für das Vertrauen in KI-gestützte Forschungsergebnisse.
Passend dazu:
Ihr AI-Transformation, AI-Integration und AI-Plattform Branchenexperte
☑️ Unsere Geschäftssprache ist Englisch oder Deutsch
☑️ NEU: Schriftverkehr in Ihrer Landessprache!
Konrad Wolfenstein
Gerne stehe ich Ihnen und mein Team als persönlicher Berater zur Verfügung.
Sie können mit mir Kontakt aufnehmen, indem Sie hier das Kontaktformular ausfüllen oder rufen Sie mich einfach unter +49 89 89 674 804 (München) an. Meine E-Mail Adresse lautet: wolfenstein∂xpert.digital
Ich freue mich auf unser gemeinsames Projekt.
