Wie zijn de pioniers van AI? Een uitgebreide analyse van de deep learning-revolutie – Afbeelding: Xpert.Digital
Vergeet ChatGPT: het Google-rapport uit 2017 'Attention Is All You Need' is de werkelijke reden voor de explosieve groei van AI
Wat wordt er bedoeld met het tijdperk van Deep Learning?
Het tijdperk van Deep Learning verwijst naar de periode sinds 2010 waarin de ontwikkeling van kunstmatige intelligentie fundamenteel is versneld dankzij verschillende technologische doorbraken. Dit tijdperk markeert een keerpunt in de geschiedenis van AI, omdat voor het eerst de noodzakelijke voorwaarden voor het trainen van complexe neurale netwerken samenkwamen: voldoende rekenkracht, grote datasets en verbeterde algoritmen.
De term deep learning verwijst naar meerlaagse neurale netwerken die automatisch abstracte kenmerken uit data kunnen extraheren. In tegenstelling tot eerdere benaderingen hoeven deze systemen niet langer handmatig geprogrammeerd te worden om specifieke kenmerken te herkennen; in plaats daarvan leren ze deze patronen onafhankelijk van de trainingsdata.
Dit is hiermee gerelateerd:
Waarom begon de Deep Learning-revolutie in 2010?
Het jaar 2010 was cruciaal, omdat drie belangrijke ontwikkelingen samenkwamen. Ten eerste werd de ImageNet-database uitgebracht, met meer dan 10 miljoen gelabelde afbeeldingen in 1000 categorieën, waarmee voor het eerst een voldoende grote dataset beschikbaar kwam voor het trainen van diepe neurale netwerken.
Ten tweede waren grafische processoren (GPU's) krachtig genoeg geworden om de parallelle verwerking van grote hoeveelheden data mogelijk te maken. NVIDIA's CUDA-platform, geïntroduceerd in 2007, stelde onderzoekers in staat de intensieve berekeningen uit te voeren die nodig zijn voor deep learning.
Ten derde hebben algoritmische verbeteringen, met name het gebruik van de ReLU-activeringsfunctie in plaats van de traditionele sigmoidfuncties, de training aanzienlijk versneld. Deze convergentie maakte het uiteindelijk mogelijk om de theoretische basis uit de jaren tachtig in de praktijk te brengen.
Welke doorbraak markeerde het begin van de Deep Learning-revolutie?
De doorslaggevende doorbraak kwam op 30 september 2012 met de overwinning van AlexNet in de ImageNet-competitie. Het convolutionele neurale netwerk, ontwikkeld door Alex Krizhevsky, Ilya Sutskever en Geoffrey Hinton, behaalde een top-5 foutpercentage van 15,3 procent, meer dan 10 procentpunten beter dan het algoritme dat op de tweede plaats eindigde.
AlexNet was de eerste succesvolle combinatie van diepe neurale netwerken, grote datasets en GPU-computing. Opmerkelijk genoeg vond de training plaats op slechts twee NVIDIA-videokaarten in de slaapkamer van Krizhevsky. Dit succes bewees aan de wetenschappelijke gemeenschap dat deep learning niet alleen theoretisch interessant, maar ook praktisch superieur was.
Het succes van AlexNet leidde tot een reeks ontwikkelingen. Al in 2015 overtrof het SENet-model, met een foutpercentage van 2,25 procent, zelfs het menselijke herkenningspercentage van ImageNet. Deze dramatische verbetering in slechts enkele jaren toonde het enorme potentieel van deep learning-technologie aan.
Welke rol speelde de Transformer-architectuur?
In 2017 publiceerde een team van Google het baanbrekende artikel "Attention Is All You Need", waarin de Transformer-architectuur werd geïntroduceerd. Deze architectuur bracht een revolutie teweeg in de natuurlijke taalverwerking door volledig te vertrouwen op aandachtmechanismen en de noodzaak voor terugkerende neurale netwerken te elimineren.
Wat transformermodellen zo bijzonder maakt, is hun vermogen tot parallelle verwerking: waar eerdere modellen woord voor woord sequentieel moesten werken, kunnen transformermodellen complete zinnen tegelijk verwerken. Het zelfaandachtsmechanisme stelt het model in staat de relaties tussen alle woorden in een zin te begrijpen, ongeacht hun positie.
De Transformer-architectuur vormde de basis voor alle moderne, belangrijke taalmodellen, van BERT en GPT tot Gemini. Het oorspronkelijke artikel was in 2025 al meer dan 173.000 keer geciteerd en wordt beschouwd als een van de meest invloedrijke wetenschappelijke werken van de 21e eeuw.
Waarom is Google de toonaangevende pionier op het gebied van AI?
Volgens een analyse van Epoch AI is Google met 168 "belangrijke" AI-modellen verreweg de koploper. Deze dominantie kan worden verklaard door een aantal strategische beslissingen die het bedrijf in een vroeg stadium heeft genomen.
Google investeerde al in de jaren 2000 fors in AI-onderzoek en zag al vroeg het potentieel van neurale netwerken in. De overname van DeepMind in 2014 bracht extra expertise naar het bedrijf. Cruciaal was de release van het TensorFlow-framework als open source in 2015, wat de ontwikkeling van AI wereldwijd versnelde.
De bijdrage van Google aan de Transformer-architectuur was bijzonder belangrijk. Het artikel, gepubliceerd in 2017 door Google-onderzoekers, legde de basis voor de huidige generatieve AI. Voortbouwend hierop ontwikkelde Google BERT (2018), dat een revolutie teweegbracht in de natuurlijke taalverwerking, en later de Gemini-modellen.
De nauwe integratie van onderzoek en productontwikkeling bij Google heeft verder bijgedragen aan de grote zichtbaarheid van AI. AI-modellen zijn direct geïntegreerd in Google-diensten zoals Search, YouTube en Android, wat bijdraagt aan het praktische gebruik en daarmee aan de criteria voor "opmerkelijke" modellen.
Dit is hiermee gerelateerd:
Hoe hebben Microsoft, OpenAI en Meta zich ontwikkeld?
Microsoft staat op de tweede plaats met 43 noemenswaardige AI-modellen. Het bedrijf profiteerde van zijn strategische partnerschap met OpenAI, waarin Microsoft enkele miljarden dollars investeerde. Deze samenwerking stelde Microsoft in staat om GPT-modellen al vroeg te integreren in producten zoals Bing en Copilot.
OpenAI staat met 40 modellen op de derde plaats, ondanks dat het pas in 2015 is opgericht. De ontwikkeling van de GPT-serie, van GPT-1 (2018) tot de huidige modellen zoals GPT-4 en o3, heeft OpenAI gevestigd als een toonaangevende ontwikkelaar van grote taalmodellen. ChatGPT, dat in 2022 werd uitgebracht, bereikte binnen vijf dagen een miljoen gebruikers en bracht AI onder de aandacht van het grote publiek.
Meta (Facebook) ontwikkelde de LLaMA-serie met 35 modellen als open-source alternatief voor propriëtaire modellen. De LLaMA-modellen, met name LLaMA 3 en de recentere LLaMA 4, hebben aangetoond dat open-source modellen kunnen concurreren met propriëtaire oplossingen.
Dit is hiermee gerelateerd:
Wat maakt een AI-model "opmerkelijk"?
Epoch AI definieert een AI-model als "opmerkelijk" als het aan ten minste één van de vier criteria voldoet. Ten eerste moet het een technische verbetering ten opzichte van een erkende benchmark aantonen. Ten tweede moet het een hoge citatiescore behalen van meer dan 1000 citaties. Ten derde kan historische relevantie een criterium zijn, zelfs als het model technisch gezien inmiddels verouderd is. Ten vierde wordt er rekening gehouden met significant praktisch nut.
Deze definitie richt zich niet alleen op technologische vooruitgang, maar ook op de daadwerkelijke impact en relevantie in de wetenschappelijke en economische sferen. Een model kan daarom als noemenswaardig worden beschouwd als het breed toegepast wordt in de praktijk, zelfs als het niet per se het meest technologisch geavanceerde model is.
De Epoch AI-database bevat meer dan 2400 machine learning-modellen uit de periode van 1950 tot heden, waarmee het de grootste openbaar beschikbare verzameling in zijn soort is. Deze uitgebreide dataset maakt een gedegen analyse van de AI-ontwikkeling gedurende meer dan 70 jaar mogelijk.
Hoe ontwikkelde AI zich vóór het tijdperk van Deep Learning?
De geschiedenis van kunstmatige intelligentie vóór 2010 werd gekenmerkt door cycli van optimisme en teleurstelling. In de jaren vijftig en zestig heerste er groot optimisme, gesymboliseerd door Frank Rosenblatts Perceptron (1957). Deze vroege neurale netwerken wekten de hoop op de spoedige komst van kunstmatige intelligentie.
De eerste AI-winter begon begin jaren zeventig, ingegeven door het boek van Marvin Minsky en Seymour Papert over de beperkingen van perceptrons (1969). Het Lighthill-rapport uit 1973 voor het Britse parlement leidde tot drastische bezuinigingen op onderzoeksfinanciering. Deze periode duurde tot ongeveer 1980 en vertraagde het AI-onderzoek aanzienlijk.
In de jaren tachtig was er een herstel dankzij expertsystemen zoals MYCIN, een medisch diagnosesysteem. Tegelijkertijd ontwikkelden Geoffrey Hinton, David Rumelhart en Ronald Williams in 1986 het backpropagatie-algoritme, waardoor neurale netwerken trainbaar werden. Al in 1989 ontwikkelde Yann LeCun LeNet, een vroeg convolutioneel neuraal netwerk voor handschriftherkenning.
De tweede AI-winter volgde eind jaren tachtig, toen de hooggespannen verwachtingen van expertsystemen en LISP-machines niet werden waargemaakt. Deze fase duurde tot in de jaren negentig en werd gekenmerkt door scepsis ten opzichte van neurale netwerken.
Welke technologische fundamenten maakten deep learning mogelijk?
Drie cruciale doorbraken maakten de revolutie in deep learning mogelijk. De ontwikkeling van krachtige GPU's was fundamenteel, omdat deze de parallelle verwerking van grote hoeveelheden data mogelijk maakten. NVIDIA's CUDA-platform uit 2007 maakte GPU-computing toegankelijk voor machine learning.
Grote, hoogwaardige datasets vormden de tweede vereiste. ImageNet, gepubliceerd door Fei-Fei Li in 2010, was de eerste dataset met meer dan 10 miljoen gelabelde afbeeldingen. Deze hoeveelheid data was noodzakelijk om diepe neurale netwerken effectief te trainen.
Algoritmische verbeteringen vormden de derde pijler. Het gebruik van de ReLU-activeringsfunctie in plaats van sigmoidfuncties versnelde de training aanzienlijk. Verbeterde optimalisatiemethoden en regularisatietechnieken zoals dropout hielpen bij het oplossen van het overfittingprobleem.
Hoe hebben de rekenkosten voor AI-training zich ontwikkeld?
De trainingskosten voor AI-modellen zijn exponentieel gestegen. Het oorspronkelijke Transformer-model kostte in 2017 slechts $930 om te trainen. BERT-Large kostte in 2018 al $3.300, terwijl GPT-3 in 2020 ongeveer $4,3 miljoen kostte.
Moderne modellen bereiken nog extremere kosten: GPT-4 kostte naar schatting 78,4 miljoen dollar, terwijl Google's Gemini Ultra, met ongeveer 191,4 miljoen dollar, mogelijk het duurste model is dat tot nu toe is getraind. Deze trend weerspiegelt de toenemende complexiteit en omvang van de modellen.
Volgens Epoch AI verdubbelt de benodigde rekenkracht voor training ongeveer elke vijf maanden. Deze ontwikkeling overtreft de wet van Moore ruimschoots en toont de snelle schaalvergroting van AI-onderzoek aan. Tegelijkertijd leidt dit tot een concentratie van AI-ontwikkeling in de handen van een paar bedrijven die over de benodigde middelen beschikken.
Dit is hiermee gerelateerd:
Welke uitdagingen staan de verdere ontwikkeling van AI in de weg?
De ontwikkeling van AI staat voor diverse grote uitdagingen. Redeneermodellen die geoptimaliseerd zijn voor complex logisch denken, zouden al in 2026 hun schaallimieten kunnen bereiken. De enorme rekenkosten beperken het aantal mensen dat kan deelnemen aan baanbrekend AI-onderzoek.
Technische problemen zoals hallucinaties, waarbij AI-systemen valse informatie genereren, zijn nog niet volledig opgelost. Tegelijkertijd ontstaan er ethische vragen door de mogelijkheid om misleidend realistische content te genereren, zoals blijkt uit de virale AI-afbeelding van de paus in een donsjas.
De beschikbaarheid van hoogwaardige trainingsdata vormt een steeds groter knelpunt. Veel modellen zijn al getraind met een groot deel van de beschikbare internetdata, waardoor nieuwe methoden voor datageneratie noodzakelijk zijn.
Welke invloed heeft de ontwikkeling van AI op de samenleving?
De revolutie in deep learning heeft nu al een enorme maatschappelijke impact. AI-systemen worden gebruikt in cruciale gebieden zoals medische diagnostiek, financiën en zelfrijdende auto's. Het potentieel voor positieve verandering is enorm, variërend van het versnellen van wetenschappelijke ontdekkingen tot het personaliseren van onderwijs.
Tegelijkertijd ontstaan er nieuwe risico's. De mogelijkheid om realistische nepcontent te creëren bedreigt de integriteit van informatie. Banen kunnen in gevaar komen door automatisering; het federale ministerie van Arbeid verwacht dat er tegen 2035 geen baan meer mogelijk zal zijn zonder AI-software.
De concentratie van AI-macht in de handen van een paar technologiebedrijven roept vragen op over democratische controle op deze krachtige technologie. Experts zoals Geoffrey Hinton, een van de pioniers van deep learning, hebben gewaarschuwd voor de potentiële gevaren van toekomstige AI-systemen.
De pioniers van de AI in het tijdperk van Deep Learning hebben een technologie gecreëerd die de potentie heeft om de mensheid fundamenteel te veranderen. Googles leidende rol in de ontwikkeling van 168 belangrijke AI-modellen, gevolgd door Microsoft, OpenAI en Meta, toont de concentratie van innovatiekracht in handen van een paar sleutelspelers. De Deep Learning-revolutie, die in 2010 begon en werd ingeluid door doorbraken zoals AlexNet en de Transformer-architectuur, heeft ons dagelijks leven al veranderd en zal dat in de toekomst nog veel ingrijpender doen. De uitdaging ligt in het benutten van deze krachtige technologie ten behoeve van de mensheid en tegelijkertijd de risico's ervan te minimaliseren.
Dit is hiermee gerelateerd:
Uw expert op het gebied van AI-transformatie, AI-integratie en AI-platformen
☑️ Onze zakelijke voertaal is Engels of Duits
☑️ NIEUW: Correspondentie in uw moedertaal!
Konrad Wolfenstein
Mijn team en ik staan graag tot uw beschikking als uw persoonlijke adviseur.
U kunt contact met mij opnemen door hier het contactformulier in te vullen wolfenstein@xpert.digital:of door mij te bellen op +49 7348 4088 965. Mijn e-mailadres is
Ik kijk uit naar ons gezamenlijke project.
