Avaldatud: 2. augustil 2025 / Uuendatud: 2. augustil 2025 – Autor: Konrad Wolfenstein
Kes on tehisintellekti pioneerid? Süvaõppe revolutsiooni põhjalik analüüs – Pilt: Xpert.Digital
Unustage ChatGPT: Google'i 2017. aasta artikkel „Tähelepanu on kõik, mida vajate” on tehisintellekti plahvatuse tegelik põhjus.
Mida mõeldakse süvaõppe ajastu all?
Süvaõppe ajastu viitab perioodile alates 2010. aastast, mil tehisintellekti areng on mitmete tehnoloogiliste läbimurrete tõttu põhimõtteliselt kiirenenud. See ajastu tähistab pöördepunkti tehisintellekti ajaloos, kuna esmakordselt tekkisid keerukate närvivõrkude treenimiseks vajalikud eeldused: piisav arvutusvõimsus, suured andmekogumid ja täiustatud algoritmid.
Mõiste "süvaõpe" viitab mitmekihilistele närvivõrkudele, mis suudavad andmetest automaatselt abstraktseid tunnuseid eraldada. Erinevalt varasematest lähenemisviisidest ei pea neid süsteeme enam konkreetsete tunnuste tuvastamiseks käsitsi programmeerima; selle asemel õpivad nad neid mustreid treeningandmetest sõltumatult.
Sobib selleks:
Miks algas süvaõppe revolutsioon just 2010. aastal?
2010. aasta oli pöördeline, kuna kohtusid kolm olulist arengut. Esiteks avaldati ImageNeti andmebaas, mis sisaldas üle 10 miljoni sildistatud pildi 1000 kategoorias, pakkudes seega esmakordselt piisavalt suurt andmekogumit süvaneuraalvõrkude treenimiseks.
Teiseks olid graafikaprotsessorid (GPU-d) muutunud piisavalt võimsaks, et võimaldada suurte andmemahtude paralleelset töötlemist. NVIDIA CUDA platvorm, mis toodi turule 2007. aastal, võimaldas teadlastel teha süvaõppeks vajalikke intensiivseid arvutusi.
Kolmandaks, algoritmilised täiustused, eriti ReLU aktiveerimisfunktsiooni kasutamine traditsiooniliste sigmoidfunktsioonide asemel, olid oluliselt kiirendanud treenimist. See lähenemine võimaldas lõpuks 1980. aastate teoreetilisi aluseid praktikas rakendada.
Milline läbimurre tähistas süvaõppe revolutsiooni algust?
Otsustav läbimurre saabus 30. septembril 2012, kui AlexNet võitis ImageNeti võistluse. Alex Krizhevsky, Ilja Sutskeveri ja Geoffrey Hintoni väljatöötatud konvolutsiooniline närvivõrk saavutas 15,3-protsendilise veamäära viie parima hulgas, mis on üle 10 protsendipunkti parem kui teise koha saanud algoritm.
AlexNet oli esimene edukas süvaneuraalvõrkude, suurte andmekogumite ja GPU-arvutuse kombinatsioon. Tähelepanuväärne on see, et koolitus toimus vaid kahel NVIDIA graafikakaardil Krizhevsky magamistoas. See edu tõestas teadusringkondadele, et süvaõpe pole mitte ainult teoreetiliselt huvitav, vaid ka praktiliselt parem.
AlexNeti edu vallandas rea arenguid. Juba 2015. aastal ületas SENeti mudel 2,25-protsendilise veamääraga isegi ImageNeti inimese tuvastamise määra. See dramaatiline edasiminek vaid mõne aastaga näitas süvaõppe tehnoloogia tohutut potentsiaali.
Milline roll oli Transformeri arhitektuuril?
2017. aastal avaldas Google'i meeskond murrangulise töö „Tähelepanu on kõik, mida vajate“, milles tutvustati Transformeri arhitektuuri. See arhitektuur muutis loomuliku keele töötlemist revolutsiooniliselt, tuginedes täielikult tähelepanu mehhanismidele ja kõrvaldades vajaduse rekurrentsete närvivõrkude järele.
Trafode eriliseks teeb nende võime paralleelselt töödelda: kui varasemad mudelid pidid töötama järjestikku, sõna-sõnalt, siis trafod suudavad töödelda terveid lauseid samaaegselt. Enesetähelepanu mehhanism võimaldab mudelil mõista kõigi lauses olevate sõnade vahelisi seoseid, olenemata nende asukohast.
Transformeri arhitektuurist sai alus kõigile tänapäevastele suurematele keelemudelitele, alates BERT-ist ja GPT-st kuni Geminini. Algset artiklit oli 2025. aastaks tsiteeritud enam kui 173 000 korda ja seda peetakse 21. sajandi üheks mõjukamaks teadustööks.
Miks on Google tehisintellekti juhtiv teerajaja?
Epoch AI analüüsi kohaselt on Google'il 168 „olulise” tehisintellekti mudeliga suur edumaa. Seda domineerimist saab seletada mitmete strateegiliste otsustega, mille ettevõte tegi varakult.
Google investeeris tehisintellekti uuringutesse suuresti juba 2000. aastatel ja tunnistas närvivõrkude potentsiaali juba varakult. DeepMindi omandamine 2014. aastal tõi ettevõttesse lisateadmisi. Oluline on see, et TensorFlow raamistiku avatud lähtekoodiga tarkvarana avaldamine 2015. aastal kiirendas tehisintellekti arendamist kogu maailmas.
Google'i panus Transformeri arhitektuuri oli eriti märkimisväärne. Google'i teadlaste 2017. aastal avaldatud artikkel pani aluse tänapäevasele generatiivsele tehisintellektile. Sellele tuginedes töötas Google välja BERTi (2018), mis muutis loomuliku keele töötlemist revolutsiooniliselt, ja hiljem Gemini mudelid.
Google'i tihe teadus- ja tootearenduse integreerimine aitas veelgi kaasa ettevõtte nähtavusele. Tehisintellekti mudelid on otse integreeritud Google'i teenustesse, nagu otsing, YouTube ja Android, mis aitab kaasa praktilisele kasutamisele ja seega ka „tähelepanuväärsete” mudelite kriteeriumidele.
Sobib selleks:
Kuidas Microsoft, OpenAI ja Meta arenesid?
Microsoft on 43 tähelepanuväärse tehisintellekti mudeliga teisel kohal. Ettevõte sai kasu strateegilisest partnerlusest OpenAI-ga, millesse Microsoft investeeris mitu miljardit dollarit. See koostöö võimaldas Microsoftil GPT-mudeleid varakult integreerida sellistesse toodetesse nagu Bing ja Copilot.
OpenAI, millel on 40 mudelit, on kolmandal kohal, hoolimata sellest, et see asutati alles 2015. aastal. GPT-seeria arendamine alates GPT-1-st (2018) kuni praeguste mudeliteni nagu GPT-4 ja o3 tegi OpenAI-st suurte keelemudelite juhtiva arendaja. 2022. aastal avaldatud ChatGPT jõudis viie päevaga miljoni kasutajani, tuues tehisintellekti avalikkuse ette.
Meta (Facebook) töötas välja 35 mudelist koosneva LLaMA seeria avatud lähtekoodiga alternatiivina patenteeritud mudelitele. LLaMA mudelid, eriti LLaMA 3 ja uuem LLaMA 4, näitasid, et avatud lähtekoodiga mudelid suudavad patenteeritud lahendustega konkureerida.
Sobib selleks:
Mis teeb tehisintellekti mudeli "tähelepanuväärseks"?
Epoch AI määratleb tehisintellekti mudeli „tähelepanuväärseks“, kui see vastab vähemalt ühele neljast kriteeriumist. Esiteks peab see näitama tehnilist edasiminekut võrreldes tunnustatud võrdlusalusega. Teiseks peaks see saavutama kõrge viitamismäära, üle 1000 viitamise. Kolmandaks võib kriteeriumiks olla ajalooline olulisus isegi siis, kui mudel on nüüd tehniliselt vananenud. Neljandaks võetakse arvesse olulist praktilist kasutamist.
See definitsioon ei keskendu mitte ainult tehnoloogilistele edusammudele, vaid ka tegelikule mõjule ja asjakohasusele teaduse ja majanduse valdkonnas. Seega võib mudelit pidada tähelepanuväärseks, kui see leiab laialdast praktilist rakendust, isegi kui see pole tingimata kõige tehnoloogiliselt arenenum.
Epochi tehisintellekti andmebaas sisaldab üle 2400 masinõppe mudeli aastast 1950 kuni tänapäevani, mis teeb sellest omataolise suurima avalikult kättesaadava kogu. See põhjalik andmestik võimaldab tehisintellekti arengu põhjalikku analüüsi enam kui 70 aasta jooksul.
Kuidas tehisintellekt enne süvaõppe ajastut arenes?
Tehisintellekti ajalugu enne 2010. aastat iseloomustasid optimismi ja pettumuse tsüklid. 1950. ja 1960. aastatel valitses suur optimism, mida sümboliseeris Frank Rosenblatti teos „Perceptron” (1957). Need varased närvivõrgud tekitasid lootust tehisintellekti peatseks saabumiseks.
Esimene tehisintellekti talv algas 1970. aastate alguses, mille vallandas Marvin Minsky ja Seymour Paperti raamat pertseptronite piiridest (1969). 1973. aastal Briti parlamendile esitatud Lighthilli aruanne tõi kaasa teadusuuringute rahastamise drastilise kärpimise. See periood kestis umbes 1980. aastani ja aeglustas tehisintellekti uuringuid märkimisväärselt.
1980. aastatel toimus taastumine tänu sellistele ekspertsüsteemidele nagu meditsiiniline diagnostikasüsteem MYCIN. Samal ajal, 1986. aastal, töötasid Geoffrey Hinton, David Rumelhart ja Ronald Williams välja tagasilevitamise algoritmi, mis muutis närvivõrgud treenitavaks. Juba 1989. aastal töötas Yann LeCun välja LeNeti, varajase konvolutsioonilise närvivõrgu käekirjatuvastuseks.
Teine tehisintellekti talv järgnes 1980. aastate lõpus, kui ekspertsüsteemide ja LISP-masinate suhtes seatud kõrged ootused pettusid. See faas kestis 1990. aastateni ja seda iseloomustas skeptitsism närvivõrkude suhtes.
Millised tehnoloogilised alused võimaldasid süvaõpet?
Süvaõppe revolutsiooni võimaldasid kolm olulist läbimurret. Võimsate graafikaprotsessorite (GPU-de) väljatöötamine oli ülioluline, kuna need võimaldasid suurte andmemahtude paralleelset töötlemist. NVIDIA CUDA platvorm alates 2007. aastast muutis graafikaprotsessorite arvutused masinõppe jaoks kättesaadavaks.
Teine nõue olid suured ja kvaliteetsed andmekogumid. Fei-Fei Li poolt 2010. aastal avaldatud ImageNet oli esimene, mis pakkus andmestikku, mis sisaldas üle 10 miljoni sildistatud pildi. See andmemaht oli vajalik süvaneuraalvõrkude tõhusaks treenimiseks.
Kolmanda samba moodustasid algoritmilised täiustused. ReLU aktivatsioonifunktsiooni kasutamine sigmoidfunktsioonide asemel kiirendas oluliselt treeningut. Täiustatud optimeerimismeetodid ja regulariseerimistehnikad, näiteks väljalangemine, aitasid lahendada ülekohandamise probleemi.
Kuidas on tehisintellekti koolituse arvutuskulud arenenud?
Tehisintellekti mudelite koolituskulud on hüppeliselt kasvanud. Algse Transformeri mudeli treenimine maksis 2017. aastal vaid 930 dollarit. BERT-Large maksis 2018. aastal juba 3300 dollarit, samas kui GPT-3 kulutas 2020. aastal ligikaudu 4,3 miljonit dollarit.
Tänapäevaste mudelite hinnad on veelgi äärmuslikumad: GPT-4 maksis hinnanguliselt 78,4 miljonit dollarit, samas kui Google'i Gemini Ultra, mille hind on umbes 191,4 miljonit dollarit, võib olla seni kõige kallim treenitud mudel. See trend peegeldab mudelite kasvavat keerukust ja suurust.
Epoch AI andmetel kahekordistub koolitamiseks vajalik arvutusvõimsus umbes iga viie kuu tagant. See areng ületab Moore'i seadust ja näitab tehisintellekti uuringute kiiret laienemist. Samal ajal viib see tehisintellekti arenduse koondumiseni väheste ettevõtete kätte, kellel on vajalikud ressursid.
Sobib selleks:
Millised väljakutsed seisavad tehisintellekti edasise arendamise ees?
Tehisintellekti arendamine seisab silmitsi mitmete oluliste väljakutsetega. Keerulise loogilise mõtlemise jaoks optimeeritud arutlusmudelid võivad oma skaleerimispiirini jõuda juba 2026. aastal. Tohutud arvutuskulud piiravad osalejate ringi, kes saavad tipptasemel tehisintellekti uuringutes osaleda.
Tehnilised probleemid, nagu hallutsinatsioonid, mille puhul tehisintellekti süsteemid genereerivad valeinformatsiooni, pole veel täielikult lahendatud. Samal ajal tekivad eetilised küsimused seoses petlikult realistliku sisu genereerimise võimalusega, nagu näitab viiruslikult levinud tehisintellekti pilt paavstist sulemantlis.
Kvaliteetsete treeningandmete kättesaadavus on üha enam pudelikaelaks muutumas. Paljusid mudeleid on juba treenitud suure osa saadaolevate internetiandmete abil, mis nõuab uusi lähenemisviise andmete genereerimiseks.
Kuidas tehisintellekti areng ühiskonda mõjutab?
Süvaõppe revolutsioonil on juba tohutu ühiskondlik mõju. Tehisintellekti süsteeme kasutatakse olulistes valdkondades, nagu meditsiiniline diagnostika, rahandus ja autonoomsed sõidukid. Positiivsete muutuste potentsiaal on tohutu, alates teaduslike avastuste kiirendamisest kuni hariduse isikupärastamiseni.
Samal ajal tekivad uued riskid. Võimalus luua realistlikku võltsitud sisu ohustab teabe terviklikkust. Automatiseerimine võib ohustada töökohti ning föderaalne tööministeerium eeldab, et 2035. aastaks pole ükski töökoht ilma tehisintellekti tarkvarata võimalik.
Tehisintellekti võimu koondumine väheste tehnoloogiaettevõtete kätte tekitab küsimusi selle võimsa tehnoloogia demokraatliku kontrolli kohta. Eksperdid nagu Geoffrey Hinton, üks süvaõppe teerajajaid, on hoiatanud tulevaste tehisintellekti süsteemide võimalike ohtude eest.
Süvaõppe ajastu tehisintellekti pioneerid on loonud tehnoloogia, millel on potentsiaal inimkonda põhjalikult muuta. Google'i juhtpositsioon 168 olulise tehisintellekti mudeli väljatöötamisel, millele järgnesid Microsoft, OpenAI ja Meta, näitab innovatsioonijõu koondumist väheste võtmeisikute kätte. Süvaõppe revolutsioon, mis algas 2010. aastal ja mille algatasid läbimurded nagu AlexNet ja Transformeri arhitektuur, on juba muutnud meie igapäevaelu ja teeb seda tulevikus veelgi sügavamalt. Väljakutse seisneb selles, kuidas rakendada seda võimsat tehnoloogiat inimkonna hüvanguks, minimeerides samal ajal selle riske.
Sobib selleks:
Teie AI ümberkujundamine, AI integreerimine ja AI platvormi tööstuse ekspert
☑️ Meie ärikeel on inglise või sakslane
☑️ Uus: kirjavahetus teie riigikeeles!
Konrad Wolfenstein
Mul on hea meel, et olete teile ja minu meeskonnale isikliku konsultandina kättesaadav.
Võite minuga ühendust võtta, täites siin kontaktvormi või helistage mulle lihtsalt telefonil +49 89 674 804 (München) . Minu e -posti aadress on: Wolfenstein ∂ xpert.digital
Ootan meie ühist projekti.
