A katonai csapás az utolsó pillanatban leállt: Az ellenőrizetlen mesterséges intelligencia halálos kockázata

A világ legveszélyesebb mesterséges intelligencia hibája: Miért rendkívül veszélyesek az algoritmusok a hírszerző ügynökségeknél?

A mesterséges intelligencia okozta intelligenciahiba: Hogyan bénította meg majdnem a globális gazdaságot egy géppel generált hazugság?

Úgy hangzik, mint egy nagy horderejű politikai thriller forgatókönyve, de 2026 tavaszán majdnem lesújtó valósággá vált: Egy mesterséges intelligencia által generált hibás amerikai hírszerzési jelentés majdnem katonai eszkalációt váltott ki a Közel-Keleten. Mivel egy chatbot végzetesen félreértelmezett nyilvánosan elérhető információkat és minősített jeladatokat, egy kínai kereskedelmi hajót tévesen vádoltak meg nukleáris fegyveralkatrészek szállításával. Míg az amerikai katonai repülőgépek már a levegőben voltak, a riadótisztek az utolsó pillanatban lefújták a küldetést.

De ez az eset sokkal több, mint egy hallucináló gép története. Egy strukturális és gazdasági puskaporos hordót leplez le: Mi történik, ha a biztonságkritikus szervezetek – elvakítva a maximális hatékonyság ígéretétől – átadják az irányítást az algoritmusoknak? A következő szöveg egy olyan döntéshozatali lánc mély szakadékát elemzi, amelyben nem a technológia vallott kudarcot, hanem az intézmények, amelyek a sebességet a megváltoztathatatlan igazságnak hitték. Intő történet arról, hogy miért a legfontosabb és egyben a legsebezhetőbb termelési tényező a világrendünkben a nagymértékben automatizált folyamatok korában az emberi ítélőképesség.

Nem a mesterséges intelligencia vesztette el az irányítást – hanem egy szervezet, amely a sebességet az igazságnak hitte

Majdnem baleset globális robbanásveszélyes

2026 tavaszán egy hibás, mesterséges intelligencia segítségével generált amerikai hírszerzési jelentés kis híján egy kínai kereskedelmi hajó katonai letartóztatásához vezetett a Közel-Keleten. A jelenleg elérhető beszámoló szerint egy elemző egy chatbotot használt a hajó rakományával kapcsolatos információk kiértékeléséhez. A rendszer nyilvánosan elérhető információkat kombinált a minősített jelzőadatokkal, és tévesen arra a következtetésre jutott, hogy a hajó nukleáris fegyverprogramhoz szükséges alkatrészeket szállított. Ennek alapján a katonai hatóságok megkezdték a támadásra való felkészülést. A fegyveres erőknek fel kellett szállniuk a hajóra, miközben a katonai repülőgépek állítólag már a levegőben voltak.

A műveletet látszólag röviddel a végrehajtás előtt leállították, miután a tisztek alaposabban megvizsgálták az információkat. Ez feltárta, hogy a rakomány kulcsfontosságú azonosítása megbízhatatlan volt, és hogy mesterséges intelligenciát használtak mind a tartalomelemzésben, mind az eredmények szabványosított formátumba történő lefordításában. A nyilvánosság számára továbbra sem világos, hogy milyen rakományt szállítottak valójában, melyik konkrét modellt használták, és milyen technikai vagy szervezési ellenőrzéseket végeztek előtte. Az incidens teljes rekonstrukciójával sem érkezett hivatalos megerősítés. Ezért különbséget kell tenni az események jelentett lényege, a valószínűsíthető következtetések és a fennmaradó megválaszolatlan kérdések között.

Gazdasági szempontból azonban ez az eset rendkívül releváns. Bemutatja, hogyan növelheti a generatív mesterséges intelligencia bevezetése a biztonságkritikus szervezetekben a termelékenységet, miközben egyidejűleg megsokszorozza az egyéni hibák okozta potenciális károkat. Egy tipikus irodai folyamatban egy kitalált állítás hibás prezentációhoz vagy szükségtelen utasításhoz vezethet. Egy katonai döntéshozatali folyamatban ugyanaz a hibatípus befolyásolhatja az emberi életeket, a kereskedelmi forgalmat, a biztosítási díjakat, az áruárakat, a pénzügyi piacokat és a nemzetközi kapcsolatokat. A technológia ugyanaz marad, de a helyes válasz gazdasági értéke és a helytelen válasz költsége drámaian megváltozik.

Az incidens tehát elsősorban nem egy hallucináló gépről szól. Hanem az ösztönző rendszerekről, az ellenőrzési architektúrákról, az információgazdaságtanról és az intézményi elszámoltathatóságról. Egy mesterséges intelligencia nem tud szabályokat meghatározni, szervezeti kultúrát létrehozni, és felelősséget vállalni. Olyan kimeneteket generál egy rendszeren belül, amelyeket emberek szereznek be, konfigurálnak, használnak, tesztelnek és döntésekké alakítanak át. Amikor egy bizonytalan modellválasz látszólag megbízható hírszerzési jelentéssé válik, és ez katonai művelethez vezet, a fő probléma a teljes döntéshozatali értékláncban rejlik.

Gyorsított elemzés, gyorsított kockázatkezelés

A katonai és hírszerző szervezetek valódi adatproblémával szembesülnek. A műholdképek, kommunikációs adatok, hajómozgási adatok, szállítási dokumentumok, nyílt forráskódú adatok, szenzoradatok és helyzetjelentések mennyisége gyorsabban növekszik, mint ahogy az emberek manuálisan elemezni tudják azokat. A mesterséges intelligencia hatalmas mennyiségű információ feldolgozását, összefüggések feltárását és gyorsabb jelentéskészítést ígér. A gazdasági előnyök a keresési költségek csökkenésében, a feldolgozási kapacitás növekedésében és a gyorsabb döntéshozatali ciklusokban rejlenek. Ugyanezek az előnyök magyarázzák, hogy a vállalatok miért használnak generatív mesterséges intelligenciát a piacelemzésben, a jogi osztályokon, a logisztikában, az ügyfélszolgálatban és a kutatásban.

A sebesség azonban nem feltétlenül egyenlő a hatékonysággal. Egy folyamat csak akkor gazdaságilag hatékony, ha a gyorsítás többletelőnye meghaladja a hibákból és azok következményeiből eredő várható többletköltségeket. Egy alacsony kockázatú adminisztratív feladatban ésszerű lehet a tökéletlen mesterséges intelligencia használata, mivel a hibák olcsón korrigálhatók. Eltérő feltételek érvényesek egy nukleáris fegyverekkel rendelkező hajó elleni potenciális katonai beavatkozás esetén. A releváns tényező nem a rendszer átlagos pontossága, hanem a várható teljes kár. Ez egyszerűsíthető, ha a hiba bekövetkezésének valószínűségét megszorozzuk a kár lehetséges mértékével.

Ez a logika teszi a ritka szélsőséges eseményeket gazdaságilag olyan jelentőssé. Még ha egy modell 100 esetből 99-ben helyesen is működne, a fennmaradó hibaszázalék elfogadhatatlanná válhatna, amint egy téves pozitív fegyveres konfliktust válthatna ki. A magas átlagos teljesítmény ezért nem elegendő bizonyíték a műveleti készenlétre. A kulcsfontosságú tényezők közé tartoznak a hibatípusok, a műveleti kontextus, a bizonytalansági mutató, az adatok eredete, a támadási vektorok és a szervezet azon képessége, hogy időben cáfolja a kimenetet.

Ehhez jön még a döntéshozatali idő lerövidülése. A mesterséges intelligencia nemcsak lerövidíti az elemzést, hanem növeli a gyorsabb cselekvésre való nyomást is. Amint egy szervezet technikailag képes az információk percek alatti kiértékelésére órák helyett, a működési ütemmel kapcsolatos elvárások megváltoznak. Ami elsőre időmegtakarításnak tűnik, az így új kötelezettséggé válhat. A vezetők azonnali helyzetfelismerést várnak el, az elemzőknek több eredményt kell szolgáltatniuk, az egységek pedig korábban kezdik meg a felkészülést. A megnövelt időt ezután nem további áttekintésre fordítják, hanem egy felgyorsult működési ciklus nyeli el.

Ez egy termelékenységi paradoxont ​​teremt. A technológia az első szakaszban munkaidőt takarít meg, de a későbbi szakaszokban új tesztelési, dokumentációs és validációs költségeket generál. Ha ezeket a költségeket nem vesszük figyelembe, a mesterséges intelligencia üzleti szempontból költséghatékonyabbnak tűnik, mint amilyen valójában. A szervezet elkönyveli a megtakarított elemzői órákat, miközben a hibás döntések kockázata diffúz külső teherként marad a projekt költségvetésén kívül. Ez a szétválasztás ösztönzi a túlzottan gyors megvalósítást.

Az igazi hiba a folyamatláncban rejlett

A kritikus gyengeség látszólag nem csak a szállítmány helytelen azonosítása volt. Problemásabb volt az a tény, hogy a hibás következtetés több szervezési szakaszon is áthaladhatott anélkül, hogy időben felismerték volna géppel generált és nem kellően ellenőrzött állításként. Ez az információforrás, a címkézés, a keresztellenőrzés és a jóváhagyási folyamatok hibájára utal. Egy robusztus rendszernek több ponton is meg kellett volna állnia: az érzékeny adatok bevitelekor, a különböző típusú források keverésekor, a rakományértékelés során, a jelentéskészítés során és legkésőbb az operatív tervezés során.

A mesterséges intelligencia második felhasználási módja az eredmények formázására különösen problematikus. A szabványosított jelentések elengedhetetlenek a nagy szervezetek számára, mivel biztosítják az olvashatóságot, az összehasonlíthatóságot és a gyors terjesztést. Ugyanakkor az ismerős formátum intézményi tekintélyt kölcsönöz egy állításnak. Ha egy nyelvileg csiszolt, formailag helyes jelentés ugyanolyan felülettel rendelkezik, mint egy hagyományosan kutatott termék, a címzettek már nem ismerhetik fel létrehozásának bizonytalanságát. A forma minőségi jelzéssé válik, annak ellenére, hogy semmit sem mond a tartalom minőségéről.

Ez az aszimmetrikus információ egy gazdasági problémáját illusztrálja. Ideális esetben a szerző ismeri a dokumentum létrehozásának történetét, de a címzettek elsősorban a készterméket látják. Ha a forrás, a modell, a bemenetek, a bizonytalanságok és az ellenőrzési lépések nem kerülnek átláthatóan nyilvánosságra, a címzett nem tudja megfelelően felmérni a kockázatot. A mesterséges intelligencia által generált eredményt úgy kezelhetik, mint egy ismételten validált emberi elemzést. Ez összehasonlítható egy olyan pénzügyi termékkel, amelynek kockázati szerkezete egy ismerős besorolás mögött rejtve marad.

A mesterséges intelligencia két egymást követő szakaszban történő használata súlyosbíthatja a hibát. Először is, a rendszer téves következtetést generál vagy fogad el. Ezután egy másik, mesterséges intelligencia által támogatott folyamat meggyőzően, következetesen és professzionálisan fogalmazza meg ezt a következtetést. A második szakasz nem feltétlenül igazolja az elsőt, hanem inkább növeli annak nyelvi hitelességét. A bizonytalanság hangvételében bizonyossággá alakul. Ez a szemantikai kibővítés veszélyes a biztonságkritikus folyamatokban, mivel a döntéshozók gyakran időnyomás alatt, tömörített termékek alapján cselekszenek.

Egy hatékony kontrollrendszernek ezért nemcsak az egyes modellválaszokat kell értékelnie, hanem a teljes információs láncot is. Minden transzformáció elveszítheti a nyomonkövethetőséget, simíthatja a valószínűségeket és eltörölheti a fenntartásokat. Egy nyers megfigyelésből osztályozás lesz, az osztályozásból fenyegetési feltételezés, a feltételezésből jelentés, a jelentésből pedig cselekvési lehetőség. Ha minden szakasz ellenőrzés nélkül átveszi az előzőt, az eredmény nem független megerősítés, hanem korreláló hibák kaszkádja.

Miért nem elég az ember a ciklusban?

A katonai MI-kockázatokra adott leggyakoribb politikai válasz az, hogy egy embernek továbbra is részt kell vennie a döntéshozatali folyamatban. Ez megnyugtatóan hangzik, de nem teljes. Egy olyan ember, aki csupán jóváhagyását adja egy nagymértékben automatizált folyamat végén, nem jelent hatékony felügyeletet. Lényeges, hogy ennek a személynek elegendő idővel, szakértelemmel, az elsődleges adatokhoz való hozzáféréssel és intézményi szabadsággal kell rendelkeznie ahhoz, hogy megkérdőjelezze a gépet. Ezen előfeltételek nélkül az ember csupán egy formális aláírássá válik egy előre strukturált döntésen.

Az automatizálási torzítás akkor keletkezik, amikor az emberek jobban bíznak a gépek ajánlásaiban, mint amennyit azok tényleges megbízhatósága indokolna. Ez azonban nem elkerülhetetlen reflex, és nem minden helyzetben egyformán fordul elő. A bizalom a tapasztalattól, a munkaterheléstől, a prezentációtól, a szervezeti kultúrától és a rendszer észlelt tekintélyétől függ. A hatékony eszközök különösen akkor válhatnak problematikussá, ha általában hasznos eredményeket hoznak. Ritka hibák ilyenkor fordulnak elő egy magas alapvető elfogadottságú környezetben.

Katonai környezetben a hierarchia és az időnyomás súlyosbítja a problémát. Ha egy szabványosított jelentést már több szinten köröztettek, és az egységek megkezdték az előkészületeket, az ellenvélemény pszichológiai és szervezeti költségei megnőnek. Az elemzőnek vagy tisztnek, aki leállítja a folyamatot, nemcsak az információkat kell megkérdőjeleznie, hanem lelassítania a folyamatban lévő intézményi mozgósítást is. Minél tovább halad a folyamat, annál nagyobb az elsüllyedt költségek, a megerősítési torzítás és a valós fenyegetés alábecslésétől való félelem hatása.

Ezért a valódi emberi felügyeletnek a működési szakasz előtt kell elkezdődnie. Ehhez egyértelmű küszöbértékekre van szükség a független megerősítéshez, kötelező keresztelemzésre, valamint a megfigyelés, a gépi értelmezés és az emberi ítélet látható szétválasztására. Különösen jelentős döntések esetén egy második, szervezetileg független egységnek kell felülvizsgálnia a bemeneti adatokat. Továbbá, a mesterséges intelligencia által javasolt javaslatok elutasításának karriersemlegesnek kell lennie. Ha a gyorsaságot jutalmazzák, a késedelmet pedig büntetik, a felügyelet papíron létezhet, de elveszíti gyakorlati hatékonyságát.

A kulcsfontosságú képlet tehát nem az „emberi részvétel a folyamatban”, hanem inkább a hatékony emberi ítélőképesség egy ellenőrizhető döntéshozatali láncban. Egy személynek képesnek kell lennie arra, hogy szüneteltesse a folyamatot, forrásokat konzultáljon, alternatívákat kérjen, és a bizonytalanságot felfelé jelezze. Azt is tudnia kell, hogy mikor működik egy modell a tervezett hatókörén kívül. E kompetencia nélkül az emberi részvétel pusztán dekoratív irányítássá válik.

Egy félrevezetett eszkaláció gazdasági ára

Egy elfogási művelet közvetlen katonai költségei csak kis részét tették volna ki a potenciális károknak. Egy kínai hajó erőszakos lefoglalása diplomáciai ellenintézkedéseket, katonai válaszlépéseket, szankciókat vagy megtorló intézkedéseket válthatott volna ki. Még nyílt hadviselés nélkül is valószínűleg magasabb kockázati prémiumokra lett volna szükség a hajózásban és a légi közlekedésben. A hajózási társaságok módosították volna az útvonalakat, a biztosítók felárakat követeltek volna, a vállalatok pedig további készleteket halmoztak volna fel. Ezek a reakciók tőkét kötnek le és növelik a tranzakciós költségeket.

A Közel-Kelet kiemelkedő fontosságú az energiaellátás és a globális kereskedelem szempontjából. Az Egyesült Államok és Kína közötti konfrontáció ebben a régióban drasztikusan megváltoztatta volna a geopolitikai kockázatokról alkotott képet. Az olaj- és gázárak nemcsak a tényleges ellátási zavarokra reagálnak, hanem a jövőbeli szűkösségre vonatkozó várakozásokra is. A magasabb energiaárak terhet rónának a szállításra, a vegyiparra, a mezőgazdaságra és az energiaigényes iparágakra. Ugyanakkor a biztonságos befektetések felértékelődhetnek, a tőzsdék nyomás alá kerülhetnek, és a kockázatosabb vállalatok finanszírozási költségei emelkedhetnek.

A legnagyobb gazdasági kockázatot a bizonytalanság láncreakciója jelentette volna. A piacok viszonylag gyorsan feldolgozzák az ismert károkat, de a nem egyértelmű eszkalációs utak különösen nagy volatilitást generálnak. Amikor sem az érintett országok szándékai, sem a reakciók korlátai nem láthatók, a vállalatok egyszerre több forgatókönyvet is beáraznak. A beruházásokat elhalasztják, a szállítási szerződéseket lerövidítik, a készpénztartalékokat pedig növelik. Ez az óvatosság az egyes vállalatok számára racionális, de makrogazdasági szinten gyengítheti a keresletet és a termelékenységet.

Az USA és Kína közötti kereskedelmi kapcsolatokat is érintette volna a válság. A stratégiai rivalizálás ellenére a két gazdaság továbbra is összekapcsolódik az áruk, a köztes termékek, a technológia, a tőke és az értékesítési piacok révén. Egy katonai konfrontáció felgyorsíthatná az exportellenőrzéseket, a szankciós rendszereket és a befektetések átvilágítását. A félvezetők, az elektronika, a gépészet, az akkumulátorok, a tengeri logisztika és a kritikus nyersanyagok különösen sebezhetőek lennének. A vállalatoknak nemcsak a költségek és a minőség, hanem egyre inkább a politikai ellenálló képesség alapján kellene strukturálniuk ellátási láncaikat.

Európa és Németország számára egy ilyen konfliktus nem jelentene távoli biztonsági problémát. A német ipar az exportorientált üzleti modellektől, a globális ellátási hálózatoktól és a stabil tengeri kapcsolatoktól függ. A magasabb szállítási és energiaköltségek nyomást gyakorolnának a haszonkulcsokra, míg az Egyesült Államok és Kína közötti kényszerű gazdaságpolitikai álláspont megnehezíthetné a piacra jutást. Különösen a kis- és középvállalkozások (kkv-k) rendelkeznek gyakran kevesebb pénzügyi tartalékkal és kevesebb alkupozícióval ahhoz, hogy párhuzamos ellátási láncokat hozzanak létre több geopolitikai régióban.

Ez az eset a negatív externália egy szélsőséges formáját illusztrálja. Egy MI-alkalmazás felhasználói nem viselik automatikusan hibás döntésük minden költségét. Egy elemző, egy egység vagy egy technológiai projekt helyi szinten profitálhat a sebességből, míg a kockázat nagy része a katonákra, a kereskedelmi partnerekre, az adófizetőkre és a globális gazdaságra hárul. Ahol a magán- vagy szervezeti előnyök és a társadalmi károk eltérnek egymástól, szigorúbb szabályozásra van szükség, mint a hagyományos szoftverpiacokon.

A Biztonsági és Védelmi Központ szakértői tanácsokkal és naprakész információkkal támogatja a vállalatokat és szervezeteket az európai biztonság- és védelempolitikában betöltött szerepük megerősítésében. Szorosan együttműködve az SME Connect Defence munkacsoporttal, különösen azokat a kis- és középvállalkozásokat (kkv-kat) támogatja, amelyek tovább kívánják fejleszteni innovatív kapacitásukat és versenyképességüket a védelmi ágazatban. Központi kapcsolattartó pontként a Központ így kulcsfontosságú hidat teremt a kkv-k és az európai védelmi stratégia között.

Ehhez kapcsolódóan:

• Az SME Connect Defence Working Group – A kkv-k megerősítése az európai védelemben

A biztonság, mint alábecsült termelési tényező

A gazdasági elemzések gyakran kormányzati keretrendszerként, nem pedig termelési eszközként kezelik a biztonságot. A valóságban a geopolitikai stabilitás a nemzetközi munkamegosztás alapja. A vállalatok hosszú távra fektetnek be, amikor a tulajdonjogok, a szállítási útvonalak, a fizetési rendszerek és a politikai kapcsolatok kellően kiszámíthatóak. Minden további eszkalációs kockázat láthatatlan adóként hat a kereskedelemre és a tőkefelhalmozásra.

A mesterséges intelligencia mindkét irányban befolyásolhatja ezt a termelési tényezőt. Helyes használat esetén javítja a felderítést, a karbantartást, a kibervédelmet, a logisztikát és a helyzetfelismerést. Segíthet az ellentmondásos adatok azonosításában, tehermentesítheti a szűkös személyzetet, és gyorsabban kivizsgálhatja a téves riasztásokat. Helytelen használat esetén azonban felgyorsítja a fenyegetésértékelést, illuzórikus előrejelzéseket generál, és csökkenti a diplomáciára rendelkezésre álló időt. Ezért a katonai mesterséges intelligencia gazdasági értékét nem szabad kizárólag a telepítési sebesség vagy a személyzeti megtakarítások alapján mérni.

Egy átfogó költségelemzésnek az elkerült hibákat, az eszkalációs kockázatokat és a bizalomvesztést is tartalmaznia kellene. Ez módszertanilag nehéz, mivel egy megelőzött incidens nem figyelhető meg közvetlenül. Mindazonáltal a szervezetek modellezhetik a forgatókönyveket, stresszteszteket végezhetnek, és felmérhetik a különböző hibaosztályok várható kárát. Egy olyan rendszer, amely gazdaságilag vonzó a rutinfeladatokhoz, ezért alkalmatlan lehet az eszkalációval kapcsolatos döntések meghozatalára. Ez a megkülönböztetés azért kulcsfontosságú, mert a mesterséges intelligencia kifejezés nagyon különböző alkalmazásokat foglal magában.

A gazdaságilag megalapozott következtetés nem az, hogy a katonai mesterséges intelligenciát teljes mértékben el kell utasítani. Teljes felhagyása költségekkel is járna: lassabb elemzés, megnövekedett személyzeti terhelés, elmulasztott minták és potenciálisan rosszabb döntések azokkal az ellenfelekkel szemben, akik intenzíven használják az ilyen rendszereket. Használatát azonban a károk potenciáljához igazítani kell. Minél nehezebb egy rossz döntést visszavonni, annál magasabb követelményeknek kell lenniük az adatminőséggel, a nyomon követhetőséggel, a független felülvizsgálattal és az emberi engedélyezéssel szemben.

Amikor a hatékonyság rossz ösztönzőket teremt

A generatív mesterséges intelligencia gyors terjedését egy erőteljes intézményi narratíva vezérli. A szervezetek nem akarnak technológiailag lemaradni, a vezetők mérhető termelékenységi növekedést várnak, a szállítók pedig egyre erősebb modelleket ígérnek egyre rövidebb időközönként. Ebben a környezetben az óvatosságot könnyen bürokráciának tekintik. Azok, akik gyorsan implementálnak egy alkalmazást, sikereket tudnak felmutatni; azok viszont, akik megakadályozzák a kockázatos telepítéseket, gyakran nem hoznak nyilvánosan látható eredményeket.

Ez az aszimmetria torzítja a döntéseket. A gyorsított elemzés előnyei azonnal megmutatkoznak olyan mutatókban, mint a feldolgozási idő, a létrehozott jelentések száma vagy a megtakarított munkaórák. Egy ritka hiba költségei csak később és potenciálisan egy másik szervezeti egységben jelennek meg. Ezért a mesterséges intelligenciát megvalósító projekt nem feltétlenül ugyanolyan kockázatértékeléssel bír, mint a katonai vezetés, a diplomácia vagy a nemzetgazdaság. Központosított irányítás nélkül a helyi optimalizálások rendszerszintű kockázattá válnak.

A beszerzési szerződések problémás ösztönzőket is teremthetnek. A beszállítókat gyakran a funkcionalitás, az integrációs sebesség és az ár alapján értékelik. A nehezebben mérhető jellemzők, mint például a bizonytalansági kalibráció, a nyomon követhetőség, a manipulált bemenetekkel szembeni ellenálló képesség vagy a kivételes körülmények közötti minőség, kisebb súllyal esnek latba. Egy modell lenyűgöző demonstrációt nyújthat, és ritka, de kritikus helyzetekben mégis kudarcot vallhat. Ezért, különösen a közbeszerzésben, a kontrollálható korlátok bemutatásának fontosabbnak kell lennie, mint a retorikai teljesítményígéreteknek.

Ehhez jön még a technológiai vezető szerepért folytatott politikai verseny. Amikor az államok attól tartanak, hogy lemaradnak a katonai MI-versenyben, csökken a hajlandóságuk a lassú tesztelési eljárások betartására. A biztonsági dilemma nyilvánvaló: mindkét fél felgyorsítja a folyamatot, mert elvárja a másiktól is ugyanezt. Ez ahhoz vezethet, hogy a rendszereket még a szabványok, a képzés és a tesztelési eljárások teljes kidolgozása előtt telepítik. Egyéni állam szempontjából ez védekező álláspontnak tűnik; azonban kollektíven növeli a félreértelmezések és a nem szándékos eszkaláció valószínűségét.

Egy józan gazdaságpolitikának ezért kiegészítő befektetésként kell kezelnie az innovációt és az irányítást. Az irányítás nem külső akadály, hanem a technológia szerves része. Egy megbízható naplózás, egyértelmű felelősségi körök és tartalék eljárások nélküli mesterséges intelligenciarendszer nem késztermék, hanem egy befejezetlen termelési folyamat. Az irányítás költségeit nem szabad visszamenőleg szabályozási poggyászként tekinteni. Kezdettől fogva az üzleti terv részei.

Adatfúzió az igazság garanciája nélkül

A jelentett eset azért is tanulságos, mert a chatbot állítólag különböző információforrásokat egyesített. Az adatfúzió tudásnövekedésnek hangzik, de elfedheti a bizonytalanságot. A nyílt források pletykákat, elavult bejegyzéseket, szándékos dezinformációt és egymásról másolt állításokat tartalmaznak. A titkos jelek értékesek lehetnek, de ezek is értelmezést igényelnek, és hiányosak lehetnek. A két terület egyetlen nyelvi modellel való kombinálása nem eredményez automatikusan jobb igazságot.

A generatív modellek statisztikai kapcsolatokkal és nyelvi hihetőségekkel dolgoznak. Az ellentmondásos bizonyítékokat koherens narratívává alakíthatják, még akkor is, ha az adatok nem teszik lehetővé végleges következtetés levonását. Maga ez a koherencia vonzó: az emberek nem töredékek kaotikus gyűjteményét kapják, hanem egy érthető választ. A nyelvi ellentmondások kiküszöbölése azonban összetéveszthető a látszólagos bizonytalanság kiküszöbölésével. A modell rendezi a világot, még akkor is, ha a világ abban a pillanatban nem rendezhető véglegesen.

A hírszerző szolgálatok számára ezért a származás kulcsfontosságú. Minden állításnak nyomon követhetőnek kell maradnia az eredeti forrásáig. Azonosíthatónak kell lennie, hogy az információ megfigyelésből, következtetésből, feltételezésből vagy gépi úton generáltból származik-e. Ugyanilyen fontosak az időbélyegek, a minősítési szint, a megbízhatósági értékelés és az ismert ellenindikátorok. Egy mesterséges intelligenciának nem szabad ezeket a jellemzőket egységes, folyékony szöveggé feloldania, hanem láthatóan meg kell őriznie azokat.

A források függetlensége gazdaságilag és analitikusan is jelentős. Tíz jelentés nem jelent tíz megerősítést, ha mindegyik ugyanazon az eredeti jelentésen alapul. A mesterséges intelligencia rendszerek figyelmen kívül hagyhatják az ilyen függőségeket, vagy nem tudják azokat átláthatóan bemutatni. A nyílt információs terekben gyorsan kialakulhat egy hamis többség, mivel a hírportálok, a közösségi média és az adatbázisok ugyanazt az állítást erősítik fel. Egy robusztus folyamatnak ezért nemcsak a forrásokat kell számba vennie, hanem azok genealógiai kapcsolatait is meg kell vizsgálnia.

Ezenkívül fennáll a manipulált bemeneti adatok veszélye. Ha a támadók tudják, hogy az automatizált rendszerek nyílt forráskódú és jelzőadatokat kombinálnak, szándékosan félrevezető nyomokat hagyhatnak. A hamis rakománycímkék, az összehangolt kiadványok vagy a manipulált dokumentumok előnyben részesíthetik a kívánt besorolást. Egy sebességre optimalizált rendszer így támadás célpontjává válik. A mesterséges intelligencia biztonsága ezért nemcsak a modellhibákat, hanem a stratégiai megtévesztést is magában foglalja.

A felelősségvállalás nem automatizálható

Egy kritikus incidens után gyakran megkezdődik egyetlen bűnös keresése. Az elemző kritikátlanul dolgozhatott, egy vezető túl elhamarkodottan cselekedhetett, vagy egy szállító nem magyarázta el megfelelően a terméke korlátait. A tisztán személyzeti alapú megközelítés azonban nem jár sikerrel. Ha egy rosszul megtervezett rendszeren belül sok ésszerűen gondolkodó ember elkövetheti ugyanazt a hibát, akkor az szervezeti probléma.

A felelősségnek ezért több szinten kell megnyilvánulnia. A felhasználók felelősek a megfelelő alkalmazásért és címkézésért. A felügyelők a jóváhagyásért, az erőforrások elosztásáért és a munkaterhelésért. A beszerzési osztályoknak meg kell határozniuk a biztonsági és nyomonkövethetőségi követelményeket. A műszaki vezetőknek képesnek kell lenniük a modellek tesztelésére és monitorozására, valamint anomáliák esetén blokkolni azokat. Végül a politikai vezetésnek kell eldöntenie, hogy mely feladatok delegálhatók generatív rendszerekre.

A felelősséget nem szabad annyira szétosztani, hogy végső soron senki ne legyen elszámoltatható. Egy egyértelmű szerepkör-architektúra megköveteli különösen a modell, az adat, a használati eset és a kiadás meghatározott tulajdonosait. Minden kritikus jelentés esetében nyomon követhetőnek kell lennie, hogy ki engedélyezte a gépi tanulást, ki vizsgálta felül az eredményt, és ki hagyta jóvá annak operatív felhasználását. Ez a nyomon követhetőség nemcsak a szankcionálást, hanem mindenekelőtt a tanulást is szolgálja.

Egy tanuló szervezetnek olyan kultúrára van szüksége, ahol a majdnem bekövetkezett eseményeket jelenteni lehet. Ez a konkrét eset pontosan azért értékes, mert a műveletet látszólag leállították. Ha a hangsúly kizárólag az egyéni büntetésen van, a jövőbeli felhasználók nagyobb valószínűséggel fogják eltitkolni a hibákat. Fordítva, ha a szabálysértéseket következmények nélkül tolerálják, akkor elvész a szorgalom ösztönzése. Amire szükség van, az egy igazságos biztonsági kultúra: egyértelmű szankciók a szándékos vagy súlyosan gondatlan szabálysértésekért, de biztonságos jelentési mechanizmusok az átláthatóan feltárt hibák és sebezhetőségek esetén is.

Ebben az architektúrában egy gép nem vállalhat erkölcsi vagy jogi felelősséget. Sem szándékkal, sem kötelességtudattal, sem a geopolitikai következmények megértésével nem rendelkezik. Még ha egy modell ajánlást is fogalmaz meg, a döntés intézményesen emberi marad. Ezért az olyan kifejezések, mint a „milliomos-algoritmus döntött” vagy az „algoritmus a hibás”, elhomályosítják, hogy ki tervezte a folyamatot és delegálta a hatalmat.

Robusztus ellenőrzési modell a magas kockázatú mesterséges intelligenciához

Egy hatékony kontrollmodell a használati esetek szigorú osztályozásával kezdődik. Az alacsony kockázatú feladatok, mint például a fordítás, az ütemezés vagy a formázás automatizálhatók az általános biztonsági szabályok szerint. Másrészt a katonai célpontok kiválasztását, a nukleáris fegyverek elterjedését, az ellenség azonosítását vagy az operatív beavatkozásokat befolyásoló elemzések a legmagasabb kockázati kategóriába tartoznak. Ezek külön rendszereket, speciálisan képzett felhasználókat és jelentősen szigorúbb jóváhagyási eljárásokat igényelnek.

Az adatoldalon elengedhetetlen a teljes eredetlánc. A bemeneteket, modellverziókat, rendszerutasításokat, lekért dokumentumokat, köztes lépéseket, emberi módosításokat és a végső kiadást mind naplózni kell. A cél nem a bizalmas információk szükségtelen terjesztése, hanem a későbbi és ideális esetben a folyamatos auditálás lehetővé tétele. E nyomkövetés nélkül senki sem tudja megbízhatóan rekonstruálni, hogyan jutottak el egy következtetésre.

Tartalmi szempontból minden következményállítást legalább egy, a mesterséges intelligencia kimenetétől független módszerrel meg kell erősíteni. Ez lehet az eredeti dokumentum manuális áttekintése, egy technikai mérés, egy második adatforrás vagy egy szervezetileg elkülönülő elemzőegység. Két válasz ugyanabból a modellből, vagy két hasonló betanítási adatokkal rendelkező modellből nem jelent valódi függetlenséget. Ugyanazt a hibát ismételhetik különböző megfogalmazásokkal.

Továbbá a rendszernek képesnek kell lennie a bizonytalanság kifejezésére. Egy olyan mesterséges intelligenciát, amelytől mindig egyértelmű választ várnak el, a pontosság hamis érzetébe kényszerítenek. Elégtelen adatmennyiség esetén a helyes kimenetnek képesnek kell lennie arra, hogy kijelentse, hogy nem lehetséges megbízható osztályozás. Ezt a mulasztást nem szabad automatikusan a teljesítménymutatók kudarcaként értelmezni. Magas kockázatú környezetben a bizonytalanság időben történő kifejezése gyakran értékesebb, mint egy elhamarkodott feltételezés.

A működési küszöbértékeket egyértelműen meg kell határozni. Egyetlen mesterséges intelligencia által támogatott elemzés nem lehet elegendő alap az erőszak alkalmazására. Minél nagyobb a károkozás lehetősége, annál több független megerősítésre és hierarchikus szintre van szükség. Ugyanakkor a vörös csapatnak kötelezővé kell tenni alternatív magyarázatok kidolgozását. Feladata nem az uralkodó hipotézis kismértékű javítása, hanem annak aktív cáfolata.

Végül technikai és szervezeti leállítási mechanizmusokra van szükség. Egy problémás modellnek rövid időn belül el kell tudnia távolítani a kritikus folyamatokból anélkül, hogy a teljes működés összeomlana. Ehhez manuális tartalék eljárásokra van szükség. Azok a szervezetek, amelyek minden meglévő képességüket leállítják pusztán azért, mert a mesterséges intelligencia kezdetben hatékonyabbnak tűnik, függővé válnak, és elveszítik a cselekvési képességüket meghibásodás esetén.

Tanulságok vállalkozások és közigazgatás számára

Bár az incidens a katonai szférából származik, alapvető mintázatai a vállalkozásokra is vonatkoznak. Egy mesterséges intelligencia által generált téves ítélet befolyásolhatja a hiteldöntéseket, a megfelelőségi ellenőrzéseket, a személyzeti intézkedéseket, a beszállítók értékelését vagy a stratégiai beruházásokat. A kár mértéke általában kisebb, mint egy katonai eszkaláció esetén, de a hibák mögött meghúzódó logika hasonló. Különösen kockázatosak azok a folyamatok, amelyek során egy géppel generált eredményt ismerős dokumentumformátumba konvertálnak, majd látható eredet nélkül továbbítanak.

A vállalatoknak ezért különbséget kell tenniük a segítségnyújtás és a döntéshozatal között. Egy rendszer képes információkat keresni, vázlatokat készíteni és kiemelni az esetleges ellentmondásokat. A jóváhagyást igénylő döntésekért azonban továbbra is egy erre jogosult személy a felelős. Ennek a személynek hozzáférésre van szüksége a forrásokhoz, és nem csak a kész narratívát kell látnia. Aki csupán jóváhagy egy professzionálisan megírt összefoglalót, az nem a tartalmat, hanem annak felszínét ellenőrzi.

A fő teljesítménymutatókat (KPI-kat) is módosítani kell. Egy MI-projekt kizárólag az időmegtakarítás alapján történő mérése perverz ösztönzőket eredményez. Jelentősebbek a kombinált mutatók, beleértve a termelékenységet, a korrekciós arányt, a hibák súlyosságát, az ellenőrizhető állítások arányát és az időben azonosított bizonytalanságok számát. A magas kockázatú folyamatok esetében azt is fel kell mérni, hogy az emberek milyen gyakran emelnek érvényes kifogásokat a MI-vel szemben. A nulla kifogásolási arány tökéletes technológiára utalhat, de valószínűbb, hogy a felügyelet hiányát jelzi.

A középvállalkozások számára egy teljesen házon belüli műszaki megoldás kidolgozása általában irreális. Ez még fontosabbá teszi a szolgáltatókkal kötött egyértelmű szerződéseket. A vállalatoknak információkra van szükségük a modellváltozásokról, a tárolási helyekről, az alvállalkozókról, a naplózásról, a biztonsági incidensekről és a bevitt adatok felhasználásáról. Egy olcsó szolgáltatás drágává válhat, ha érzékeny információk szivárognak ki, vagy a döntések ellenőrizhetetlenné válnak.

A közigazgatás további kihívással néz szembe. Döntéseinek nemcsak gazdaságilag hatékonynak, hanem jogszerűnek, átláthatónak és megtámadhatónak is kell lenniük. Minél inkább a mesterséges intelligencia alakítja egy döntés indoklását, annál fontosabbá válik a világos dokumentáció. A polgárokat és a vállalkozásokat nem szabad azzal a magyarázattal megtéveszteni, hogy egy modell kockázatot azonosított. A kormányzati intézkedésekhez indokolt, emberileg igazolható magyarázatra van szükség.

Innovációs politika a verseny és az elővigyázatosság között

A politikai konfliktust gyakran a technológiai erő és a szabályozás közötti választásként ábrázolják. Ez a szembeállítás hibás. Azok az államok, amelyek felelőtlenül alkalmaznak magas kockázatú mesterséges intelligenciát, rövid távon előnyre tehetnek szert, de hosszú távon kockáztatják a bizalom, a szövetségkötési képesség és a működési megbízhatóság elvesztését. Egy látványos kudarc késleltetheti a projekteket, befagyaszthatja a költségvetéseket és növelheti a közvélemény ellenállását. A hatékony szabályozás ezért az innovációt is védi.

Ugyanakkor az óvintézkedések nem vezethetnek általános tilalomhoz, amely szükségtelenül akadályozza a polgári és alacsony kockázatú alkalmazásokat. A kockázatalapú megközelítés gazdaságilag jobb. Olyan területeken koncentrálja az erőforrásokat, ahol a helytelen döntések visszafordíthatatlanok, rendszerszintűek vagy életveszélyesek. Más szabályok megfelelőek az egyszerű szövegszerkesztéshez, mint a célpontok kiválasztásához, az orvosi kezeléshez vagy a kritikus infrastruktúrához.

A nemzetközi szabványok megállapítása továbbra is nehézkes. A katonai átláthatóság ütközik a titkolózással, és az államok vonakodnak felfedni technikai képességeiket. A teljes nyilvánosságra hozatalnál realisztikusabbak a közös minimumszabályok: emberi hatalom az erőszak alkalmazása felett, kötelező tesztelés, hatástalanítási mechanizmusok, egyértelmű elszámoltathatóság és kommunikációs csatornák incidensek esetén. Az ilyen szabályok nem szüntetik meg a versenyt, de korlátozhatják a legveszélyesebb félreértelmezéseket.

Különösen fontosak lennének az USA és Kína közötti bizalomépítő intézkedések. Ha mindkét fél integrálja a mesterséges intelligenciát a felderítésbe és a döntéstámogatásba, megnő annak a kockázata, hogy a téves jelentést szándékos provokációként értelmezik. A közvetlen katonai kommunikációs csatornák, a tengeri incidensek megoldására szolgáló eljárások és az emberi felügyeletre vonatkozó politikai kötelezettségvállalások csökkenthetik az eszkaláció kockázatát. Előnyük hasonló a biztosításhoz: normál működés közben jelentéktelennek tűnnek, de válsághelyzetben hatalmas károkat előzhetnek meg.

A szövetségesek és a technológiai vállalatok is felelősséggel tartoznak. A modelleket, a felhőinfrastruktúrát és az adatkezelő eszközöket gyakran magánszolgáltatók fejlesztik. Ez a katonai értékteremtés egy részét olyan vállalatokhoz helyezi át, amelyek innovációs ciklusait és felelősségi logikáját nem geopolitikai válságokra tervezték. A beszerzési politikának ezért biztosítania kell, hogy a kormányzati szervek megtartsák a műszaki ellenőrzést, az ellenőrzési jogokat és a megfelelő belső szakértelmet.

Az ügy stratégiai magja

Egy kínai hajóval történt majdnem baleset egy kellemetlen igazságot tár fel: a mesterséges intelligencia legnagyobb rövid távú kockázata nem is egy olyan gép, amely az emberiség ellen fordul. Valószínűbb, hogy egy személy túl könnyen elhisz egy meggyőzően megfogalmazott, de hamis gépi üzenetet. A veszély a technológiai bizonytalanság, az időnyomás, a hierarchia és a politikai sebességvágy kölcsönhatásából fakad.

A helyes megközelítés nem a technológiai pánik, és nem is a haladással kapcsolatos vak optimizmus. A generatív mesterséges intelligencia jelentősen növelheti a nagy szervezetek hatékonyságát. Azonban nem helyettesítheti az episztemikus szorgalmat – vagyis annak fegyelmezett megkérdőjelezését, hogy honnan származik egy állítás, mennyire megbízható, és milyen ellenbizonyítékok léteznek. Minél erősebb az eszköz, annál fontosabbá válik ez a szorgalom.

Gazdasági szempontból a mesterséges intelligencia bevezetésének figyelembe kell vennie az összes várható értéket. Ez magában foglalja a termelékenységnövekedést, valamint a tesztelési költségeket, a megítélési hibákat, a felelősséget, a hírnévkárosodást és a rendszerszintű kockázatokat. Potenciálisan katasztrofális következményekkel járó esetekben nem elég, ha egy modell átlagosan hasznos. A szervezetnek bizonyítania kell, hogy képes a ritka, kritikus hibák észlelésére és megelőzésére.

Az incidens döntő sikere abban rejlik, hogy az embereknek sikerült megszakítaniuk a műveletet. Egy biztonsági architektúra azonban nem támaszkodhat az éber egyének utolsó pillanatban történő beavatkozására. Úgy kell megtervezni, hogy a kétes információk soha ne jussanak el jelöletlenül a műveleti tervezési szakaszba. Az ellenőrzéseket korán, ismételten és függetlenül kell elvégezni.

Tévedni emberi dolog. A gépek másképp tévednek: gyorsabban, skálázhatóbban, és gyakran nyelvileg meggyőző módon. A hiba csak akkor válik katasztrofálissá, ha az intézmények ezeket a jellemzőket a tudással tévesztik össze. A központi tanulság tehát nem az, hogy az embereket ki kell venni a döntéshozatali folyamatból, vagy pusztán szimbolikusan kell ott tartani őket. Hanem az, hogy olyan szervezeteket kell építeni, amelyekben a kétséget nagyobbra értékelik a gyorsaságnál, amint egy hamis bizonyosság háborút robbanthat ki.

Örömmel lennék az Ön személyes tanácsadója.

Üzletfejlesztési vezető

Az SME Connect Védelmi Munkacsoport elnöke

LinkedIn

 

 

Örömmel lennék az Ön személyes tanácsadója.

Elérhetsz a wolfenstein∂xpert.digital címen , vagy

Hívjon a +49 7348 4088 965 .

LinkedIn