Mit lát az AI-rendszer – és mit nem

A legtöbb vezető csapat nem teszi fel azt a kérdést, amelyet érdemes lenne feltenni az AI-rendszerükkel kapcsolatban: pontosan mit lát ez a rendszer? Nem technikai értelemben – nem azt, hogy hány oldalnyi szöveget képes feldolgozni, vagy hogy melyik adatbázisokhoz kapcsolódik –, hanem gyakorlati, üzleti értelemben. Az általa elemzett helyzet mekkora hányadát tették valóban eléje? És mekkora hányadát nem?

Ez azért fontos, mert egy AI-rendszer, bármilyen kifinomult is, nem megy el kontextust keresni. Azzal dolgozik, amit kap. Ha a kapott információ hiányos, elavult, elszigetelt vagy finoman félrevezető, a kimenet ezt tükrözi – sokszor anélkül, hogy bármi látható jelét adná, hogy valami hiányzik. A rendszer koherensen és magabiztosan következtet egy részleges valóságképből, és tekintélyesnek tűnő eredményt ad.

Ez a probléma lényege. Nem az, hogy az AI-rendszerek tájékozatlanok. Hanem az, hogy nagyon jók abban, hogy teljesnek mutassák magukat, amikor nem azok.

A határ, amelyet senki sem húz meg

Amikor egy vállalat AI-rendszert vezet be – legyen az kutatáshoz, szövegíráshoz, elemzéshez, ügyfélkommunikációhoz vagy belső folyamatokhoz –, valakinek döntenie kell arról, hogy a rendszer milyen információhoz férhet hozzá. Ez a döntés általában hallgatólagosan születik meg: melléktermékként annak, hogy éppen milyen eszközök vannak csatlakoztatva és milyen adatforrások érhetők el. Ritkán születik tudatosan, és szinte soha nem dokumentálják határként.

Holott ez az egyik legmeghatározóbb tervezési döntés az egész rendszerben. Minden, ami ezen a határon kívül esik, láthatatlan az AI számára. Nem tudja jelezni, amit nem látott. Nem tudja azzal minősíteni a válaszát, hogy hiányzik egy olyan információ, amelynek létezéséről nincs tudomása. Egyszerűen azzal következtet, ami előtte van, és a legkoherensebb kimenetet állítja elő.

A gyakorlatban ez azt jelenti, hogy egy ügyfélelemzést végző AI-rendszer nem biztos, hogy hozzáfér az ügyfélkapcsolati menedzser múlt héti telefonos megbeszélésének tartalmához. A versenypozíciót összefoglaló rendszer esetleg hat hónapja pontos, de azóta megváltozott dokumentumokból dolgozik. Az értékesítési lehetőségeket minősítő rendszernek talán nincs rálátása a vállalaton belül éppen tárgyalás alatt álló kapacitáskorlátokra.

Ezek a hiányok nem fognak megjelenni a kimenetben. Az AI nem fogja azt írni: 'Megjegyzem, hogy nem láttam semmilyen információt X-ről.' Egyszerűen olyan választ ad, amelyből X kimarad – és az olvasónak, ha eleve nem tud X-ről, semmi oka kételkedni abban, amit olvas.

Miért nem jelent megoldást a nagyobb kapacitás

Csábító feltételezés, hogy ahogy az AI-rendszerek egyre képesebbé válnak, a láthatósági probléma magától megoldódik. Szűk technikai értelemben a kapacitás valóban jelentősen nőtt az elmúlt években – a rendszerek egyre nagyobb mennyiségű információt képesek egyszerre feldolgozni.

De a kapacitás és a teljesség két különböző dolog. Egy rendszernek lehet nagyon tág ablaka egy nagyon hiányos képre. A kérdés nem az, hogy mennyit tud befogadni, hanem az, hogy mit helyeztek bele – és ki, milyen szempontok szerint, milyen ütemezésben.

A kutatások következetes mintát mutatnak: a modellek megbízhatóbban figyelnek a kapott szöveg elején és végén lévő információkra, és kevésbé megbízhatóan a közepe felé eső részekre. Így még ha nagy mennyiségű adat kerül is a rendszer elé, az elrendezés és sorrend befolyásolja, hogy a rendszer végül mire támaszkodik a válasz összeállításakor.

Egy vezető csapat számára a gyakorlati következtetés egyértelmű: az AI-rendszernek adott információk mennyiségének növelése önmagában nem javítja automatikusan a következtetések minőségét. Az számít, hogy melyik információ kerül be, hogyan van strukturálva, és a döntés szempontjából legfontosabb tények mennyire hangsúlyosak.

A három leggyakoribb láthatósági rés

A különböző működési és tanácsadási kontextusokban szerzett tapasztalatok alapján egyes láthatósági hiányok olyan rendszerességgel bukkannak fel, hogy érdemes megnevezni őket.

• Az aktualitási rés. Az AI-rendszerek jellemzően egy adott időpontig tanítják be őket, és olyan adatforrásokhoz kapcsolják, amelyek valamilyen ütemezésben frissülnek – óránként, naponta, hetente vagy eseti jelleggel. Minden üzleti körülmény, amely az utolsó frissítés óta megváltozott, láthatatlan a rendszer számára. Gyorsan változó kereskedelmi helyzetekben – árazási változások, személyi változások, szabályozási fejlemények, egy versenytárs bejelentése – ez a késés egy hasznos kimenet és egy félrevezető kimenet közötti különbséget jelentheti.
• A hallgatólagos tudás rése. Az üzleti működés nagy részét nem dokumentumok, hanem emberek fejében lévő tudás tartja össze. Egy alapító és egy régi ügyfél közötti informális megértés. Az oka annak, hogy egy folyamatnak tizennyolc hónapja elfogadott kivétele van. Egy szerződéses záradék mögötti kereskedelmi árnyalat, amely technikailag szabványos, de a gyakorlatban jelentős. Ezek egyike sem létezik a rendszerben, hacsak valaki szándékosan nem kódolta be – és ez ritkán történik meg.
• A szervezeti határok rése. A legtöbb vállalatnál az információ különböző rendszerekben, részlegekben és kapcsolatokban él, és nem áramlik egyetlen pontba. Egy AI-rendszer, amely hozzáfér a CRM-hez, de nem a pénzügyi rendszerhez, bevételi kontextus nélkül következtet az ügyfélkapcsolatra. Amelyik hozzáfér a lezárt projektdokumentációhoz, de nem az aktuális üzleti pipeline-hoz, kapacitásról ad tanácsot anélkül, hogy tudná, mi van valójában lekötve.

A magabiztosság problémája

Ezeket a réseket nem a tudatlanság teszi veszélyessé, hanem a félrevezetett magabiztosság. Ha egy AI-rendszer kimenetein egyértelműen szerepelne, hogy 'részleges információ alapján, jelentős fenntartásokkal', a legtöbb olvasó ennek megfelelően kezelné azokat. De ezek a rendszerek nem így prezentálják magukat. Gördülékeny, jól strukturált, látszólag teljes válaszokat adnak.

Ez nem egyszerű tervezési hiba. A gördülékenység a legtöbb helyzetben kifejezetten előny. A probléma az, hogy a gördülékenység elfedheti a bizonytalanságot, és az olvasónak, aki nem szakértője az érintett területnek, nincs megbízható módja megkülönböztetni egy teljes körűen informált kimenetet egy jól megfogalmazott részlegestől.

Egy globális IBM-felmérés megállapította, hogy a megkérdezett vezető technológiai igazgatók kétharmada olyan AI-rendszerekért felelős, amelyeket reálisan nem tud felügyelni. Ugyanez a kutatás évi átlagosan 54, emberi beavatkozást igénylő AI-incidenst rögzített szervezetenként – amelyek jelentős része adatexpozícióval, kaszkádszerű meghibásodásokkal vagy megfelelési problémákkal járt. Ezek elsősorban nem AI-képességbeli kudarcok. Láthatósági kudarcok – mindkét oldalon. Az AI nem látta, amit látnia kellett volna. Az ember pedig nem látta, hogy az AI vakon működött.

Mit jelent a tudatos láthatóságtervezés

A válasz erre a problémára nem az, hogy elkerüljük az AI-rendszerek alkalmazását fontos helyzetekben. Hanem az, hogy tudatosan döntjük el, mit teszünk eléjük – és ezt a tudatosságot beépítjük a folyamatba, ahelyett hogy a véletlenre bíznánk.

A leghatékonyabb megközelítés az információtervezést elsőrendű döntésnek tekinti, nem utólagos kiegészítésnek. Mielőtt egy rendszert egy adott feladatra bevetnénk, a kulcskérdés nem az, hogy 'mit tud ez a rendszer?', hanem: 'mit kell látnia ahhoz, hogy jól következtessen ebből a helyzetből?' Ez a kérdés, ha gondosan feltesszük, általában azonnal felszínre hozza a hiányokat.

A felügyelet képét is megváltoztatja. Ahelyett, hogy csak a kimeneteket ellenőrizzük, a hatékony irányítás azt is magában foglalja, hogy mi került be – aktuális, reprezentatív és az adott döntéshez megfelelően teljes volt-e az információ. Ez a különbség az AI kimeneteit ellenőrző emberek és az AI viselkedését felügyelő emberek között, és ez lényegi különbség.

Kérdések vezető csapatok számára

Az alábbiak nem technikai ellenőrzőlista. Azok a kérdések, amelyek olyan párbeszédet indíthatnak el, amelyet a legtöbb vezető csapat még nem folytatott le a jelenleg működtetett vagy tervezett AI-rendszereivel kapcsolatban.

• Az egyes AI-rendszerek esetében meg tudja-e mondani – egyszerű szavakkal –, hogy milyen információhoz fér hozzá, és mihez nem? Ha nem, ki tudja ezt a szervezeten belül?
• Mikor frissítették utoljára azokat az információkat, amelyekkel az AI-rendszer dolgozik? Ez a frissítési gyakoriság megfelelő-e az általa támogatott döntésekhez?
• Milyen hallgatólagos tudás kritikus azokban az üzleti területekben, ahol ez a rendszer működik? Bármelyiket szándékosan kódolták-e bele, vagy csak emberek fejében létezik?
• Ki felelős azért, hogy ne csak a kimeneteket, hanem azt is ellenőrizze, mit kapott a rendszer, amivel dolgozni tud?
• Ha a rendszer magabiztosan hangzó kimenetet ad, mi a folyamat annak megítélésére, hogy ez a magabiztosság megalapozott-e?

A hasznos szokás

Érdemes egy analógiában gondolkodni. Egy nagyon képes elemző, aki csak az akta egy részéhez fért hozzá, csak arra alapozva fog elemzést készíteni. Ha alapos, jelezni fogja a korlátot. Ha viszont nem tud a többi anyag létezéséről, azt sem fogja jelezni – és az elemzése teljesként fog megjelenni és valószínűleg teljesként is fogadják majd.

Az AI-rendszerek ebben a tekintetben olyanok, mint nagyon képes elemzők, akik soha nem kérik el az akta többi részét. Azzal dolgoznak, amit kaptak. Annak eldöntése, hogy ez mi legyen – és ennek rendszeres felülvizsgálata – teljes egészében az azokat működtető emberek feladata.

Ez a fegyelem nem összetett dolog felépíteni. De megköveteli annak elismerését, hogy az, amit az AI-rendszer lát, tervezési döntés, nem alapértelmezés. És ha nem vizsgálják meg, általában túl szűken húzzák meg.

Ha van olyan visszatérő helyzet az üzletben, ahol AI-rendszer kimenetére hagyatkoznak anélkül, hogy biztos lenne, hogy teljes képet lát – érdemes erről beszélni. A rés a rendszer látóköre és a valóság között általában kisebb, mint elsőre tűnik – és szinte mindig kezelhető.