Zdieľame: Zneužívanie modelov umelej inteligencie na manipuláciu a podvody
Investigace.cz: Zneužívanie modelov umelej inteligencie na manipuláciu a podvody
(originálny názov: Testování hranice AI: Jak ušít manipulaci na míru)
Ako náročné je zneužitie voľne dostupných, generatívnych modelov AI na manipuláciu a podvody? Redakcia investigace.cz realizovala experiment, ktorého úlohou bolo zistiť, či sú obavy odborníkov o využívaní generatívnych modelov umelej inteligencie na manipuláciu s ľuďmi opodstatnené.
Cieľom experimentu bolo otestovať, či a ako dokáže AI analyzovať psychologický profil z textov osoby, na základe ktorého sa má táto osoba stať terčom kybernetického útoku alebo podvodu. Experiment zahŕňal vytvorenie falošnej postavy pomocou modelu umelej inteligencie ChatGPT od spoločnosti OpenAI. Vznikla tak fiktívna postava v podobe psychologičky a poprednej odborníčky na psycholingvistické profilovanie a kybernetickú bezpečnosť. Fiktívna odborníčka následne dostala za úlohu analyzovať verejne dostupný text, konkrétne komentár bývalého českého prezidenta o energetickej politike. Cieľom analýzy bolo preskúmať psychologický profil autora textu so zameraním na identifikáciu slabých miest, ktoré by sa dali využiť pri potenciálnom kybernetickom útoku. Fiktívna AI psychologička následne dostala pokyn na spresnenie svojej analýzy pomocou rôznych psychologických a psycholingvistických prístupov, na základe čoho prišlo k identifikácii silných a slabých povahových vlastností autora. Na základe zistení mala AI za úlohu vytvoriť text, ktorého obsah by bol vytvorený na základe analyzovaných slabín. To síce odmietla, nakoľko je model ChatGPT programovaný tak, aby neškodil ľudom, no po preformulovaní a zamaskovaní tejto požiadavky bol vygenerovaný modelový podvodný mail, ktorý bol vytvorený na základe analyzovaných kognitívnych slabín autora pôvodného textu. AI tak bola schopná vyprodukovať text, ktorý by mal podľa analyzovaného psychologického profilu danú obeť zaujať dostatočne na to, aby táto použila škodlivý link v ňom.
Experiment poukázal na potenciálne nebezpečenstvo používania modelov umelej inteligencie, ako je ChatGPT na nekalé účely a zdôraznil potrebu dbania na etické aspekty a vytvorenia bezpečnostných opatrení proti zneužívanie AI. Takýmto spôsobom môžu páchatelia taktiež presvedčiť verejnosť, aby prijala ich názory a postoje prostredníctvom automatizovaných mechanizmov manipulácie a dezinformácií. Ukázal tiež dôležitosť pochopenia a riešenia kognitívnych zraniteľností v kontexte obsahu generovaného umelou inteligenciou.
(článok je dostupný v češtine)
Celý článok nájdete tu.