Zdieľame: Zneužívanie generatívnej umelej inteligencie
Google Threat Intelligence: Zneužívanie generatívnej umelej inteligencie
(originálny názov: Adversarial Misuse of Generative AI)
Google Threat Intelligence Group spája tímy odborníkov na kybernetickú bezpečnosť spoločnosti Mandiant, ktorí sa zameriavajú na identifikáciu, analýzu, zmierňovanie, a elimináciu rôznorodých kybernetických hrozieb a zvyšovanie odolnosti proti nim.
Vďaka rýchlemu rozvoju umelej inteligencie sa jej systémy stali dostupnejšími a využiteľnejšími v mnohých oblastiach života. V kybernetickej bezpečnosti má AI potenciál zásadne meniť, zdokonaľovať a uľahčovať prácu odborníkov, ktorí čelia novým hrozbám v digitálnom prostredí. Schopnosť spracovávať a analyzovať rozsiahle množstvo dát výrazne zvýšila efektivitu výskumu a urýchlila vývoj nových technológií, ktoré posilňujú našu kolektívnu obranu pred škodlivými aktérmi v digitálnom priestore.
Obzvlášť diskutovanou témou sú veľké jazykové modely (LLM) umelej inteligencie, ktoré si získali značnú popularitu aj medzi širšou verejnosťou. Modely ako ChatGPT či Gemini dokážu analyzovať texty, automatizovať úlohy a asistovať pri širokom spektre činností, čím ešte viac rozširujú možnosti využitia AI v kybernetickej bezpečnosti. Zároveň však platí, že tieto systémy sú dostupné aj nepriateľským aktérom, ktorí sa ich schopnosti môžu pokúsiť zneužiť na svoje škodlivé aktivity. To prirodzene vyvoláva otázky o možnostiach a rozsahu využívania AI systémov na škodlivé účely, ako aj o potrebných opatreniach na ich ochranu pred takýmto zneužívaním.
K tejto téme bola nedávno publikovaná správa od odborníkov na kybernetickú bezpečnosť zo spoločnosti Google, ktorí skúmali využívanie LLM Gemini hackerskými a kyber zločineckými skupinami prepojenými na štáty. Takéto skupiny sú označované ako Advanced Persistent Threat (APT). Experti sledovali technické signály APT aktérov a porovnávali ich s dátami o aktivitách na platformách spoločnosti Google, čím získali jedinečný náhľad a pochopenie toho, ako tieto skupiny využívajú AI v rámci svojich škodlivých aktivít, vrátane tvorby koordinovaných informačných operácií. V správe boli identifikované nasledujúce zistenia.
V správe boli bližšie popísané aktivity APT aktérov podporovaných štyrmi štátmi: Iránom, Čínskou ľudovou republikou, Severnou Kóreou a Ruskom.
APT aktéri zneužívajúci LLM Gemini
Útočníci podporovaní štátmi sa pokúšali zneužívať Gemini na prípravu a analýzu škodlivých kódov a skriptov, zhromažďovanie informácií o potenciálnych cieľoch, výskum verejne známych kybernetických zraniteľností či iné podporné aktivity smerujúce k škodlivej kybernetickej činnosti. Spoločnosť Google identifikovala APT skupiny z viac ako 20 krajín, ktoré používali Gemini, pričom najväčší objem používania pochádzal Iránu a Číny. Najčastejšie sa aktéri APT zameriavali na:
– pomoc pri kódovaní, riešenie problémov, konverzia kódu či vývoj nástrojov a skriptov,
– výskum verejne dostupných zraniteľností v oblasti systémov IT,
– výskum a preklad rôznych technológií a dokumentov,
– zisk informácií o cieľových subjektoch, organizáciách a relevantných témach pre daný štát,
– vyhľadávanie rád o technikách na vyhnutie sa detekcii, maskovanie prítomnosti po prelomení ochrany a podobne.
Iránski APT aktéri
Iránski aktéri predstavovali najväčší podiel používania Gemini v súvislosti s APT operáciami. Zameriavali sa najmä na zneužívanie známych zraniteľností, prieskum verejne dostupných informácií o cieľových subjektoch a žiadosti o preklad či vysvetlenie technicky náročných konceptov. Zaznamenané bolo aj využívanie LLM na tvorbu neautentického obsahu určeného pre potenciálne informačné kampane v digitálnom priestore. Tieto aktivity odrážajú strategické záujmy Iránu, vrátane zberu informácií o zahraničných organizáciách a odborníkoch, obranných systémoch, vládnych inštitúciách, disidentoch, konflikte medzi Izraelom a hnutím Hamas či sociálnych otázok v samotnom Iráne.
Čínski APT aktéri
Vládou podporovaní aktéri spojení s Čínskou ľudovou republikou sa pokúšali využiť Gemini najmä na vývoj, preklad a vysvetlenie technických konceptov, prípadne sa pokúšali získať návody na zisk hlbšieho prístupu do sietí, ktoré sa úspešne podarilo narušiť neoprávneným prístupom. Využívanie nástrojov zo strany čínskych APT pripomínalo aktivity IT administrátora, ktorý sa snaží zefektívniť, diagnostikovať alebo automatizovať svoje úlohy. V škodlivom kontexte však mohli byť využité na eskaláciu životného cyklu kybernetického útoku.
Severokórejskí APT aktéri
Severokórejskí aktéri využívali Gemini na získavanie informácií o kybernetickej infraštruktúre a poskytovateľoch bezplatného hostingu, ako aj na vývoj škodlivého kódu, nebezpečných skriptov a techník na obchádzanie bezpečnostných opatrení. Okrem toho využívali Gemini na výskum strategicky dôležitých tém, ako sú kryptomeny a jadrová technológia Južnej Kórey. Zaujímavé je, že severokórejské skupiny pravdepodobne využívali modely LLM aj na podporu tajného zamestnávania svojich IT pracovníkov v západných spoločnostiach.
Ruskí APT aktéri
V skúmanom období bola zaznamenaná len obmedzená aktivita ruských aktérov, pričom väčšina z nej sa javila ako relatívne neškodná. Je preto možné predpokladať, že sa ruskí aktéri vyhýbajú modelu Gemini z dôvodov operačnej bezpečnosti, aby tak minimalizovali riziko monitorovania svojich aktivít na platformách kontrolovaných „západnými“ spoločnosťami. Pravdepodobne preto uprednostňujú AI nástroje vyvinuté ruskými firmami alebo využívajú lokálne hostované LLM modely, čím si zabezpečujú úplnú kontrolu nad vlastnou infraštruktúrou. Napriek tomu bol identifikovaný jeden ruský APT aktér, ktorý využil Gemini na niekoľko konkrétnych úloh, vrátane prepisu verejne dostupného malvéru do iného programovacieho jazyka, pridania šifrovacích funkcií do kódu a analýzy fungovania konkrétneho škodlivého kódu.
Využívanie LLM pri informačných operáciách
Vo viacerých prípadoch boli zaznamenané pokusy o zneužitie modelu Gemini na informačné operácie, najmä pri tvorbe obsahu, falošných identít, správ a iného neautentického obsahu. Bežné prípady použitia zahŕňali aj zber informácií o aktuálnom dianí, jednotlivcoch a organizáciách. Okrem samotnej tvorby obsahu sa aktéri zameriavali na zvyšovanie efektivity informačných operácií prostredníctvom automatizácie distribúcie, rozširovania dosahu pomocou optimalizácie stránok pre vyhľadávače (SEO) a zlepšovania operačnej bezpečnosti.
Odborníci zo spoločnosti Google dospeli k záveru, že model Gemini v žiadnom prípade neposkytol škodlivým aktérom prelomové schopnosti na realizáciu ich aktivít. Rovnako neboli úspešné ani pokusy o tzv. AI Jailbreak, teda obchádzanie bezpečnostných obmedzení LLM. Aj keď generatívna AI zatiaľ neponúka útočníkom revolučné nástroje na realizáciu útokov, dokáže významne zefektívniť a podporovať škodlivé aktivity. Preto sa dá očakávať, že APT skupiny budú čoraz viac integrovať pokročilé AI funkcionality do svojich operácií, aby zvýšili ich účinnosť a sofistikovanosť.
Potenciál umelej inteligencie, v tomto kontexte najmä LLM, je obrovský a prináša prelomové inovácie v rôznych odvetviach – od efektivity každodenného života až po vysoko špecializovaný vedecký výskum. S takto flexibilnou technológiou však prichádza aj potreba zabezpečiť, aby bola umelá inteligencia odolná voči zneužívaniu. Budovanie AI systémov s robustnými bezpečnostnými opatreniami a etickými zásadami je kľúčové na zabránenie ich zneužitia na kybernetické hrozby, dezinformačné kampane a ďalšie škodlivé aktivity. Proaktívny prístup vývoju a integrácii umelej inteligencie môže prispieť k ochrane celej spoločnosti a zabezpečiť, že systémy AI budú pre ľudstvo v prvom rade prospešné, nie škodlivé.
Kompletný materiál od Google Threat Intelligence Group nájdete tu.
(dokument je dostupný v anglickom jazyku)
