Kitajski raziskovalci, povezani z vojsko, naj bi izhodne podatke modelov OpenAI in Anthropic uporabili za razvoj lastnih obrambnih sistemov. V središču razkritja je destilacija modelov umetne inteligence – postopek, ki omogoča prenos izbranih sposobnosti zmogljivega modela v manjši sistem, primeren za delovanje na dronih, vojaški opremi ali zaprtih omrežjih.
Poudarki:
- Kitajske vojaške ustanove naj bi destilacijo modelov umetne inteligence uporabljale za nadzor, analizo kode, drone in prepoznavanje ciljev.
- Raziskovalci so uporabljali rezultate modelov GPT-3.5 in Claude, ne pa nujno njihove izvorne kode ali notranjih parametrov.
- Manjši modeli lahko delujejo lokalno brez stalne internetne povezave, vendar ne dosežejo vseh sposobnosti prvotnega velikega sistema.
Reuters je pregledal več kot 80 kitajskih znanstvenih člankov in patentov. Dokumenti kažejo, da so ustanove, povezane s kitajsko Ljudsko osvobodilno vojsko, rezultate ameriških modelov uporabljale kot učne primere za razvoj manjših, specializiranih sistemov.
Med opisanimi uporabami so obdelava občutljive programske kode, spremljanje družbenih omrežij, navigacija brezpilotnih letalnikov, prepoznavanje ciljev ter podpora operacijam z ladjami in brezpilotnimi podmornicami. Ugotovitve so pomembne tudi zato, ker kažejo, da omejevanje izvoza najzmogljivejših čipov samo po sebi ne prepreči prenosa nekaterih sposobnosti umetne inteligence.
Kaj je destilacija modelov umetne inteligence?
Destilacija modelov umetne inteligence je uveljavljena tehnika, pri kateri večji in zmogljivejši model nastopa kot »učitelj«. Njegove odgovore, klasifikacije ali druge rezultate razvijalci uporabijo kot učne podatke za manjši »učenčev« model.
Manjši model se ne nauči nujno vsega, kar zmore učitelj. Lahko pa prevzame dovolj znanja za ozko opredeljeno nalogo, na primer:
- prepoznavanje objektov na posnetkih iz zraka,
- razvrščanje objav na družbenih omrežjih,
- povzemanje programske kode,
- zaznavanje določenih vzorcev v podatkih,
- delovanje na strojni opremi z omejeno procesno močjo.
Tehnika sama po sebi ni nezakonita ali neobičajna. Razvijalci jo uporabljajo za znižanje stroškov, hitrejše izvajanje modelov in namestitev umetne inteligence na telefone, vozila ter druge naprave.
Spor nastane, ko nekdo avtomatizirano zbira velike količine odgovorov tujega komercialnega modela, pri tem obide omejitve dostopa ali krši pogoje uporabe. Anthropic takšno sistematično pridobivanje sposobnosti označuje kot napad z destilacijo. Podjetje je februarja sporočilo, da je zaznalo omrežja več deset tisoč domnevno lažnih računov, prek katerih naj bi kitajski razvijalci opravili milijone interakcij z modelom Claude. Gre za navedbe podjetja, ki jih obtožena podjetja niso v celoti potrdila.
Kako so ameriške modele uporabili kitajski raziskovalci?
Eden od dokumentiranih primerov prihaja iz enote kitajske vojske, povezane z obveščevalnim in kibernetskim delovanjem. Raziskovalci so GPT-3.5 uporabili za povzemanje občutljive programske kode, nato pa so s temi povzetki učili domači model.
Končni sistem je lahko deloval znotraj kitajskega vojaškega omrežja, ne da bi bilo treba izvorno kodo neposredno pošiljati zunanjemu ponudniku. Raziskovalci so tako komercialni model uporabili kot vmesnega učitelja, ne kot trajno infrastrukturo.
V drugem primeru so raziskovalci uporabili Claude 3 Haiku za ustvarjanje umetnih učnih podatkov za sistem, namenjen razvrščanju spletnih vsebin in spremljanju družbenih omrežij.
Še pomembnejši so primeri računalniškega vida. Kitajska vojaška univerza je opisala zmanjšanje modela za obdelavo slik, ki bi lahko deloval neposredno na brezpilotnem letalniku. Takšen sistem lahko analizira videoposnetek, pomaga pri navigaciji ali prepoznavanju objektov tudi ob prekinjeni komunikaciji z nadzornim centrom.
Drugi raziskovalci so manjše modele preizkušali pri simuliranih pomorskih operacijah z droni, ladjami in brezpilotnimi podmornicami. Javno dostopni dokumenti kažejo razvoj in preizkušanje tehnologije, ne dokazujejo pa nujno, da so vsi opisani sistemi že vključeni v operativno vojaško opremo.
Zakaj manjši modeli ustrezajo vojaški uporabi?
Najzmogljivejši modeli običajno potrebujejo velike podatkovne centre, veliko električne energije in drage procesorje. To je težava pri uporabi na terenu, kjer so povezave nezanesljive, prostor omejen, strojna oprema pa mora porabiti čim manj energije.
Destiliran model je lahko manj zmogljiv, vendar ima praktične prednosti:
- Lokalno delovanje: občutljivih podatkov ni treba pošiljati zunanjemu strežniku.
- Nižja zakasnitev: sistem se lahko odzove brez čakanja na oddaljeni podatkovni center.
- Manjša strojna zahtevnost: model lahko deluje na dronu, vozilu ali taktičnem računalniku.
- Večji nadzor: upravljavec lahko model prilagodi eni nalogi in ga namesti v zaprto omrežje.
- Delovanje brez povezave: sistem ostane uporaben tudi ob motenju ali izgubi komunikacij.
Toda manjši model ni popolna kopija izvirnika. Prenese lahko določeno sposobnost, denimo analizo kode ali prepoznavanje predmetov, ne pa celotnega razpona znanja in sklepanja večjega sistema.
Reutersovi sogovorniki zato opozarjajo, da destilacija Kitajski ne omogoča preproste izdelave popolne kopije najnaprednejšega ameriškega modela. Še vedno so potrebni kakovostni podatki, računska infrastruktura, domače razvojno znanje in obsežno preizkušanje.
Destilacija modelov umetne inteligence lahko odstrani tudi varovala
Pri prenosu sposobnosti se ne prenesejo nujno tudi varnostne omejitve prvotnega sistema. Komercialni model lahko zavrne pomoč pri izdelavi škodljive kode ali določenem vojaškem scenariju, manjši model, izurjen na izbranih rezultatih, pa teh omejitev morda nima.
Anthropic opozarja, da lahko destilirani sistemi ohranijo uporabne sposobnosti, izgubijo pa del nadzora, spremljanja in zaščitnih mehanizmov, ki jih ponudnik uporablja v svoji storitvi. To pomeni, da podjetje po prenosu sposobnosti ne more več preverjati, kako se model uporablja.
Obenem imajo tudi veliki modeli svoje ranljivosti. Kitajski vojaški raziskovalci že preučujejo zaščito pred tako imenovano destilacijo brez izvornih podatkov, pri kateri napadalec poskuša sposobnosti sistema rekonstruirati zgolj iz njegovih odgovorov.
Tehnologija je tako postala hkrati razvojno orodje in varnostna grožnja.
Kaj razkritje pomeni za Evropo in Slovenijo?
Za evropske uporabnike se dostop do ChatGPT ali Claude zaradi teh ugotovitev neposredno ne spreminja. Pomembnejše bodo posledice za ponudnike modelov, razvijalce aplikacij in organizacije, ki umetno inteligenco priključujejo občutljivim sistemom.
Pričakovati je mogoče strožje omejevanje množičnih avtomatiziranih poizvedb, dodatno preverjanje računov ter natančnejše zaznavanje vzorcev, značilnih za zbiranje učnih podatkov. Takšni ukrepi lahko vplivajo tudi na legitimne razvijalce, ki prek programskih vmesnikov obdelujejo zelo velike količine podatkov.
Evropska podjetja bi morala zato preveriti:
- ali pogodba dovoljuje uporabo odgovorov modela za učenje drugega sistema,
- kje se shranjujejo pozivi in rezultati,
- ali lahko ponudnik zazna zlorabljene uporabniške račune ali ključe,
- katera varovala se izgubijo pri lokalnem ali prilagojenem modelu,
- kdo nadzoruje model po njegovi namestitvi v zaprto okolje.
Razkritje predvsem kaže, da se tehnološko tekmovanje ne vrti več samo okoli čipov in podatkovnih centrov. Dragoceni so postali tudi odgovori modelov, sintetični podatki in postopki sklepanja, ki jih je mogoče uporabiti za učenje novih sistemov.
Ameriška podjetja lahko omejujejo neposreden dostop do svojih storitev, veliko težje pa preprečijo, da se posamezne sposobnosti njihovih modelov prenesejo v manjše sisteme, ki nato delujejo brez njihovega nadzora.
