OpenAI je zdaj potrdil, da je njegov najnovejši model GPT-5.6 v določenih okoliščinah res nepričakovano brisal datoteke. Težava se ni pojavila v običajnem pogovoru s ChatGPT-jem, temveč pri uporabi programerskega agenta Codex, ki je imel popoln dostop do uporabnikovega računalnika in je lahko samostojno izvajal sistemske ukaze.
Poudarki:
- OpenAI je potrdil več primerov, v katerih je Codex z modelom GPT-5.6 nepričakovano izbrisal uporabniške datoteke.
- Incidenti so se najpogosteje pojavili ob popolnem dostopu do računalnika brez peskovnika in samodejnega varnostnega pregleda ukazov.
- OpenAI pripravlja dodatne zaščite, uporabnikom pa svetuje omejene pravice, varnostne kopije in preverjanje nevarnih dejanj pred izvedbo.
Priljubljena razlaga, da je ChatGPT »postal neposlušen«, je zato nekoliko zavajajoča. Za zdaj ni dokazov, da bi model razvil lastne cilje ali namerno škodoval uporabnikom. Primer pa razkriva nekaj bolj praktičnega in nič manj nevarnega: sistem lahko napačno razume svoj korak in nato napako brez dodatne potrditve tudi dejansko izvede.
Ena napačna spremenljivka je lahko pomenila izbris celotne domače mape
Thibault Sottiaux, vodja inženirske ekipe za Codex pri OpenAI, je pojasnil, da je podjetje preiskalo več prijav nepričakovanega brisanja datotek. Skupni vzorec naj bi se pojavljal predvsem takrat, ko je uporabnik omogočil način Full Access, izključil omejitve peskovnika in ni uporabljal funkcije Auto-review.
Model je v teh primerih poskušal spremenljivko $HOME, ki v sistemih macOS in Linux praviloma označuje uporabnikovo domačo mapo, začasno preusmeriti v drugo mapo. Pri tem je naredil napako in ukaz za čiščenje namesto začasne lokacije usmeril proti pravi domači mapi.
Ker je imel agent polne sistemske pravice, ga tehnična omejitev ni ustavila. Sottiaux je dogodek opisal kot nenamerno oziroma »pošteno napako« modela, vendar hkrati priznal, da sistem tudi v načinu s popolnim dostopom ne bi smel delovati na takšen način.
OpenAI za zdaj govori o peščici preiskanih primerov in zatrjuje, da so dogodki zelo redki. Natančnega števila prizadetih uporabnikov, obsega izgubljenih podatkov in različic Codexa, pri katerih se je težava pojavila, še ni objavil.
Uporabniki poročajo o precej resnejših posledicah
Po poročanju časnika The Independent je razvijalec Bruno Lemos trdil, da mu je agent izbrisal celotno produkcijsko podatkovno zbirko. Tehnološki vlagatelj Matt Shumer pa je zapisal, da je GPT-5.6 pomotoma izbrisal skoraj vse datoteke na njegovem računalniku Mac.
Obseg posameznih navedb še ni bil neodvisno potrjen, zato jih je treba obravnavati kot uporabniška poročila, ne kot dokončno ugotovljena dejstva. OpenAI pa je potrdil osnovni problem: GPT-5.6 je v nekaterih sejah res izvedel nepričakovane ukaze za brisanje.
Podobne prijave so se na OpenAI-jevem forumu pojavljale že pred najnovejšo izdajo. Eden od uporabnikov sistema Windows je marca poročal, da je Codex z načinom popolnega dostopa izbrisal več sto gigabajtov datotek tudi zunaj izbrane projektne mape. To ne dokazuje, da je šlo za povsem enako napako, kaže pa, da nevarnost neomejenega dostopa ni nastala šele z modelom GPT-5.6.
Zakaj to ni običajen ChatGPT
Večina ljudi ChatGPT uporablja v spletnem brskalniku ali mobilni aplikaciji, kjer model odgovarja z besedilom, analizira naložene datoteke ali ustvarja vsebine. V takšnem pogovoru nima samodejnega dostopa do vseh map na uporabnikovem računalniku.
Codex je drugačen. Gre za agenta, ki lahko bere in spreminja programsko kodo, zaganja terminalske ukaze, namešča pakete, premika datoteke ter samostojno opravlja več zaporednih korakov. Prav sposobnost dejanskega ukrepanja ga naredi uporabnega, hkrati pa bistveno poveča posledice napačne odločitve.
OpenAI v uradni dokumentaciji pojasnjuje, da peskovnik omeji območje, v katerem lahko Codex samostojno deluje. Če mora poseči zunaj dovoljenih map ali izvesti nevarnejši ukaz, se sproži postopek odobritve. Pri popolnem dostopu te meje niso več zagotovljene.
To pomeni, da model ni nevaren zato, ker bi postal zavesten ali sovražen. Nevarnost nastane, ko sistem, ki lahko dela napake, dobi dovoljenja, s katerimi lahko te napake spremeni v nepopravljiva dejanja.
OpenAI je nevarnost poznal že pred incidenti
Podjetje je že pred širšo izdajo GPT-5.6 opozorilo, da noben posamezen varnostni mehanizem ne zadostuje za zaščito pred vsemi napakami ali napadi. Novi model je sicer bistveno odpornejši proti tako imenovanim napadom z vrivanjem ukazov, vendar tudi izboljšana odpornost ne pomeni popolne zanesljivosti.
OpenAI je 15. julija predstavil sistem GPT-Red, ki samodejno išče načine za zavajanje drugih modelov. V nadzorovanih preizkusih je lahko napadel starejše produkcijske modele, iz njih pridobil občutljive podatke in celo vplival na agenta, ki je upravljal pravi prodajni avtomat v pisarni podjetja.
GPT-5.6 Sol se je v istih preizkusih izkazal kot precej odpornejši. OpenAI navaja šestkrat manj neuspehov pri najtežjih neposrednih napadih in le 0,05-odstotni delež neuspeha proti določenemu sklopu napadov GPT-Red. Rezultati so spodbudni, vendar ne zajemajo vsake možne napake pri delu z resničnimi datotekami in računalniškimi ukazi.
Kaj bo OpenAI spremenil
Sottiaux je napovedal dopolnitev navodil, jasnejša opozorila uporabnikom, spodbujanje varnejših načinov dovoljenj in dodatne zaščite v okolju, ki izvaja ukaze. Podjetje je obljubilo tudi podrobnejše poročilo o incidentih.
Pomembno vlogo ima Auto-review, pri katerem načrtovano dejanje pregleda še ločen model. Ta lahko nevaren ukaz zavrne ali glavnemu agentu naroči, naj poišče varnejšo rešitev. Sistem ni nezmotljiv, vendar ustvari dodatno oviro med napačno odločitvijo in njenimi posledicami.
OpenAI uporabnikom svetuje, naj Codex praviloma pustijo znotraj projektne mape, uporabljajo peskovnik in popoln dostop omogočijo samo v posebej izoliranem okolju. Uradna dokumentacija izrecno opozarja, da lahko način Full Access povzroči nenamerna uničujoča dejanja in izgubo podatkov.
Kako se lahko zaščitijo uporabniki v Sloveniji
Dogodki niso omejeni na posamezno državo. Slovenski razvijalci in podjetja, ki Codex uporabljajo lokalno, imajo enako tveganje, kadar mu dovolijo neomejen dostop do računalnika.
Najpomembnejša zaščita je načelo najmanjših potrebnih pravic. Agent naj dostopa samo do mape, ki jo potrebuje za trenutno nalogo. Projekt mora biti shranjen v sistemu za nadzor različic, kot je Git, pomembne datoteke pa morajo imeti ločeno varnostno kopijo.
Popolnega dostopa ni smiselno omogočati na računalniku, kjer so poslovni dokumenti, osebne fotografije, gesla ali edina kopija pomembnega projekta. Pri delu brez neposrednega nadzora je varnejši ločen virtualni računalnik, razvojni vsebnik ali druga izolirana naprava.
Primer tako ni dokaz, da se je ChatGPT odločil obrniti proti človeku. Je pa jasno opozorilo, da lahko zelo sposoben agent z napačnim ukazom povzroči več škode kot običajen klepetalnik. Bolj ko umetni inteligenci dovoljujemo samostojno ukrepanje, pomembnejše postajajo tehnične omejitve, ki veljajo tudi takrat, ko model samozavestno naredi napako.
