Aplikacije so se v trgovinah predstavljale kot običajna orodja za zamenjavo obrazov in zabavno obdelavo fotografij. Njihove resnične zmožnosti so se pokazale šele po namestitvi: iz fotografije resnične osebe so lahko ustvarile lažen intimen posnetek, ne da bi oseba za to vedela ali privolila.
Poudarki:
- San Francisco je od Appla in Googla zahteval odstranitev 13 aplikacij, ki lahko ustvarjajo lažne intimne podobe brez privolitve upodobljenih oseb.
- Google je suspendiral vseh pet prijavljenih aplikacij za Android, Apple pa je odstranil tri ter napovedal dodatne ukrepe proti razvijalcem.
- Neodvisna raziskava je pokazala, da 70 odstotkov preizkušenih aplikacij za zamenjavo obrazov ni preprečevalo ustvarjanja zlorabljajočih vsebin.
Mestni pravobranilec San Francisca David Chiu je zato Applu in Googlu poslal uradni zahtevi za prenehanje takšnega ravnanja. Podjetjema očita, da sta v svojih trgovinah omogočala distribucijo in plačevanje 13 spornih aplikacij ter s provizijami posredno služila z orodji, ki se pogosto uporabljajo za nadlegovanje žensk in deklet.
Google je po opozorilu odstranil vseh pet izpostavljenih aplikacij za Android. Apple je odstranil tri aplikacije, začel ukinjati račune njihovih razvijalcev in drugim razvijalcem naročil odpravo kršitev. Primer razkriva neprijetno vrzel med strogimi pravili trgovin z aplikacijami in njihovim dejanskim nadzorom.
Problematične aplikacije se praviloma ne oglašujejo kot orodja za digitalno »slačenje«. V opisih uporabljajo izraze, kot so zamenjava obraza, ustvarjanje avatarjev, animiranje fotografij ali izdelava zabavnih videoposnetkov.
S tem lahko lažje prestanejo začetni pregled trgovine z aplikacijami. Funkcije za ustvarjanje spornih vsebin se lahko skrivajo za predlogami, plačljivimi paketi, zunanjimi strežniki ali možnostjo nalaganja lastnih referenčnih slik.
Urad pravobranilca je preverjal osem aplikacij v Applovi trgovini App Store in pet v trgovini Google Play. Po ugotovitvah, ki jih je objavil Wired, so uporabnikom omogočale izdelavo spolno eksplicitnih lažnih podob resničnih oseb. Nekatere so imele več kot milijon prenosov in so ponujale plačljive naročnine ali nakupe znotraj aplikacije.
Imen aplikacij pristojni in mediji namenoma niso izpostavili. Njihovo navajanje bi lahko povečalo zanimanje zanje ter uporabnike usmerilo neposredno do orodij, namenjenih zlorabi.
Apple in Google takšne vsebine že prepovedujeta
Obe podjetji imata pravila, ki bi morala preprečiti objavo tovrstnih aplikacij. Google Play izrecno prepoveduje umetno ustvarjene spolne deepfake vsebine brez privolitve ter zahteva, da generativne aplikacije preprečujejo žaljive, izkoriščevalske in zavajajoče rezultate.
Apple v smernicah razvijalcem nalaga odgovornost za celotno vsebino in delovanje aplikacije. Podjetje si pridržuje pravico do zavrnitve aplikacij, ki vsebujejo nesprejemljivo vedenje, zavajajo pregledovalce ali po odobritvi pridobijo drugačne funkcije.
Kljub temu so sporne aplikacije prišle skozi pregled in bile dostopne uporabnikom. Google je pojasnil, da je v preteklosti odstranil že več sto aplikacij s podobnimi funkcijami ter omejil iskanje izrazov, povezanih z digitalnim slačenjem. Apple je sporočil, da aplikacije, namenjene ustvarjanju pornografskih vsebin, kršijo njegova pravila.
Prav ta ponavljajoči se vzorec je razlog za ostrejši odziv San Francisca. Mesto ne zahteva samo odstranitve trenutno odkritih aplikacij, temveč tudi učinkovitejše preverjanje novih objav in prekinitev plačilnih odnosov z razvijalci, ki ponujajo takšne storitve.
Raziskovalci so ugotovili, kako velika je vrzel
Maja objavljena raziskava strokovnjakov z univerz Cornell in Georgetown je pokazala, da težava ni omejena na nekaj očitno spornih aplikacij.
Raziskovalci so identificirali 420 aplikacij z možnostjo zamenjave obrazov ter podrobneje preizkusili 155 primernih aplikacij za iOS in Android. Pri približno 70 odstotkih niso našli tehničnih varovalk, ki bi preprečile uporabo intimne fotografije kot ciljne predloge.
Nobena od preverjenih aplikacij se v opisu ni predstavljala kot orodje za ustvarjanje lažnih golih podob. Številne pa so imele dovolj splošne funkcije, da jih je bilo mogoče preprosto zlorabiti.
To otežuje moderiranje. Trgovina ne more iskati samo aplikacij z očitnimi imeni ali ikonami. Preveriti mora tudi, kaj se zgodi, ko uporabnik naloži lastne fotografije, uporabi različne predloge ali aktivira funkcije, ki jih aplikacija izvaja prek oblaka.
Zakaj odstranitev ene aplikacije ne reši problema
Razvijalec lahko odstranjeno aplikacijo objavi pod drugim imenom, spremeni njeno ikono ali funkcijo premakne na nov račun. Del sistema se lahko skriva tudi na zunanjem strežniku, zato aplikacija ob prvem pregledu deluje drugače kot pozneje.
Dodaten problem predstavljajo plačila. Ko uporabnik kupi naročnino ali kredit znotraj aplikacije, del prihodka praviloma prejme upravljavec trgovine. San Francisco zato trdi, da Apple in Google nista samo nevtralna ponudnika prenosa, temveč poslovna partnerja, ki omogočata prodajo spornih storitev.
Mestne oblasti ocenjujejo, da sta podjetji s provizijami lahko ustvarili milijonske prihodke, vendar natančen znesek ni javno potrjen. Zahteva za prenehanje ravnanja še ni sodba in sama po sebi ne dokazuje pravne odgovornosti podjetij. Pomeni pa uradno opozorilo, po katerem bi se lahko začel civilni postopek.
Kaj primer pomeni za uporabnike v Sloveniji
Ni potrjeno, da je bilo vseh 13 izpostavljenih aplikacij dostopnih tudi v slovenski različici trgovin App Store in Google Play. Aplikacije so lahko omejene na določene države, po odstranitvi pa njihove strani niso več javno vidne.
Primer je kljub temu pomemben tudi za slovenske uporabnike. Telefonska trgovina ni zagotovilo, da je vsaka aplikacija varna ali da so vse njene funkcije temeljito preverjene. Posebna previdnost je potrebna pri orodjih, ki zahtevajo dostop do galerije, nalaganje portretov v oblak ali plačilo za nejasno opisane predloge.
Uporabnik prav tako ne sme nalagati fotografij drugih oseb v generativne aplikacije brez njihovega dovoljenja. Tudi vsebina, ki je predstavljena kot šala in ni nikoli javno objavljena, lahko pomeni hud poseg v zasebnost ter se hitro razširi brez nadzora.
Največje vprašanje za Apple in Google zato ni, ali bosta odstranila teh 13 aplikacij. Pomembneje bo, ali lahko preprečita, da se enaka funkcionalnost čez nekaj dni vrne pod novim imenom in znova pristane med priporočenimi orodji za obdelavo fotografij.
