Nizozemski organ za varstvo podatkov je podjetju Uber izrekel 825 milijonov evrov kazni, ker je po ugotovitvah regulatorja uporabljalo avtomatizirane sisteme za začasno ali trajno deaktivacijo računov voznikov brez zadostnega obvestila, pojasnila in človeškega nadzora. Gre za eno največjih kazni doslej po evropski uredbi GDPR in za pomemben signal vsem platformam, ki pri upravljanju zaposlenih ali pogodbenih sodelavcev uporabljajo algoritme. Uber odločitev izpodbija in se bo pritožil.
Poudarki:
- Uber je dobil 825 milijonov evrov kazni zaradi avtomatiziranega deaktiviranja računov voznikov brez zadostnega človeškega nadzora.
- Regulator meni, da so takšne odločitve pomembno vplivale na dohodek voznikov in bi morale vključevati možnost učinkovitega ugovora.
- Uber trdi, da trajnih deaktivacij brez človeškega pregleda ni izvajal, odločitev pa bo izpodbijal na sodišču.
Uber in 825 milijonov evrov kazni: kaj je sploh naredil algoritem?
Primer se nanaša na obdobje med letoma 2018 in 2022, ko so nekateri evropski vozniki Uberja ostali brez dostopa do platforme po avtomatiziranih ocenah sistema. Med razlogi so bili sumi goljufij, domnevni nepotrebni obvozi, sprejemanje voženj brez namena njihove izvedbe in v nekaterih primerih nizke ocene uporabnikov.
Težava po mnenju nizozemskega regulatorja ni bila samo v tem, da je Uber uporabljal algoritme. Evropska pravila avtomatiziranih odločitev ne prepovedujejo sama po sebi.
Ključno vprašanje je, kaj se zgodi, ko računalniški sistem sprejme odločitev, ki ima za posameznika pomembne posledice.
Če voznik nenadoma izgubi dostop do aplikacije, lahko praktično čez noč izgubi tudi vir prihodka. Regulator je zato ocenil, da takšna odločitev ne sme temeljiti zgolj na avtomatiziranem postopku brez ustreznega obvestila, razlage, učinkovitega človeškega pregleda in možnosti izpodbijanja.
GDPR ne prepoveduje algoritmov, prepoveduje pa določene odločitve brez človeka
Evropska uredba GDPR posamezniku zagotavlja posebno zaščito pred odločitvami, ki temeljijo izključno na avtomatizirani obdelavi in imajo zanj pravne ali podobno pomembne posledice.
To pomeni, da podjetje ne more preprosto reči: »računalnik je tako odločil«.
Pri odločitvah z velikim vplivom mora obstajati možnost:
- da posameznik razume bistvo odločitve,
- da pridobi relevantno pojasnilo,
- da odločitev izpodbija,
- da primer dejansko pregleda človek.
Nizozemski organ za varstvo podatkov je pri Uberju ugotovil, da ti pogoji v več primerih niso bili ustrezno izpolnjeni. Reuters navaja, da je regulator ugotovil tudi primere deaktivacije računov brez predhodnega opozorila ali človekovega posredovanja.
Primer je pomemben predvsem zato, ker algoritmi danes ne odločajo več samo o tem, kateri oglas bomo videli ali kateri video se bo pojavil v priporočilih. Vedno pogosteje sodelujejo pri odločitvah o zaposlitvi, plačilu, ocenjevanju tveganja, kreditih in dostopu do dela.
Ena slaba ocena lahko sproži zelo resne posledice
Uber je sistem ocenjevanja voznikov že dolgo uporabljal kot enega od signalov kakovosti.
Po navedbah regulatorja so bili nekateri vozniki z nizkimi ocenami uporabnikov tudi trajno deaktivirani avtomatsko. Uber temu delu ugotovitev nasprotuje in trdi, da nikoli ni izvedel trajne deaktivacije brez človeškega pregleda.
Podjetje je regulatorju navedlo tudi, da je bilo zaradi nizkih ocen leta 2021 v Evropi deaktiviranih 126 voznikov. Uber prav to uporablja kot enega od argumentov, da je kazen glede na dejanski obseg primerov nesorazmerno visoka.
Vendar pa regulator vprašanja ne ocenjuje samo po številu prizadetih ljudi.
Če avtomatizirana odločitev posamezniku onemogoči nadaljnje delo, je vpliv lahko izjemno velik tudi pri majhnem številu primerov. To je bistvo evropskega pristopa: pomembna ni samo količina obdelanih podatkov, temveč tudi posledica odločitve za posameznika.
Vozniki so primer začeli graditi že pred leti
Postopek ni nastal iz nenadne regulativne akcije.
Primer se je začel v Franciji, kjer so vozniki začeli zbirati informacije o tem, kako Uber sprejema odločitve o njihovih računih. Pri tem jim je pomagala švicarska organizacija za digitalne pravice PersonalData.io.
Po poročanju TechCruncha je nekdanji voznik Brahim Ben Ali po deaktivaciji svojega računa leta 2019 zbral pričevanja približno 170 drugih voznikov. Primer je nato prišel do nizozemskega regulatorja, ker ima Uber svoj evropski sedež na Nizozemskem.
To je pomembno tudi z vidika pristojnosti.
Pri velikih tehnoloških podjetjih, ki delujejo po vsej Evropski uniji, postopke pogosto vodi regulator v državi, kjer ima podjetje svoj glavni evropski sedež.
825 milijonov evrov je druga največja kazen GDPR doslej
Če bo odločitev obstala, bo šlo za drugo največjo kazen, izrečeno po uredbi GDPR.
Večja je bila doslej le kazen v višini 1,2 milijarde evrov, ki jo je leta 2023 zaradi prenosa podatkov evropskih uporabnikov Facebooka v ZDA prejel Meta. Tudi Meta to odločitev izpodbija.
Višina Uberjeve kazni ni bila določena arbitrarno. Nizozemski regulator jo je izračunal kot delež prihodkov podjetja v letu 2025, kar je pri velikih globalnih podjetjih običajen princip pri visokih kaznih po GDPR.
Uber se z odločitvijo močno ne strinja.
Podjetje trdi, da so večina začasnih deaktivacij kratkotrajne, da vozniki lahko odločitve izpodbijajo in da trajne deaktivacije ne potekajo brez človeškega pregleda. Napovedalo je pritožbo.
Zato 825 milijonov evrov še ni nujno končni znesek, ki ga bo Uber dejansko plačal. Pri velikih evropskih kaznih pogosto sledijo večletni sodni postopki, v katerih se zneski lahko zmanjšajo ali odločbe spremenijo.
Primer presega Uber: podobna pravila veljajo tudi za AI pri zaposlovanju
Najzanimivejša posledica te odločitve je njen pomen zunaj prevoznih platform.
Podjetja vse pogosteje uporabljajo avtomatizirane sisteme za:
- filtriranje kandidatov za zaposlitev,
- razporejanje delovnega časa,
- ocenjevanje uspešnosti,
- odkrivanje domnevnih zlorab,
- dodeljevanje nalog,
- določanje cen in nagrad,
- avtomatske disciplinske ukrepe.
Več ko tak sistem odloča sam, večja postaja zahteva po razložljivosti in človeškem nadzoru.
To bo še pomembnejše z evropsko uredbo o umetni inteligenci, ki za nekatere sisteme pri zaposlovanju in upravljanju delavcev določa posebno kategorijo visokega tveganja.
Zato Uberjev primer ni samo zgodba o GDPR izpred nekaj let. Je zelo aktualen primer tega, kako bodo evropski regulatorji verjetno gledali tudi na nove sisteme umetne inteligence, ki bodo odločali o ljudeh.
Kaj pomeni »človeški pregled« v praksi?
Ena od pomembnih podrobnosti je, da podjetje ne more avtomatski odločitvi dodati človeka zgolj formalno.
Če zaposleni samo potrdi priporočilo algoritma brez dejanske možnosti, da preveri podatke, razume razlog in spremeni odločitev, to težko predstavlja smiseln človeški nadzor.
Pravi pregled bi moral vključevati dovolj informacij, da lahko oseba:
- preveri vhodne podatke,
- razume, zakaj je sistem sprožil odločitev,
- upošteva dodatne okoliščine,
- popravi napačno odločitev,
- uporabniku pojasni rezultat.
Prav zaradi tega postajajo pomembne tudi evidence o tem, kako modeli in algoritmi sprejemajo odločitve.
Pri velikih sistemih umetne inteligence to ni vedno preprosto. Model lahko uporablja desetine ali stotine signalov, njihova medsebojna kombinacija pa je težko razložljiva. Toda pravni standard se zato ne zmanjša samo zato, ker je tehnologija kompleksna.
Kaj to pomeni za uporabnike v Sloveniji?
Uber v Sloveniji nima enake prisotnosti kot v nekaterih večjih evropskih državah, toda odločitev je za slovenske uporabnike in podjetja vseeno pomembna.
GDPR velja v celotni Evropski uniji.
Če slovensko podjetje uporablja avtomatizirano odločanje pri zaposlenih, pogodbenih sodelavcih ali uporabnikih, veljajo enaka temeljna pravila glede transparentnosti in pravice do človeškega pregleda.
To velja še posebej takrat, ko sistem odloča o nečem pomembnem: dostopu do dela, kreditu, zavarovanju, storitvi ali drugi možnosti, ki bistveno vpliva na posameznikovo življenje.
Prav tu je Uberjev primer lahko precedenčno pomemben.
Ne zato, ker bi regulatorji prepovedovali uporabo algoritmov, temveč zato, ker zelo jasno postavljajo mejo: če algoritem odloča o človekovem prihodku ali pravicah, podjetje ne more odgovornosti preprosto prenesti na računalnik.
