Nvidia, Microsoft, IBM, Cloudflare, CrowdStrike in več deset drugih tehnoloških podjetij so ustanovili Open Secure AI Alliance. Zavezništvo bo razvijalo odprta varnostna orodja za nadzor agentov umetne inteligence, ki lahko samostojno uporabljajo programsko opremo, spreminjajo datoteke in izvajajo dejanja v računalniških sistemih.
Poudarki:
- Novo zavezništvo bo razvijalo odprta orodja za preverjanje identitete, dovoljenj, vedenja in varnosti agentov umetne inteligence.
- Med prvimi partnerji so Microsoft, IBM, Adobe, Cisco, Cloudflare, CrowdStrike, Dell, Hugging Face, SAP in Siemens.
- Nvidia je objavila raziskovalno ogrodje NOOA, ki omogoča lažje testiranje, sledenje, revizijo in upravljanje dejanj agentov.
Umetna inteligenca ne odgovarja več samo na vprašanja
Običajen klepetalni robot prejme vprašanje in ustvari odgovor. Agent umetne inteligence gre korak dlje. Dobi cilj, sam pripravi večstopenjski načrt, izbere orodja in začne izvajati naloge.
Takšen agent lahko med drugim:
- odpira in spreminja datoteke,
- uporablja spletni brskalnik,
- pošilja zahteve drugim programom,
- piše in zaganja programsko kodo,
- dostopa do podatkovnih zbirk,
- ustvarja podrejene agente,
- opravlja naloge brez stalnega nadzora človeka.
Te sposobnosti lahko močno pospešijo delo, vendar prinašajo novo vrsto tveganja. Če agent napačno razume cilj, prejme zlonamerno navodilo ali pridobi preširoka dovoljenja, lahko povzroči škodo z enako hitrostjo, s katero naj bi pomagal uporabniku.
Zato po mnenju ustanoviteljev novega zavezništva ni dovolj preverjati samo jezikovnega modela. Varnost mora vključevati celotno okolje, v katerem agent deluje: njegovo identiteto, dovoljenja, omejitve, dnevnike dejavnosti in način povezovanja z drugimi sistemi.
Kdo se je pridružil novemu zavezništvu
Open Secure AI Alliance združuje podjetja s področij umetne inteligence, računalništva v oblaku, kibernetske varnosti, poslovne programske opreme in odprtokodnih tehnologij.
Med ustanovnimi partnerji so:
- Nvidia,
- Microsoft,
- IBM in Red Hat,
- Adobe,
- Cisco in Cloudflare,
- CrowdStrike in Palo Alto Networks,
- Dell Technologies in HPE,
- Hugging Face,
- SAP, Salesforce in ServiceNow,
- Siemens in Cadence,
- Databricks in Snowflake,
- Linux Foundation,
- LangChain,
- Naver,
- Palantir,
- SK Telecom,
- Synopsys.
Na seznamu so tudi številna mlajša podjetja in raziskovalne skupine, ki razvijajo modele, agentska ogrodja ali varnostna orodja.
Zavezništvo namerava objavljati modele, podatke, preizkusna okolja in druga orodja, ki jih bodo lahko strokovnjaki pregledali, prilagodili ter izvajali na lastni infrastrukturi. To je pomembno predvsem za podjetja, ki zaradi občutljivih podatkov ne želijo, da se varnostna analiza izvaja izključno v zunanjem oblaku.
Nvidia zavezništvo predstavlja kot nadaljevanje pobud Akrites in OpenSSF pod okriljem Linux Foundation. Cilj ni izdelati enega samega varnostnega izdelka, temveč ustvariti skupne gradnike, ki jih bodo lahko uporabljali različni ponudniki.
NOOA naj bi pokazala, kaj je agent dejansko naredil
Nvidia je kot prvi konkretni prispevek predstavila odprtokodni raziskovalni projekt Nvidia Labs Object-Oriented Agent oziroma NOOA.
Projekt je namenjen tako imenovanim agentskim ogrodjem. To je programska plast med modelom in računalniškim okoljem, ki odloča, katera orodja lahko agent uporablja, kako se izvajajo njegove naloge in kateri podatki se zapisujejo v dnevnik.
NOOA naj bi razvijalcem in varnostnim ekipam olajšala štiri pomembna opravila:
- Preizkušanje: preverjanje, kako se agent odzove na nevarna ali dvoumna navodila.
- Sledenje: beleženje posameznih odločitev, klicev orodij in sprememb v sistemu.
- Revizijo: naknadno ugotavljanje, zakaj je agent izvedel določeno dejanje.
- Upravljanje: določanje dovoljenih dejanj in omejevanje tveganega vedenja.
To rešuje eno ključnih težav avtonomnih sistemov. Končni rezultat pogosto ne pove, kako je agent do njega prišel. Če je vmes obiskal nevarno spletno stran, razkril podatke ali izvedel nepooblaščen ukaz, mora biti mogoče njegovo pot rekonstruirati.
Samo beleženje dejavnosti sicer ne prepreči napada. Lahko pa skrajša čas odkrivanja težave in pomaga ugotoviti, kateri podatki ali sistemi so bili prizadeti.
Identiteta agenta postaja podobno pomembna kot geslo zaposlenega
HPE bo zavezništvu prispeval delo pri odprtokodnih projektih SPIFFE in SPIRE. Ti omogočajo kriptografsko preverjanje identitete programskih storitev in delovnih procesov.
Pri običajnem uporabniku sistem preveri uporabniško ime, geslo ali drug način prijave. Pri agentih je položaj bolj zapleten. Organizacija lahko uporablja več sto agentov, ki delujejo v različnih oblakih ter dostopajo do datotek, poslovnih aplikacij in podatkovnih baz.
Vsak agent zato potrebuje preverljivo identiteto in natančno omejena dovoljenja. Sistem mora vedeti:
- kateri agent zahteva dostop,
- kdo ga je ustvaril oziroma zagnal,
- katero nalogo opravlja,
- do katerih podatkov sme dostopati,
- koliko časa veljajo dovoljenja,
- ali je dovoljeno dejanje izvedel prav ta agent.
Tak pristop zmanjšuje nevarnost, da bi kompromitiran agent prosto potoval med povezanimi sistemi. Tudi če napadalec prevzame en proces, mu pravilno razdeljena dovoljenja preprečujejo dostop do celotnega omrežja.
Microsoft, Hugging Face in Red Hat prispevajo svoja orodja
Zavezništvo ne začenja povsem od začetka. Več članov že razvija tehnologije, ki jih namerava vključiti v širši odprti varnostni sklad.
Hugging Face je odprtokodni skupnosti ponudil format Safetensors. Namenjen je varnemu shranjevanju uteži modelov in je zasnovan tako, da ob nalaganju datoteke ne more samodejno izvesti skrite programske kode.
IBM in Red Hat razvijata Lightwell, ki uporablja digitalno podpisane popravke za zaščito odprtokodne dobavne verige. Digitalni podpis prejemniku omogoča preverjanje, da popravka med potjo ni spremenila nepooblaščena oseba.
Microsoft prispeva MDASH, ogrodje, v katerem več specializiranih agentov išče ranljivosti, preverja ugotovitve drugih agentov in poskuša dokazati, ali je zaznano napako dejansko mogoče izkoristiti.
Člani želijo razviti tudi orodja za:
- izolacijo agentskih procesov,
- pregledovanje več modelov hkrati,
- varno uporabo modelnih datotek,
- nadzor programiranja z umetno inteligenco,
- simulacijo napadov,
- primerjalno preverjanje varnosti agentov,
- hitro razkrivanje in odpravljanje ranljivosti.
Odprti modeli so lahko obramba in nevarnost
Nvidia zagovarja stališče, da morajo imeti varnostne ekipe možnost pregledati, prilagoditi in na lastnih strežnikih izvajati zmogljive modele. Zaprti sistemi lahko zavrnejo tudi legitimno varnostno analizo, ker ne morejo zanesljivo razlikovati med branilcem in napadalcem.
Odprt model strokovnjaku omogoča več nadzora. Organizacija ga lahko prilagodi svojim sistemom, izvaja brez pošiljanja občutljivih podatkov zunanjemu ponudniku in preverja način njegovega delovanja.
Toda odprtost sama po sebi ne zagotavlja varnosti. Javno dostopne uteži modela lahko uporabijo tudi napadalci. Odstranijo lahko nekatere omejitve, prilagodijo model za iskanje ranljivosti ali avtomatizirajo pripravo škodljive kode.
Zavezništvo zato zagovarja kombinacijo odprtosti in zaščitnih ukrepov. Ti vključujejo stroga dovoljenja, izolirana okolja, neprekinjeno beleženje dejanj, varnostno ocenjevanje ter jasna pravila glede zlonamerne uporabe.
Gre tudi za politično sporočilo. Nvidia opozarja, da bi splošna prepoved zmogljivih odprtih modelov lahko povečala odvisnost od nekaj velikih zaprtih ponudnikov. Kritiki pa bodo želeli dokaze, da je mogoče sposobnosti, uporabne za obrambo, dovolj učinkovito ločiti od njihove zlorabe.
Kaj to pomeni za običajna podjetja in uporabnike
Open Secure AI Alliance še ni nov varnostni program, ki bi ga uporabnik namestil na računalnik. Gre za razvojno in industrijsko pobudo, katere učinek se bo pokazal šele, ko bodo njena orodja vključena v poslovne platforme, oblačne storitve in agentske izdelke.
Za podjetja, ki uvajajo agente umetne inteligence, pa pobuda izpostavlja praktično vprašanje: ni dovolj izbrati samo zmogljivega modela. Preveriti morajo tudi, kaj mu bodo dovolila.
Pred uvedbo agenta je smiselno določiti:
- najmanjši obseg potrebnih dovoljenj,
- podatke, do katerih ne sme dostopati,
- dejanja, ki zahtevajo človeško potrditev,
- način beleženja njegove dejavnosti,
- postopek za takojšnjo prekinitev delovanja,
- odgovorno osebo za varnostni nadzor.
Za običajnega uporabnika se bo sprememba pokazala bolj posredno. Digitalni pomočniki bodo lahko opravljali vedno več nalog, vendar bodo ob občutljivih dejanjih pogosteje zahtevali potrditev. To je lahko nekoliko manj udobno, vendar je pri pošiljanju podatkov, nakupih ali spreminjanju datotek nujen varnostni korak.
Novo zavezništvo ima dovolj velikih članov, da lahko njegova orodja postanejo pomemben industrijski temelj. Vendar bo treba šele preveriti, koliko kode in podatkov bodo podjetja dejansko odprla ter ali bodo nastali skupni standardi, ki jih bo mogoče uporabljati tudi zunaj njihovih lastnih ekosistemov.
