Stuart Russell, Zabrana smrtonosnog autonomnog oružja

 

turski Kargu

                            Pred nama je era u kojoj algoritmi odlučuju ko živi, a ko umire.

Šta je smrtonosno autonomno oružje? Slaughterbots, koji se također nazivaju “smrtonosni autonomni sistemi oružja” ili “roboti ubice”, su sistemi oružja koji koriste veštačku inteligenciju (AI) za identifikaciju, odabir i ubijanje ljudskih ciljeva bez ljudske intervencije .

Dok u slučaju bespilotnih vojnih dronova odluku o oduzimanju života donosi daljinski ljudski operater, u slučaju smrtonosnog autonomnog oružja odluku donose samo algoritmi . 

Slaughterboti su unapred programirani da ubiju određeni "ciljani profil". Oružje se zatim postavlja u okruženje u kojem njegova veštačka inteligencija traži taj "ciljni profil" koristeći podatke senzora, kao što je prepoznavanje lica. Kada oružje naiđe na nekoga za koga algoritam smatra da odgovara njegovom profilu mete, ono puca i ubija.

_____________________

 Stuart Russell

"Ovo oružje nije naučna fantastika:

ono postoji sada i već se koristi

u nekim trenutnim sukobima."

       Smrtonosni autonomni oružani sistemi – koji su uobičajeno ali pogrešno poznati kao “roboti ubice” – su sistemi oružja koji, nakon što se aktiviraju, mogu napasti objekte i ljude bez dalje ljudske intervencije. S više od deset nacija koje rade na razvoju njihovih visoko sposobnih verzija za upotrebu u vazduhu, na moru i na kopnu, ovo oružje nije naučna fantastika: ono postoji sada i već se koristi u nekim trenutnim sukobima. 

     Ujedinjene nacije od 2014. vode rasprave oko sporazuma o zabrani autonomnih sistema naoružanja (AWS). Do sada je, pored generalnog sekretara UN-a i Međunarodnog komiteta Crvenog krsta, podršku takvom sporazumu izjasnilo 30 zemalja. Ali Sjedinjene Države i Rusija su udružile snage kako bi sprečile bilo kakvu diskusiju o pravno obavezujućem instrumentu. Umesto toga, Sjedinjene Države su 2021. pozvale na “ neobavezujući kodeks ponašanja ”.

      Moje učešće u raspravi o politici AWS-a počelo je u februaru 2013. kada je stigao zbunjujući e-mail od Human Rights Watch-a (HRW). Proučavao sam teme veštačke inteligencije (AI) 45 godina i proveo sam više od jedne decenije radeći na verifikaciji za Ugovor o sveobuhvatnoj zabrani nuklearnih testova. I ja sam već neko vreme član HRW-ovog komiteta za Severnu Kaliforniju. Više od četiri decenije, organizacija je istraživala zločine širom sveta — zločine koje su počinili ljudi.

    Sada je  HRW od mene tražio da podržim novu kampanju za zabranu robota ubica. U pismu se ukazuje na mogućnost da su deca koja se igraju s oružjem slučajno na meti robota ubica. U njemu se navodi da roboti neće biti obuzdani "ljudskim saosećanjem, koje može pružiti važnu kontrolu ubijanja civila".

     Oporavio sam se od svoje početne zbunjenosti i odgovorio na e-mail da bismo možda mogli početi s profesionalnim kodeksom ponašanja za kompjuterske naučnike – nešto poput : Ne dizajnirajte algoritme koji mogu odlučiti da ubijaju ljude.

      Ova opomena mi se učinila očigledno razumnim pravilom sa kojim bi se svaki normalan složio. Ipak, ubrzo sam saznao da "razumno" i "normalno" nisu reči koje se obično povezuju s geopolitičkom i diplomatskom sferom gde se raspravlja o pitanjima kontrole naoružanja. U ovoj areni interesi se nadmeću i preklapaju. Argumenti zasnovani na zaslugama u najboljem slučaju igraju sporednu ulogu, a mogu čak i naštetiti nečijoj stvari. U poslednjih osam godina polako sam naučio da se krećem ovim svetom. U početku sam sledio standardni politički scenario: održao desetine prezentacija, uključujući nekoliko u Ujedinjenim nacijama, učestvovao u stotinama medijskih intervjua i događaja i predvodio delegaciju naučnika u Beloj kući. Ali, kako je postalo jasno da to nije dovoljno, ubrzo sam pokušao i druge pristupe, uključujući pokretanje peticije koju je potpisalo 30. 

    U ovom članku ću objasniti svoje obrazovanje u ovoj novoj areni kontrole naoružanja, ali dopustite mi da počnem s nekim upozorenjima. Prvo, ne govorim o zabrani svake upotrebe AI u vojnim aplikacijama. Neke upotrebe, kao što je bolje otkrivanje iznenadnih napada, mogle bi biti korisne. Drugo, ne radi se o opštem moralu istraživanja odbrane. Koliko god to vredi, mislim da naučnici imaju neku obavezu da pomognu onima koji su voljni umreti kako bi ih zaštitili. Konačno, ne govorim o dronovima u smislu letelica kojima ljudi upravljaju na daljinu; ti nisu autonomni. Niti govorim o tehnologijama kao što su sistemi protivraketne odbrane; oni su autonomni, ali nisu smrtonosni, jer su njihovi ciljevi projektili, a ne ljudi.

   Nakon što sam odgovorio na e-mail HRW-a, proveo sam vreme učeći o upravljanju autonomnim oružjem. Svo oružje je delimično regulisano međunarodnim humanitarnim pravom, koje uključuje Ženevske konvencije—posebno Konvenciju o zabrani ili ograničenju upotrebe određenog konvencionalnog oružja za koje se može smatrati da je prekomerno štetno ili da ima neselektivno delovanje (poznatije, iz očiglednih razloga, kao CCW).

   Jedno od glavnih pravila međunarodnog humanitarnog prava je princip razlikovanja: ne može se napadati civile, i, prema tome, ne može se koristiti oružje koje je po prirodi neselektivno. Izveštaj UN-a iz 2013. upozorava da bi autonomno oružje moglo biti neselektivno – slučajno ciljano na civile. Iz ovog upozorenja proizašao je izveštaj HRW-a, s primerom dece koja su na meti jer se igraju s oružjem.

     Vremenom sam pomislio da je ovo fokusiranje na slučajno ciljanje bilo strateška greška, ali je to bila jedna od primarnih briga koja je dovela do prve rasprave CCW-a o autonomnom oružju 2014. godine . Svake godine od tada, zemlje uključene u CCW sastaju se da razgovaraju o mogućnostima AWS-a koji se razvijaju i da li i kako ih treba kontrolisati.

      Godine 2015. pozvan sam da se obratim CCW sastanku u Ženevi kao stručnjak za veštačku inteligenciju. Imao sam tri posla: razjasniti zabunu oko značenja „autonomije“, proceniti tehnološku izvodljivost autonomnog oružja i proceniti prednosti i nedostatke njihovog korištenja. Po mojoj naivnosti, ovo je izgledalo kao prilika da se rasprava usmeri u razumnom smeru.

       Objašnjavanje autonomije nije izgledalo tako teško. Istraživaču veštačke inteligencije autonomija koja je važna za oružje je potpuno ista ona vrsta koju dajemo šahovskim programima. Iako pišemo šahovski program, mi ne odlučujemo šta ćemo potezati. Pritisnemo dugme “start” i šahovski program donosi odluke. Vrlo brzo će se zauzeti na pozicijama koje niko do sada nije video, i odlučiće, na osnovu onoga što vidi i sopstvenih složenih i neprozirnih proračuna, gde da pomeri figure, a koje neprijateljske figure da uzme.

       To je upravo definicija UN-a: oružje koje, kada se jednom aktivira, može odabrati i gađati mete bez daljnje ljudske intervencije. Nema misterije, nema zle namere, nema samosvesti; samo složene kalkulacije koje zavise od toga šta kamera mašine vidi – to jest, od informacija koje nisu dostupne ljudskom operateru u trenutku kada je oružje poslano na svoju misiju.

      Drugo pitanje je bilo izvodljivost – da li bi ovo oružje moglo biti napravljeno uz pomoć tada aktuelnih tehnologija, i, ako ne, koliko dugo će to biti moguće? Iz razloga koje nisam mogao shvatiti, zajednica za kontrolu naoružanja — uključujući HRW i grupu od 20 dobitnika Nobelove nagrade za mir — insistirala je da bi se ovo oružje „moglo razviti u roku od 20 do 30 godina“. Nasuprot tome, moje kolege robotičari su rekli „18 meseci, najviše“, a britansko Ministarstvo odbrane je reklo da je određeni stepen autonomije „ verovatno sada dostižan “ za neke scenarije. Zaista, do 2015. godine sve komponente tehnologije za autonomno oružje već su postojale i ne bi bilo teško spojiti ih.      

 

      U najmanju ruku, autonomno oružje zahteva mobilnu platformu. Čak je i 2015. godine već bilo mnogo opcija: kvadrokopteri veličine od 3 centimetra do 1 metar; avioni s fiksnim krilima u rasponu od aviona za dostavu paketa hobi veličine do bespilotnih letelica pune veličine koje nose rakete; samovozeći automobili, kamioni i cisterne; rojevi naoružanih čamaca bez posade; pa čak i – ako morate – skeletni humanoidni roboti. Bilo je demonstracija kvadrokoptera koji su hvatali lopte u vazduhu i leteli postrance kroz vertikalne proreze velikom brzinom – čak i velike formacije njih su prolazile kroz uske prozore i ponovo se formirale unutar zgrada. Danas su savršeno koordinirani akrobatski prikazi preko 3.000 kvadrokoptera rutina na korporativnim događajima.

    

        Zatim, mašina mora biti u stanju da percipira svoje okruženje. Godine 2015. algoritmi koji su već bili raspoređeni na automobilima koji se sami voze mogli su pratiti pokretne objekte na video snimku, uključujući ljudska bića i vozila. Autonomni roboti bi već mogli istraživati i graditi detaljnu mapu gradske četvrti ili unutrašnjosti zgrade.

       Mašina takođe mora imati sposobnost donošenja taktičkih odluka. Oni mogu ličiti na one koje demonstriraju AI sistemi u video igrama za više igrača ili u automobilima koji se sami voze. U mnogo smislu, međutim, dizajniranje oružja je lakše iz jednostavnog razloga što samovozeći automobil ne može pogrešiti, ali AWS koji radi 80% vremena savršeno je adekvatan prema vojnim standardima. (A da je neuspeh problem, mogao bi se prevladati slanjem tri AWS umesto samo jednog.)

 

     Završno razmatranje je smrtonosnost. Neko oružje je već bilo dostupno na daljinski upravljanim dronovima, uključujući projektile s vizionarskim navođenjem, žiro-stabilizirane mitraljeze i eksploziv od 51 funte koji je nosio izraelski projektil Harpy 2. Mnoge druge smrtonosne tehnologije lako bi se mogle prilagoditi za rad na autonomnoj platformi.

        Nakon diskusije o izvodljivosti, okrenuo sam se prednostima i nedostacima: da li zemlje treba da razviju i koriste autonomno oružje ili bi ga nacije trebale zabraniti? Jedna od uobičajenih prednosti autonomije je da ratovi koji se vode između armija robota mogu drastično smanjiti rizik za ljudske borce. Ali da je to istina, mogli bismo i rešavati ratove igrajući tiddlywinks. Mislim da se u stvarnom svetu ratovi završavaju kada nivo smrti i razaranja postane neodrživ za jednu ili obe strane.

      Možda je najozbiljniji argument u korist autonomnog oružja tvrdnja da ono štiti civile. Na sastancima CCW, američka i britanska delegacija tvrde da autonomno oružje može „ smanjiti rizik za civile u vojnim operacijama, ... automatizacijom identifikacije cilja ... radi poboljšanja brzine, preciznosti i tačnosti." Ovo je produžetak argumenta za daljinski upravljane dronove; zahteva AI sisteme koji su bolji od ljudi u prepoznavanju legitimnih ciljeva, što verovatno nije bilo moguće 2015. godine, iako su sposobnosti od tada napredovale. Problem s ovim argumentom je u tome što on također implicira da će se autonomno oružje koristiti vrlo slično kao dronovi. Ako nisu – ako se autonomno oružje češće koristi od strane različitih strana, protiv različitih ciljeva, s različitim ciljevima ili u manje jasnim okruženjima – onda bi civilne žrtve mogle biti daleko veće.

          Iz tog razloga, mislim da je naglasak na pitanju preciznosti ciljanja i diskriminacije bio pogrešan – na obe strane debate. Zabrinutost skreće pažnju s velike slike, a to je da će autonomno oružje u potpunosti promieniti prirodu ratovanja, ravnotežu moći među nacijama i nedržavnim akterima i održivost prava na „sigurnost ličnosti“ sadržanog u Univerzalnoj deklaraciji Ljudska prava.

     Spisak uobičajenih prigovora na autonomno oružje je dugačak. Neka su prilično praktična, kao što je činjenica da bi autonomno oružje moglo biti podložno sajber infiltraciji, što bi dovelo do toga da se okrenu protiv svojih vlasnika kada je počeo rat, ili bi moglo slučajno eskalirati sukob ako lažna uzbuna dovede do stvarne, automatizirane odmazde. Vojni planeri već ozbiljno shvataju i sajber infiltraciju i eskalaciju.

          Učesnici kampanja su također izneli pravne argumente, kao što je "jaz u odgovornosti" koji nastaje kada sistemi veštačke inteligencije počine zločine. Ali zagovornici autonomnog oružja tvrde da ovde nema novog jaza između zločinačke namere i kriminalnog nemara ljudi koji su pokrenuli napad.

Konačno, postoje argumenti o moralu i časti. Međunarodno humanitarno pravo uključuje eksplicitno moralni element pod nazivom Martensova klauzula , koji kaže da „u slučajevima koji nisu obuhvaćeni zakonom na snazi, ljudska osoba ostaje pod zaštitom principa čovečnosti i diktata javne savesti“.         

        Možemo videti odjeke ovog moralnog principa u raznim javnim izjavama: na primjer, Antonio Guterres, generalni sekretar UN-a, izjavio je 2019. godine: „Mašine sa moći i diskrecijom da oduzimaju živote bez ljudskog učešća su politički neprihvatljive, moralno odbojne i trebalo bi biti zabranjeno međunarodnim pravom.” Moralno protivljenje autonomnom oružju također je došlo s neočekivanih strana: u iznenadnom potezu Debata 2016. na Svetskom ekonomskom forumu, Roger Carr, predsedavajući odbrambenog izvođača BAE Systems, izjavio je da je delegiranje odluka o ubijanju na mašine bilo "fundamentalno pogrešno" i obećao da njegova kompanija to nikada neće dozvoliti. A 2017. godine, Paul Selva, potpredsednik Združenog načelnika štaba u Sjedinjenim Državama, rekao je Kongresu: “Mislim da nije razumno da stavimo robote na odgovornost da li oduzmemo ljudski život ili ne.”

           Nema sumnje da među vojnicima postoji osećaj časti. Na sastancima sa visokim vojnim oficirima iz nekoliko zemalja, bio sam zapanjen koliko ozbiljno shvataju svoju odgovornost za život i smrt. I naravno, oni razumeju da bi jednog dana mogli biti izloženi napadima autonomnog oružja.

          Međutim, nisam verovao da će argumenti zasnovani samo na moralu i časti uticati na vlade koje su ključne za donošenje odluka o ovom oružju – posebno kada ne veruju u moral i čast svih drugih vlada. Tako da je poslednje pitanje koje sam istražio pripremajući se za sastanak CCW bila buduća evolucija autonomnog oružja. Koje vrste oružja bi omogućila AI, kako bi se ono koristilo i kako bi to promenilo sam rat?

       Ukratko, umesto da se pozivam na više principe, nadao sam se da ću apelovati na nacionalni vlastiti interes.

       Činilo mi se da će AI, uklanjanjem ljudskog elementa, omogućiti da smrtonosna jedinica bude daleko manja, jeftinija i okretnija od tenka ili jurišnog helikoptera ili vojnika koji nosi pištolj. Smrtonosni kvadrokopter sa AI pogonom mogao bi biti manji od konzerve kreme za cipele, a ako bi nosio samo tri grama eksploziva, mogao bi ubiti osobu iz neposredne blizine.

        Nije teško zamisliti da bi se na kraju ovakvo oružje moglo masovno proizvoditi vrlo jeftino. I, da nastavimo sa ovim spekulativnim scenarijem, običan brodski kontejner mogao bi da primi milion njih. Budući da, po definiciji, za svako oružje nije potreban ljudski nadzor, svi bi se mogli poslati da rade svoj posao odjednom. Verujem da bi krajnja tačka bila da autonomno oružje postane jeftino, selektivno, skalabilno oružje za masovno uništenje (WMD). Jasno je, činilo mi se, ovo bi bila katastrofa za međunarodnu sigurnost — a time i lični interes moje vladine i diplomatske publike.

         Međutim, nakon svog izlaganja u Ženevi našao sam se u neobičnoj poziciji da sam izuzetno popularan kod ambasadora Kube, Pakistana i Venecuele, ali ne i kod Amerikanaca i Britanaca. Njihovo nezadovoljstvo proizlazi, pretpostavljam, iz onoga što su videli kao realpolitike: utilitarne potrebe da održe vojnu superiornost nad svim potencijalnim neprijateljima koji bi razvili AI oružje.

Iako je američko i britansko protivljenje sporazumu omelo napredak u Ženevi, ostaje mi nada da će ove zemlje na kraju shvatiti da je potreba da se izbegne stvaranje nove kategorije jeftinog, skalabilnog oružja za masovno uništenje argument koji su one zapravo već prihvatile. Godine 1966. koalicija američkih biologa i hemičara pisala je predsedniku Lyndonu Johnsonu objašnjavajući da će biološko oružje, kada se jednom usavrši, postati jeftino, široko rasprostranjeno oružje za masovno istrebljenje. Johnsonov naslednik, Richard Nixon, postao je uveren da će ovo oružje na kraju smanjiti američku sigurnost, što ga je navelo da se jednostrano odrekne biološkog oružja 1969.. Ujedinjeno Kraljevstvo je, sa svoje strane, pomoglo u pokretanju pregovora o međunarodnom sporazumu o njihovoj zabrani, koji je postao Konvencija o biološkom oružju.

         Iako su u toku debate o definiciji oružja za masovno uništenje, čini mi se samorazumljivim da ako neko može ukucati komandu, pritisnuti “return” i zbrisati milion ljudi, to je oružje za masovno uništenje. Sigurnosne implikacije malih protivpešadijskih AWS, međutim, mogu biti čak i veće od onih drugih kategorija oružja za masovno uništenje. Pravilno programiran, roj bi mogao zbrisati, recimo, sve muškarce od 12 do 60 godina u gradu, ili sve pripadnike etničke ili verske grupe. A za razliku od nuklearnog oružja, roj ne bi ostavio radioaktivni krater, niti bi uništio vredne nekretnine. Ali, kao što su drugi pisali, veća razlika između AWS-a i nuklearnog oružja je u tome što su prva skalabilna: sukobi mogu nesmetano eskalirati od deset do hiljadu do sto hiljada žrtava, a da se ne pređe nikakva prepoznatljiva katastrofalna granica.

        Nakon sastanka u Ženevi 2015., zagovornicima sporazuma unutar zajednice umjetne inteligencije bilo je jasno da će nam trebati više od PowerPoint prezentacija da bismo pobiedili u ovom argumentu. U julu 2015. pokrenuli smo otvoreno pismo u kojem pozivamo na zabranu; Potpisalo je 4.667 istraživača AI, uključujući gotovo celo vodstvo na terenu; pridružilo im se skoro 27.000 drugih potpisnika. Medijski članci su se pojavili širom svieta. Čak je i Financial Times — ne baš dnevnik kuće mirovnjaka — podržao zabranu, nazivajući autonomno oružje „ noćnom morom koju svet nema razloga da izmišlja “.

        Također sam shvatio da je svaki pokušaj da se raspravlja o pitanju smrtonosnog autonomnog oružja u javnoj sferi komplikovan raširenim, već postojećim zabludama. Mediji uporno povezuju autonomno oružje sa divljajućim robotima u stilu Terminatora, što dovodi javnost u zabludu da misli da je autonomno oružje naučna fantastika. Tema Terminatora takođe navodi ljude da pomisle da je problem Skynet – globalni softverski sistem koji kontroliše Terminator robote – koji postaje svestan, mrzi ljude i pokušava da nas sve ubije.

         Naravno, svesni, zlonamerni Skynet nikada nije bio pravi problem, ali toj narativi je očigledno bio potreban protuargument. Uverio sam se da moramo vizuelno objasniti problem sa autonomnim oružjem. 2017. godine, uz pomoć pisaca i filmaša u kompaniji Space Digital za film i digitalne efekte i finansiranjem Instituta za budućnost života, snimili smo film pod nazivom Slaughterbots. Imao je dve priče: jednu, prodajnu prezentaciju izvršnog direktora proizvođača oružja, koja demonstrira mali kvadrokopter i njegovu upotrebu u selektivnim masovnim napadima; drugi, niz nepripisanih zločina usmerenih, između ostalih, na Kongres SAD i studente u nekoliko zemalja.

          Film je premijerno prikazan na sastanku CCW u novembru 2017 . Reakcije na drugim mestima bile su uglavnom pozitivne: film je ubrzo imao milione pregleda na webu, a članak na CNN-u nazvao ga je "najkošmarnijim, distopijskim filmom 2017.". Film je imao još jednu ugodnu nuspojavu: fotografije iz Slaughterbotsa postepeno su počele zamenjivati Terminatore u medijskim ilustracijama pitanja autonomnog oružja.

         Mnoge moje kolege sa veštačkom inteligencijom mislile su da je prezentacija generalnog direktora stvarna, a ne izmišljena, što govori nešto o tome gde je tehnologija stajala 2017. Na sastanku CCW, s druge strane, ruski ambasador je odgovorio na moju prezentaciju ljutito me pitajući: „Zašto da li razgovaramo o naučnoj fantastici? Takvo oružje ne može postojati još 25 ili 30 godina!”

Ranije te godine, međutim, jedan državni proizvođač u Turskoj otkrio je svoj najnoviji proizvod: dron Kargu. Kargu-2, njegova trenutna verzija, je multikopter veličine tanjira koji može ići 90 milja na sat i nositi 3 funte eksploziva — dovoljno da uništi vozila i ošteti zgrade, kao i da ubije i povređuje ljude. Prema izveštaju UN-a iz 2021. godine, Kargusi su korišteni u Libiji 2020. godine kada su pripadnici jedne frakcije u povlačenju bili autonomno "lovjeni i udaljeni angažirani". Problem ovde nije bilo slučajno gađanje civila, već namerno gađanje boraca u potpunom povlačenju (kršeći pravilo vojne nužde) – sve u kontekstu potpunog embarga UN-a na prodaju oružja.

          Potpuno autonomno oružje je nažalost realnost, a protivnici i zagovornici ovih sistema sada se nalaze u nestabilnom ćorsokaku – nestabilnom jer se tehnologija ubrzava. Mnoge zemlje su za zabranu, kao i Evropski parlament, Ujedinjene nacije, Pokret nesvrstanih , stotine organizacija civilnog društva i, prema jednoj nedavnoj anketi, 61% odraslih u 28 zemalja. Pa ipak, napori da se zabrani AWS su u zastoju jer američka i ruska vlada, koju donekle podržavaju Britanija, Izrael i Australija, tvrde da zabrana nije potrebna.

          Kada se suprotstavljate takvoj neumoljivoj opoziciji, nastavak energičnijeg izražavanja vlastitog stava je beskorisno – pogotovo kada drugi imaju sve karte. Umesto toga, mala grupa, koju je krajem 2019. sazvao fizičar Massachusetts Institute of Technology, Max Tegmark, odlučila je istražiti mogućnost da bi razumna i kolegijalna rasprava mogla dovesti do boljeg ishoda. Upoznali smo se u Maxovoj kući u Bostonu. Učesnici – zagovornici kao i protivnici autonomnog oružja – uključivali su istraživače AI i stručnjake iz vojske, kontrole naoružanja i diplomatskog iskustva.

         Nakon neke diskusije i debate, tokom kojih se činilo da grupa nigde ne stiže, počeli smo razmatrati kompromisna rešenja, kao što je ograničena zabrana koja bi zahtevala minimalnu težinu i veličinu eksplozivnog tereta kako bi se isključilo malo protupešadijsko oružje.

       Za ovo postoji zanimljiv presedan koji se zove Deklaracija iz Sankt Peterburga iz 1868. godine. Poreklo deklaracije danas izgleda gotovo čudno: ruski inženjer je izumeo musketnu kuglu koja je eksplodirala unutar tela, a ruske diplomate su ubrzo shvatile da bi tako nehumano oružje moglo da pokrene trku u naoružanju. Sazvali su sastanak, a rezultirajućom deklaracijom zabranjuju se eksplozivna sredstva ispod 400 grama – zabrana koja vredi, barem otprilike, do danas.

Slična zabrana malih protupešadijskih AWS mogla bi eliminisati rojeve kao oružje za masovno uništenje. Ali to bi omogućilo velikim silama da nastave da razvijaju svoje autonomne podmornice, tenkove i borbene avione, čime bi se sprečilo strateško iznenađenje.

         Sporazum tipa iz Sankt Peterburga bio bi bolji nego ništa, posebno s obzirom na neuspeh poslednje runde pregovora CCW 2021. godine. Međutim, to bi bilo daleko od idealnog, jer bi princip da mašine mogu odlučivati koga će ubiti de facto postao široko prihvaćen. Dok potpuna zabrana održava moralnu stigmu i univerzalni princip, zabrana samo oružja manje veličine biće pod stalnim pritiskom dok se proizvođači takmiče da razviju jeftinije i okretnije oružje. Štaviše, verovatno će se pojaviti crno tržište. Mislim da je moralna jednostavnost zabrana hemijskog i biološkog oružja deo zašto su bile prilično efikasne – na primer, zabranjuju nadražujuće i anestetičke hemikalije u ratu, iako su one u mnogim zemljama dozvoljene za rad domaće policije.

        Šta je sledeće? Neminovno će se diplomatska akcija preseliti na Generalnu skupštinu UN-a, gdje za napredak nije potrebna jednoglasnost. (Na primer, Ugovor o sveobuhvatnoj zabrani nuklearnih testiranja usvojila je Generalna skupština 1996. godine nakon što nije uspeo da napreduje u okviru Konsenzusa zasnovane na Konferenciji o razoružanju.) Može se nastaviti i izvan okrilja UN-a, kao što se dogodilo s protupešadijskim nagaznim minama Konvencija, koja je započela pre 30 godina kada se šest nevladinih organizacija okupilo kako bi izgradili međunarodni pokret za praćenje upotrebe mina i zalaganje za zabranu oružja. 

        Danas je važna komponenta moje strategije dovođenje zajednice AI i robotike, koju predstavljaju njihova profesionalna društva, da zauzmu poziciju. Institut inženjera elektrotehnike i elektronike od 400.000 ljudi je u procesu razvoja političke pozicije, a ja počinjem da sastavljam autonomnu operativnu grupu za oružje za Asocijaciju za računarske mašine, glavno profesionalno društvo za kompjuterske nauke. Planiramo da organizujemo debate na naučnim skupovima, sazivamo etičke komitete da prouče argumente i podstičemo stajališta. Neki pripadnici naše profesije protestuju da nemaju kontrolu nad načinom na koji se njihovi izumi koriste; ali je jasno, mislim, da je nečinjenje glasanje za nastavak razvoja i implementacije.

         Nacionalno i međunarodno zagovaranje politike, pristup javnosti i konsenzus stručnjaka malih grupa do sada su dali mali napredak. U međuvremenu, tehnologija koja pokreće autonomne sisteme oružja nastavlja da napreduje. Vreme je da se AI zajednica pojača, baš kao što su fizičari stali protiv nuklearnog oružja, hemičari protiv hemijskog oružja, biolozi protiv biološkog oružja, a doktori su se borili protiv svog učešća u pogubljenjima. Istorijski gledano, glas naučnika je bio bitan o takvim pitanjima. I zato ohrabrujem svoje kolege da mi se pridruže u zahtevnom, detaljnom, zbunjujućem i često frustrirajućem poslu omogućavanja ljudskim bićima da žive svoje živote u relativnoj sigurnosti. 

 Stuart Russell je ugledni profesor računarstva na Univerzitetu Kalifornije, Berkeley, i direktor Centra za veštačku inteligenciju kompatibilnu s ljudima i Kavli centra za etiku, nauku i javnost. 

 --------------------------------- 

izvor 

 Russell, Stuart. “Zabrana smrtonosnog autonomnog oružja: obrazovanje.” Problemi nauke i tehnologije 38, br. 3 (proljeće 2022): 60–65.