Ovih dana je u časopisu Nature machine intelligence izašao zanimljiv tekst o mogućnostima zloupotrebe farmakologije koja koristi AL, veštačku inteligenciju. Reč je o jednom od izveštaja sa konferencije švajcarskog instituta-laboratorije Spiez za nuklearnu, biološku i hemijsku (NBC) zaštitu koji se bavi naučnim i tehničkim aspektima opasnosti povezanih sa NBC incidentima. Ova laboratorija, inače osnovana 1997.god, koristi svoju tehničku ekspertizu da podrži švajcarske napore u kontroli naoružanja i očuvanju mira a deo je Federalnog ministarstva odbrane. Spiez je jedna od tri laboratorije u Švajcarskoj, odnosno jedna između 50 u svetu.
2021. godine ova laboratorija je postala deo Svetske zdravstvene organizacije -BIO HUB sistema razmene virusa i drugih patogena između laboratorija i partnera širom sveta. Ova laboratorija će od sada služiti kao globalni centar za sigurno prikupljanje, sekvenciranje, skladištenje i pripremu bioloških materijala za distribuciju u druge laboratorije, kao osnova za procene rizika i podršku globalnoj spremnosti protiv ovih patogeni. Do tada većina razmena patogena vršila se na bilateralnoj osnovi između zemalja i na ad hoc osnovi.
S obzirom da je saradnja započeta u vreme pandemije korone logično je da je Svetska zdravstvena organizacija odmah pristupila pilot fazi koristeći Sars-Cov-2 i njegove varijante kako bi testirala izvodljivost i operativne modalitete deljenja ovih materijala putem postrojenja BioHub sistema. Nakon probnog perioda BioHub sistem će proširiti razmenu virusa ne samo sa virusom Sars-Cov-2 i njegovim varijantiama nego i sa drugim patogenima.
SZO je već odavno postala više od svetske zdravstvene otganizacije. Ona je, rečnikom globalista transformisana u " globalnog zdravstvenog lidera". čime se samo potvrđuje da ova organizacija ima političku dimenziju u novom globalnom birokratskom sistemu. Tokom pandemije ova je organizacija vršila tu ulogu otuda jedinstvene političke mere širom sveta.
U tekstu koji sledi reč je o bio oružju, tj. mogućnostima manipulacija upotrebom veštačke inteligencije. Ako svet ne uspe da reši pitanje „kontrole“ ishod bi mogao biti potpuno uništenje ljudi. Kao što tekst pokazuje pretnje upotrebe AI su stvarne, prisutne i opasne.
Pre teksta koji sledi, a odnosi se na najnovija upozorenja iz ove laboratorije treba se podsetiti na činjenicu da se do "nervnih agensa poput tabuna i sarina (koji će podstaći razvoj novih insekticida, kao i oružja za masovno uništenje), hlorokina - leka protiv malarije, metadona, metamfentamina, kao i su medicinska istraživanja hipotermije, hipoksije, dehidracije i tako dalje, medicinski plodovi do kojih se došlo putem eksperimentisanja na ljudima u koncentracionim logorima. Fizika, biologija, zoologija, medicina, psihologija, razvoj vakcina, antropologija, genetika, čovekova ishrana, inženjerstvo: sve te grane su prepune otkrića do kojih se došlo u okolnostima koje bi se mogle nazvati neetičkim, čak i nelegalnim. Malo koji aspekt naučnog napretka nije u nekom trenutku u svojoj istoriji umrljan nemoralnim ili neetičkim ponašanjem.
1.600 naučnika, su špijuni regrutovali na kraju Drugog svetskog rata, u okviru operacije Spajalica - ni protiv koga od njih nije pokrenut krivični postupak, svi su bezbedno prebačeni u SAD i omogućeno im je da nastave rad.( izvor BBC)
Švajcarski savezni institut za NBC (nuklearnu, biološku i hemijsku) zaštitu —Spiez laboratorija— redovno organizuje konferencije o 'konvergenciji' koju zahteva švajcarska vlada u vezi identifikacije razvoja u hemiji, biologiji i tehnologijama koje mogu da imaju implikacije na Konvenciju o hemijskom i biološkom oružju.
Svake druge godine, te konferencije okupljaju međunarodnu grupu naučnih stručnjaka i stručnjaka za razoružanje kako bi istražili trenutno stanje u hemijskim i biološkim oblastima i njihove putanje, na osnovu kog bi razmislili o mogućim sigurnosnim implikacijama i razmotrili kako te implikacije mogu najefikasnije upravljati na međunarodnom nivou. Konferencije traju tri dana a tretiraju mogućnost štete od najsavremenijih hemijskih i bioloških tehnologija.
Kompanija Collaborations Pharmaceuticals ( privatna farmaceutska kompanija koja se bavi istraživanjem i razvojem inovativnih terapija za više retkih i zaraznih bolesti) dobila je poziv da doprinese prezentaciji o tome kako bi AI tehnologije za otkrivanje lekova mogle biti potencijalno zloupotrebljene. Evo njihovog izveštaja.
Rizik od zloupotrebe
Ta pomisao nam nikada ranije nije sinula. Bili smo nejasno svesni sigurnosnih zabrinutosti oko rada sa patogenima ili toksičnim hemikalijama, ali to se nije odnosilo na nas; prvenstveno radimo u virtuelnom okruženju. Naš rad je ukorenjen u izgradnji modela strojnog učenja za terapeutske i toksične mete kako bi se bolje pomoglo u dizajnu novih molekula za otkrivanje lekova. Proveli smo decenije koristeći kompjutere i veštačku inteligenciju da poboljšamo ljudsko zdravlje – a ne da ga degradiramo. Bili smo naivni u razmišljanju o potencijalnoj zloupotrebi našeg rada, jer je naš cilj oduvek bio da izbegnemo molekularne karakteristike koje bi mogle ometati mnoge različite klase proteina bitnih za ljudski život. Čak ni naši projekti o eboli i neurotoksinima, koji su mogli potaknuti razmišljanja o potencijalnim negativnim implikacijama naših modela mašinskog učenja, nisu nam zazvonili alarm.
Generisanje novih toksičnih molekula
Odlučili smo se za bodovanje dizajniranih molekula modelom smrtonosne doze specifične za organizam (LD 50 ). i poseban model koji koristi podatke iz iste javne baze podataka koji bi se obično koristili za pomoć u izvođenju jedinjenja za lečenje neuroloških bolesti (detalji pristupa su zadržani, ali su bili dostupni tokom procesa pregleda). Osnovni generativni softver je izgrađen na i sličan drugom softveru otvorenog koda koji je lako dostupan . Da bismo suzili univerzum molekula, odlučili smo da usmerimo generativni model ka jedinjenjima kao što je nervni agens VX, jedan od najotrovnijih hemijskih ratnih agenasa razvijenih tokom dvadesetog veka - nekoliko zrna VX veličine soli (6-10 mg ) dovoljno da ubije osobu. Drugi nervni agensi sa istim mehanizmom, kao što su novičoki, također su nedavno bili u naslovima i korišteni kod trovanja u UK i drugdje .
Za manje od 6 sati nakon pokretanja na našem internom serveru, naš model je generirao 40.000 molekula koji su postigli rezultat unutar našeg željenog praga. U tom procesu, AI je dizajnirao ne samo VX, već i mnoge druge poznate hemijske ratne agense koje smo identifikovali kroz vizuelnu potvrdu sa strukturama u javnim bazama podataka hemije. Osmišljeni su i mnogi novi molekuli koji su izgledali jednako uverljivo. Predviđeno je da su ovi novi molekuli toksičniji, na osnovu predviđenih vrednosti LD 50 , od javno poznatih hemijskih ratnih agenasa (slika 1 .). Ovo je bilo neočekivano jer skupovi podataka koje smo koristili za obuku AI nisu uključivali ove nervne agense. Virtuelni molekuli su čak zauzimali područje molekularnog prostora koji je bio potpuno odvojen od mnogih hiljada molekula u LD 50 modelu specifičnom za organizam, koji se sastoji uglavnom od pesticida, toksina iz okoliša i lekova (slika 1 ). Preokrenuvši upotrebu naših modela mašinskog učenja, transformisali smo naš bezopasni generativni model iz korisnog medicinskog alata u generator verovatnih srtonosnih molekula.
Naši modeli toksičnosti su prvobitno kreirani za korištenje u izbegavanju toksičnosti, omogućavajući nam da bolje virtualno pregledamo molekule (za primenu u farmaceutskim i potrošačkim proizvodima) pre nego što konačno potvrdimo njihovu toksičnost kroz in vitro testiranje. Obrnuto je, međutim, uvek bilo istinito: što bolje možemo predvideti toksičnost, to bolje možemo usmeriti naš generativni model da dizajnira nove molekule u području hemijskog prostora naseljenog pretežno smrtonosnim molekulima. Nismo procenjivali virtuelne molekule na mogućnost sintetizacije niti istraživali kako ih napraviti pomoću softvera za retrosintezu. Za oba ova procesa, komercijalni softver i softver otvorenog koda je lako dostupan koji se lako može uključiti u de novo proces dizajna novih molekula . Takođe nismo fizički sintetizovali nijedan od molekula; ali sa globalnim nizom stotina komercijalnih kompanija koje nude hemijsku sintezu, to nije nužno veliki korak, a ovo područje je loše regulisano, s malo ili ikakvim proverama kako bi se sprečila sinteza novih, izuzetno toksičnih agenasa koji bi se potencijalno mogli koristiti kao hemijsko oružje. Ono što je važno, imali smo čoveka u petlji sa čvrstim moralnim i etičkim 'nemoj-idi-tamo' glasom da interveniše. Ali šta ako je čovek uklonjen ili zamenjen lošim glumcem? Sa trenutnim otkrićima i istraživanjima autonomne sinteze , kompletan ciklus dizajna-izradi-testiranja koji se može primeniti na proizvodnju ne samo lekova, već i toksina, je na dohvat ruke. Naš dokaz koncepta stoga naglašava kako je neljudski autonomni kreator smrtonosnog hemijskog oružja u potpunosti izvodljiv.
Poziv na buđenje
Naš dokaz koncepta bio je fokusiran na spojeve nalik VX-u, ali je podjednako primenjiv i na druge toksične male molekule sa sličnim ili različitim mehanizmima, uz minimalna prilagođavanja našeg protokola. Softverski alati za retrosintezu se također poboljšavaju paralelno, omogućavajući istraživanje novih puteva sinteze za poznate i nepoznate molekule. Stoga je potpuno moguće da se novi putevi mogu predvideti za hemijske ratne agense, zaobilazeći nacionalne i međunarodne liste praćenih ili kontroliranih hemikalija prekursora za poznate rute sinteze.
Realnost je da ovo nije naučna fantastika. Mi smo samo jedna vrlo mala kompanija u univerzumu od mnogo stotina kompanija koje koriste AI softver za otkrivanje lekova i de novo dizajn. Koliko njih je uopšte razmišljalo o prenameni ili zloupotrebi mogućnosti? Većina će raditi na malim molekulima, a mnoge kompanije su vrlo dobro finansirane i verovatno koriste globalnu hemijsku mrežu da naprave svoje molekule dizajnirane od veštačke inteligencije. Koliko ljudi ima znanje kako da pronađe džepove hemijskog prostora koji se mogu ispuniti molekulima za koje se predviđa da će biti toksičniji od VX-a?
Trenutno nemamo odgovore na ova pitanja. Ranije nije bilo značajnije rasprave u naučnoj zajednici o ovoj zabrinutosti dvostruke namene oko primene AI za de novo dizajn molekula, barem ne javno.
Kada razmišljamo o otkriću lekova, obično ne razmatramo mogućnost zloupotrebe tehnologije. Nismo obučeni da to razmatramo, a nije ni potrebno za istraživanje mašinskog učenja, ali sada možemo podeliti svoje iskustvo s drugim kompanijama i pojedincima. Alati za generativno strojno učenje AI jednako su primenjivi na veće molekule (peptide, makrolaktone, itd.) i na druge industrije, kao što su proizvodi široke potrošnje i agrohemikalije, koje također imaju interese u dizajniranju i izradi novih molekula sa specifičnim fizičko-hemijskim i biološkim svojstvima. Ovo uvelike povećava širinu potencijalne publike koja bi trebala obratiti pažnju na ove brige.
Za nas, duh je izašao iz leka kada je u pitanju prenamena našeg mašinskog učenja. Sada se moramo zapitati: koje su implikacije?
Naši vlastiti komercijalni alati, kao i softverski alati otvorenog koda i mnogi skupovi podataka koji popunjavaju javne baze podataka, dostupni su bez nadzora.
Ako se pretnja štete, ili stvarna šteta, javlja s vezama s mašinskim učenjem, kakav će to uticaj imati na percipiranje ove tehnologije? Hoće li se u štampi povika o lekovima dizajniranim od veštačke inteligencije iznenada pretvoriti u zabrinutost zbog toksina koje dizajnirani AI, sramote javnosti i smanjenih ulaganja u ove tehnologije? Kao polje, trebali bismo otvoriti razgovor na ovu temu.
Rizik za reputaciju je značajan: potrebna je samo jedna loša jabuka, kao što je suparnička država ili drugi akter koji traži tehnološku prednost, da bi se nanela stvarna šteta tako što ćemo ono što smo nejasno opisali prevesti na sledeći logičan korak. Kako da to sprečimo? Možemo li zaključati sav alat i baciti ključ? Da li pratimo preuzimanja softvera ili ograničavamo prodaju na određene grupe?
Mogli bismo slediti primer s modelima strojnog učenja kao što je GPT-311 , koji je u početku bio ograničen na listu čekanja kako bi se sprečila zloupotreba i ima API za javnu upotrebu. Čak i danas, bez liste čekanja, GPT-3 ima zaštitne mere za sprečavanje zloupotrebe, Smernice za sadržaj, besplatni filter sadržaja i praćenje aplikacija koje koriste GPT-3 za zloupotrebu. Ne znamo za nedavne publikacije o toksičnosti ili ciljanim modelima koje na sličan način raspravljaju o takvim zabrinutostima u vezi s dvostrukom upotrebom. Kao odgovorni naučnici, moramo osigurati da se spreči zloupotreba AI i da se alati i modeli koje razvijamo koriste samo za dobro.
Približavajući se koliko smo se usudili, ipak smo prešli sivu moralnu granicu, pokazujući da je moguće dizajnirati virtuelne potencijalne toksične molekule bez mnogo truda, vremena ili računskih resursa. Lako možemo izbrisati hiljade molekula koje smo stvorili, ali ne možemo izbrisati znanje o tome kako ih ponovo stvoriti.
Postoji potreba za diskusijama preko tradicionalnih granica i više disciplina kako bi se omogućio novi pogled na AI za de novo dizajn i srodne tehnologije iz različitih perspektiva i sa širokim spektrom razmišljanja. Ovde dajemo neke preporuke za koje verujemo da će smanjiti potencijalnu zabrinutost dvostruke upotrebe za AI u otkrivanju lekova.
Širi efekti na društvo
- Naučne konferencije, kao što su Society of Toxicology i American Chemical Society, trebale bi aktivno poticati dijalog među stručnjacima iz industrije, akademske zajednice i kreiranja politike o implikacijama naših kompjuterskih alata. Nedavno se u ovom časopisu raspravljalo o zahtevima za širim izjavama o uticaju autora koji se podnose konferencijama, institucionalnim recenzentskim odborima i telima za finansiranje, kao i o rešavanju potencijalnih izazova.
- Povećanjem javnosti stalnim naporom i ključnim prioritetom uvelike bi pomoglo u podizanju svesti o potencijalnim aspektima dvostruke namene najnovijih tehnologija i stvorilo bi domet neophodan da se svi aktivni u našoj oblasti bave odgovornom naukom.
- Možemo dobiti inspiraciju iz primera kao što su Haške etičke smernice, koje promovišu kulturu odgovornog ponašanja u hemijskim naukama i štite se od zloupotrebe hemije, kako bi farmaceutske i eventualno druge kompanije pristale na kodeks ponašanja za obuku zaposlenih, obezbeđivanje njihove tehnologije i sprečavanje pristupa i potencijalnu zloupotrebu.
- Upotreba API-ja za modele sa javnošću, sa kodom i podacima dostupnim na zahtev, uvelike bi poboljšala sigurnost i kontrolu nad načinom na koji se objavljeni modeli koriste bez dodavanja velikih prepreka pristupačnosti.
- Iako je MegaSyn komercijalni proizvod i stoga imamo kontrolu nad tim ko ima pristup njemu, ubuduće ćemo implementirati ograničenja ili API za sve modele okrenute napred.
- Struktura prijavljivanja ili telefonska linija nadležnim organima, za upotrebu ako dođe do propusta ili ako saznamo da neko radi na razvoju toksičnih molekula za neterapeutsku upotrebu, također može biti dragocena.
- Konačno, univerziteti bi trebali udvostručiti svoje napore u pravcu etičke obuke studenata prirodnih nauka i proširiti opseg na druge discipline, a posebno na studente računarstva, kako bi bili svesni potencijala za zloupotrebu AI od rane faze svoje karijere, kao i kao razumevanje potencijala za širi uticaj. Nadamo se da ćemo podizanjem svesti o ovoj tehnologiji otići do određenog puta ka demonstriranju da, iako AI može imati važne primene u zdravstvu i drugim industrijama, takođe bismo trebali ostati marljivi u pogledu potencijala dvostruke upotrebe, na isti način na koji bismo sa fizičkim resursima kao što su molekule ili biološka sredstva.
2 коментара:
E čim se bavimo, umesto lepotom, ljubavlju.
pesnik u prolazu
U modernom društvu zaboravljeno je značenje smrti. Ne, ova tema nije zaboravljena, već se izbegava. Rajner Marija Rilke (pesnik, rođen u Pragu, 1875-1926) je rekao da je smrt muškarca postala manja. Smrt čoveka se mahom svela na individualno umiranje u bolničkom krevetu, sa telom koje se što pre treba odložiti i odbaciti. A svuda oko nas se neprekidno vodi „saobraćajni rat“ koji je na rđavom glasu da je odneo više života nego kinesko-japanski rat, dok je krhkost čovekovog života ista kao i nekada. Mi jednostavno ne volimo da pričamo o smrti. Ne želimo da izvučemo iz smrti njene delotvorne elemente i da ih uposlimo da rade za nas. Uvek pokušavamo da usmerimo pogled ka svetlom orijentiru – ka orijentiru života. Jako se trudimo da ne gledamo i da se ne obraćamo sili kojom smrt postepeno proždire naše živote. Ova perspektiva ukazuje na proces kojim naš racionalni humanizam, dok nesavesno usmerava pogled modernog čoveka ka svetlosti slobode i napretka, briše problem smrti iz svesti, čime se smrt potiskuje u podsvesno na još opasniji, eksplozivniji, čak i skoncetrisaniji, ka unutra usmereni nagon. Zanemarujemo činjenicu da je postavljanje smrti na nivo svesnog važan činilac mentalnog zdravlja, a ne samo ljubav, lepota.
mentalno pročišćavanje
Постави коментар