Prva ideja
Kada je projekat Velikog hadronskog sudarača (LHC) usvojen u CERN-ovom programu (1991.) i odobren od strane CERN-ovog veća (1994.), prepoznato je da će to biti veliki, u to vreme nepotpuno kvantificiran, kompjuterski izazov. Tokom godina neposredno nakon odobrenja, kako su zahtevi i dizajn eksperimenata sazrevali, puni razmer ovog izazova postepeno je postajao sve jasniji. Istovremeno, kompjuterizacija je prolazila kroz transformaciju. Lako je zaboraviti koliko je ona bila drugačija početkom 1990-ih i kako su umrežavanje i World Wide Web, sa svojim inherentno distribuiranim i povezanim pogledom na svet, transformisali način na koji gledamo na pristup kompjuterizaciji i resursima informacijske tehnologije preko celog sveta.
Prvi web server postavljen je u CERN-u 1990. godine. Nakon toga stvari su se brzo razvijale, npr.< br /> -prvi web server u SAD-u postavljen je u Stanford Linear Accelerator Center u decembru 1991. godine;
— prva komercijalna web publikacija, Global Network Navigator, počela je 1993. godine;
— Yahoo i Amazon su osnovani 1994. godine;
— Google je osnovan 1998. godine;
- 2000. godine došlo je do pada „dot com“ i prvog pametnog telefona sa ekranom osetljivim na dodir koji je prodao Ericsson;
— 2001. održan je prvi sastanak Global Grid Foruma;
— 2003. lansiran je Apple iTunes; i
— 2007. godine pojavilo se računalstvo u oblaku i lansirani BBC iP,
Pojedinačni računari su dobili snagu u istom periodu, sa tipičnim procesorima koji rade na 30 MHz 1990. i 1.5 GHz 2000. godine; povećanje faktora 50 za 10 godina. Prva lista Top500 superkompjutera objavljena je u junu 1993. Na vrhu liste bio je računar kompanije Thinking Machines Corporation, ocenjen na 60 Gigaflopsa. Do juna 2000. na vrhu liste je bila Intel ASCI Red mašina, ocenjena na 2,4 teraflopsa, što je povećanje faktora 40 za 7 godina. Danas je najbrža mašina 2,5 petaflopsa.
U ključnoj knjizi koju su uredili Ian Foster i Carl Kesselman i objavljenoj 1998. ('The Grid') Foster i Kesselman tvrdili su da je Grid infrastruktura u nastajanju koja će 'fundamentalno promeniti način na koji razmišljamo i koristimo računarstvo'. Knjiga je istakla niz mogućnosti i tehnološkog razvoja u distribuiranom računarstvu i kako se oni sve više mogu iskoristiti u velikim naučnim poduhvatima. Vizija Grid computinga bila je da korisnici više ne moraju da se brinu o tome gde su njihovi fajlovi pohranjeni ili gde se nalazi kompjuter koji obrađuje njihove podatke, već će imati besprekoran transparentan pristup globalno distribuiranim resursima. Ova integracija bi prešla organizacione granice, čime bi se olakšala nova istraživačka saradnja.
2000
2000. godine, komitet za recenziranje eksperimenata LHC-a (LHCC) pokrenuo je opsežan projekat kako bi se detaljno razmotrili problemi računarstva. Ovaj projekat, koji je vodio prof. Siggi Bethke iz Minhena, pokrio je modele za obradu podataka LHC eksperimenta, saradnju širom sveta, softver i pitanja koordinacije.
Preporuka da se usvoji Grid pristup nije bila iznenađenje. Osim što je stekao značaj u akademskom polju, grid računarstvo je već postajalo sve šire poznato. U junu 2000. godine Deutsche Bank je objavila tehnološki izveštaj pod naslovom „Nova ekonomija, zaboravi web, napravi put za mrežu“. Ovaj izveštaj je naglasio poslovne prilike koje će verovatno proizaći iz rasta umrežene infrastrukture informacionih tehnologija, povećanja automatizacije i kompjuterski čitljivih dokumenata.
U pregledu LHCC-a iz 2001. godine navedeno je da su ključni timovi za softver i informacijsku tehnologiju imali ozbiljno nedovoljno osoblja, da bi CERN trebao sponzorisati prelazak na objektno orijentirano programiranje i da će instalacije Tier-0 plus Tier-1 verovatno koštati 240 miliona švajcarskih franaka, plus 80 miliona švajcarskih franaka godišnje za održavanje, zanemarujući troškove osoblja.
Rođena je mreža velikog hadronskog sudarača
Uz priznanje da tehničko rešenje za LHC računarstvo još nije dostupno, stiglo je i priznanje da bi ulaganje potrebno za realizaciju bilo kakvog rešenja bilo značajno, te da nije uključeno u postojeće planove sudarača i eksperimenata. Kao odgovor na izveštaj o pregledu, države članice CERN-a su pokrenule LHC Computing Grid (LCG) kao poseban projekat CERN-a 2001. godine. Ovaj projekat je stimulisao brojne doprinose država članica kako bi se pokrenuo potreban razvoj. Formiran je jedan projekat kako bi se izbeglo nepotrebno dupliciranje rada u LHC eksperimentima. CERN projekat je direktno sarađivao sa brojnim nacionalnim i međunarodnim inicijativama u Evropi i šire i finansirao je prve godine razvoja LHC mreže.
Mrežno računanje izvan Velikog hadronskog sudarača
Mrežno računanje u obliku koji koristi LHC počelo je u SAD-u. Informaciona mreža Nacionalne uprave za aeronautiku i svemir (NASA) često se smatra prvim ozbiljnim pokušajem koordinacije, od 1998. nadalje, računanja velikih razmera na više lokacija kako bi se pružila integrisana usluga naučnicima i inženjerima. 1999. godine u SAD je započeo projekat PPDataGrid (Particle Physics Data Grid; PPDG). Ubrzo je usledila Međunarodna Virtual DataGrid Laboratory (iVDGL), koja je okupila fizičare i kompjuterske naučnike sa ciljem da razviju alate potrebne za iskorištavanje distribuirane infrastrukture za velike naučne poduhvate.
Prilike koje proizlaze iz Grid računarstva prepoznate su i na evropskom nivou. Ne samo da su nove ideje podržali vodeći svetski naučni poduhvati u Evropi, već su isti takođe pružili vodeću inicijativu za podizanje profila ulaganja u računarsku infrastrukturu širom Evrope. Evropska komisija sufinansirala je niz istraživačkih projekata implementacije Grid-a tokom 2000. godine, uključujući EU-DataGrid (DataGrid, kako se zvao) i CrossGrid projekte. Ovi projekti uključivali su brojne partnere iz LHC zajednice, kao i iz oblasti posmatranja Zemlje i biomedicinske nauke. Cilj Data Grid projekta bio je „izgraditi računarsku infrastrukturu sledeće generacije koja pruža intenzivno računanje i analizu zajedničkih velikih baza podataka, od stotina terabajta do petabajta, u široko rasprostranjenim naučnim zajednicama“. Projekat DataGrid činio je osnovu generičkog LCG razvoja od 2001. do 2004. godine.
Cilj Grid projekata fizike čestica može se sažeti kao postavljanje i upravljanje softverskom i servisnom infrastrukturom za koordinaciju kretanja, skladištenja i analize izuzetno velikih količina podataka koje se očekuju od LHC-a. Brzo se shvatilo da je obim računarstva zahtevao da se sve ovo stavi na jedno mesto, npr. u CERN-u, a za geografsku distribuciju LHC saradnje, zahtevala je zaista svetsku infrastrukturu.
Izgradnja: 2001–2006: od mreže do mreže
U Evropi, DataGrid projekat je brzo postao fokus za početni razvoj LHC računarstva. Partneri u DataGrid-u razvili su ideju o potpunoj proizvodnoj Grid infrastrukturi u Evropi koja bi mogla biti raspoređena da podrži LHC i druga naučna polja sa sličnim problemima. Evropska komisija je prihvatila tu ideju.
Naziv, izveden iz „Iskorišćavanje mreža za nauku u Evropi” (EGEE), prvobitno je kao radni naslov predložio David Williams iz CERN-a. David je sugerisao da to nije dobro ime i da bi neko trebao uskoro smisliti bolje. EGEE je trajao 6 godina, kroz tri faze. Projekat je koordinisao CERN, uz obavezu da osnovna infrastruktura potrebna za LHC (LCG) i druge zajednice (EGEE) bude jedna te ista u Evropi.
U suštini, istovremeno su projekti iVDGL i PPDG u SAD-u evoluirali u Open Science Grid (OSG), eksplicitno usmerenu na isporuku računarstva za LHC i druge velike naučne projekte.
Rani izazovi sa podacima su učinili neke od tehničkih zahteva računarskih sistema mnogo jasnijim. Identificirano je niz tačaka kvara i ukazano na niz nedostataka u Grid softveru koji je raspoređen u prvoj fazi. Neka od poslednjih pitanja, npr. sposobnost upravljanja autorizacijom korisnika na osnovu uloga, već je bila u razvoju, što ilustruje još jednu lekciju iz ovog perioda: da je dužina vremena za razvoj pouzdanog softverskog servisa od testirane ideje u primenjenu i operativnu uslugu u velikoj meri obično bila 2 godine .
2000. godine, komitet za recenziranje eksperimenata LHC-a (LHCC) pokrenuo je opsežan projekat kako bi se detaljno razmotrili problemi računarstva. Ovaj projekat, koji je vodio prof. Siggi Bethke iz Minhena, pokrio je modele za obradu podataka LHC eksperimenta, saradnju širom sveta, softver i pitanja koordinacije.
Preporuka da se usvoji Grid pristup nije bila iznenađenje. Osim što je stekao značaj u akademskom polju, grid računarstvo je već postajalo sve šire poznato. U junu 2000. godine Deutsche Bank je objavila tehnološki izveštaj pod naslovom „Nova ekonomija, zaboravi web, napravi put za mrežu“. Ovaj izveštaj je naglasio poslovne prilike koje će verovatno proizaći iz rasta umrežene infrastrukture informacionih tehnologija, povećanja automatizacije i kompjuterski čitljivih dokumenata.
U pregledu LHCC-a iz 2001. godine navedeno je da su ključni timovi za softver i informacijsku tehnologiju imali ozbiljno nedovoljno osoblja, da bi CERN trebao sponzorisati prelazak na objektno orijentirano programiranje i da će instalacije Tier-0 plus Tier-1 verovatno koštati 240 miliona švajcarskih franaka, plus 80 miliona švajcarskih franaka godišnje za održavanje, zanemarujući troškove osoblja.
Rođena je mreža velikog hadronskog sudarača
Uz priznanje da tehničko rešenje za LHC računarstvo još nije dostupno, stiglo je i priznanje da bi ulaganje potrebno za realizaciju bilo kakvog rešenja bilo značajno, te da nije uključeno u postojeće planove sudarača i eksperimenata. Kao odgovor na izveštaj o pregledu, države članice CERN-a su pokrenule LHC Computing Grid (LCG) kao poseban projekat CERN-a 2001. godine. Ovaj projekat je stimulisao brojne doprinose država članica kako bi se pokrenuo potreban razvoj. Formiran je jedan projekat kako bi se izbeglo nepotrebno dupliciranje rada u LHC eksperimentima. CERN projekat je direktno sarađivao sa brojnim nacionalnim i međunarodnim inicijativama u Evropi i šire i finansirao je prve godine razvoja LHC mreže.
Mrežno računanje izvan Velikog hadronskog sudarača
Mrežno računanje u obliku koji koristi LHC počelo je u SAD-u. Informaciona mreža Nacionalne uprave za aeronautiku i svemir (NASA) često se smatra prvim ozbiljnim pokušajem koordinacije, od 1998. nadalje, računanja velikih razmera na više lokacija kako bi se pružila integrisana usluga naučnicima i inženjerima. 1999. godine u SAD je započeo projekat PPDataGrid (Particle Physics Data Grid; PPDG). Ubrzo je usledila Međunarodna Virtual DataGrid Laboratory (iVDGL), koja je okupila fizičare i kompjuterske naučnike sa ciljem da razviju alate potrebne za iskorištavanje distribuirane infrastrukture za velike naučne poduhvate.
Prilike koje proizlaze iz Grid računarstva prepoznate su i na evropskom nivou. Ne samo da su nove ideje podržali vodeći svetski naučni poduhvati u Evropi, već su isti takođe pružili vodeću inicijativu za podizanje profila ulaganja u računarsku infrastrukturu širom Evrope. Evropska komisija sufinansirala je niz istraživačkih projekata implementacije Grid-a tokom 2000. godine, uključujući EU-DataGrid (DataGrid, kako se zvao) i CrossGrid projekte. Ovi projekti uključivali su brojne partnere iz LHC zajednice, kao i iz oblasti posmatranja Zemlje i biomedicinske nauke. Cilj Data Grid projekta bio je „izgraditi računarsku infrastrukturu sledeće generacije koja pruža intenzivno računanje i analizu zajedničkih velikih baza podataka, od stotina terabajta do petabajta, u široko rasprostranjenim naučnim zajednicama“. Projekat DataGrid činio je osnovu generičkog LCG razvoja od 2001. do 2004. godine.
Cilj Grid projekata fizike čestica može se sažeti kao postavljanje i upravljanje softverskom i servisnom infrastrukturom za koordinaciju kretanja, skladištenja i analize izuzetno velikih količina podataka koje se očekuju od LHC-a. Brzo se shvatilo da je obim računarstva zahtevao da se sve ovo stavi na jedno mesto, npr. u CERN-u, a za geografsku distribuciju LHC saradnje, zahtevala je zaista svetsku infrastrukturu.
Izgradnja: 2001–2006: od mreže do mreže
U Evropi, DataGrid projekat je brzo postao fokus za početni razvoj LHC računarstva. Partneri u DataGrid-u razvili su ideju o potpunoj proizvodnoj Grid infrastrukturi u Evropi koja bi mogla biti raspoređena da podrži LHC i druga naučna polja sa sličnim problemima. Evropska komisija je prihvatila tu ideju.
Naziv, izveden iz „Iskorišćavanje mreža za nauku u Evropi” (EGEE), prvobitno je kao radni naslov predložio David Williams iz CERN-a. David je sugerisao da to nije dobro ime i da bi neko trebao uskoro smisliti bolje. EGEE je trajao 6 godina, kroz tri faze. Projekat je koordinisao CERN, uz obavezu da osnovna infrastruktura potrebna za LHC (LCG) i druge zajednice (EGEE) bude jedna te ista u Evropi.
U suštini, istovremeno su projekti iVDGL i PPDG u SAD-u evoluirali u Open Science Grid (OSG), eksplicitno usmerenu na isporuku računarstva za LHC i druge velike naučne projekte.
Rani izazovi sa podacima su učinili neke od tehničkih zahteva računarskih sistema mnogo jasnijim. Identificirano je niz tačaka kvara i ukazano na niz nedostataka u Grid softveru koji je raspoređen u prvoj fazi. Neka od poslednjih pitanja, npr. sposobnost upravljanja autorizacijom korisnika na osnovu uloga, već je bila u razvoju, što ilustruje još jednu lekciju iz ovog perioda: da je dužina vremena za razvoj pouzdanog softverskog servisa od testirane ideje u primenjenu i operativnu uslugu u velikoj meri obično bila 2 godine .
2004
2004. očekivalo se i očekivalo da će LHC početi sa radom 2007. S obzirom na iskustvo prve polovine decenije, naglasak je stoga prebačen na fokusiranje na stabilnost široko rasprostranjenih alata i sučelja i na rešavanje otkrivenih uskih grla u performansama u sistemima upravljanja tokovima rada i bazama podataka. Snaga jednostavnog interfejsa za velike skalabilne usluge bila je lekcija iz razvoja World Wide Weba i ona koju je komercijalni svet efikasno prihvatio sa rastućim interesovanjem za uslužno orijentisane arhitekture, što će na kraju dovesti do oblaka. računarske usluge koje su danas široko dostupne.
Kroz prvu polovinu prošle decenije, različiti Grid projekti značajno su doprineli svetskom razvoju standarda i alata za upravljanje i korištenje velikih „podatkovnih centara” i distribuiranih infrastruktura.Projekt DataTAG, partnerski projekt DataGrid-a, značajno je doprineo razvoju brzih podatkovnih veza između Grid centara, posebno preko Atlantika. Ovaj rad je doprineo razvoju LHC optičke privatne mreže (OPN), koja danas povezuje sve Tier-1 centre zajedno preko Interneta sa, zapravo, namenskim 10 Gb linkovima. Ovo omogućava pouzdan prenos ogromnih količina podataka koje proizvodi LHC. Međunarodni standardi za Grid informacione sisteme takođe su izrasli iz projekta DataTAG.
od 2004-te do 2006-te postojao je niz inicijativa zasnovanih na eksperimentima za poboljšanje performansi i pouzdanosti Tier-1 i Tier-2 lokacija. U CMS-u su pokrenute posebne radne grupe koje pomažu u otklanjanju grešaka i nadgledanju mrežnih veza i za postavljanje obrade fizičke analize na lokacijama Tier-2. Lokacije su morale proći i održavati specifične automatizovane testove kvaliteta kako bi se smatrale certifikovanim lokacijama. ( Srbija )...U periodu od 2003. do 2007. godine izvršena su velika renoviranja u svim Tier-1, i većini Tier-2, centrima, sa nekoliko lokacija koje su izgradile potpuno nove mašinske prostorije kako bi se nosile sa zahtevima gustine snage i hlađenja moderne računarske opreme. Da je LHC zaista počeo 2007. godine, glavni centri na wLCG-u bili bi spremni za obradu podataka, iako ne sa efikasnošću kojoj se nadalo. Međutim, varijacije u infrastrukturi i kvalitetu usluge u različitim Tier-1 centrima i, još više, u Tier-2 centrima, izuzetno su otežale korisnicima da iskoriste punu snagu mreže. Do čestih kvarova dolazilo bi zbog malih razlika između različitih lokacija ili nepotpunih instalacija. Osim što je bilo frustrirajuće za pojedinačne korisnike, ovo je učinilo velike vežbe obrade izuzetno radno intenzivnim i dugotrajnim. Poboljšanje ove situacije, fokusiranje na stabilnost, toleranciju grešaka i oporavak od grešaka, postalo je fokus u periodu od 2007. godine nadalje.
2008- loš početak
Dana 10. septembra 2008. godine, protonski snopovi su po prvi put uspešno cirkulisali u glavnom prstenu LHC-a. Uzbuđenje je bilo opipljivo i wLCG je bio spreman za podatke. Prvi događaji sudara brzo su se distribuirali širom sveta, ali to nije predstavljalo nikakav pravi test LHC računarskih sistema.
2010-početak
Nakon zimskog gašenja 2009., LHC je ponovo pokrenut i snop je povećan na 3,5 TeV po snopu (tj. polovinu njegove projektovane energije). Prva značajna fizička proba LHC-a sa sudarajućim snopovima počela je 30. marta 2010. Slučajno, ovo je bio i dan zvaničnog otvaranja GridPP Tier-1 centra u laboratoriji Rutherford Appleton (RAL). Prvi sudari su uočeni gotovo tačno na početku zvaničnog otvaranja. Potaknuto ovom slučajnošću, Brian Davies iz RAL-a je sproveo studiju o tome šta se tačno dogodilo s nekim od prvih podataka snimljenih na LHC-u i izvestio je u članku u Nature [3]. Ovo je usledilo nakon podataka koje je zabeležio detektor ATLAS 30. marta 2010. godine, tokom prve fizičke vožnje. Događaji snimljeni od strane ATLAS-a prebačeni su, preko računarskog centra CERN-a, u Tier-1 centar u RAL, na obradu i skladištenje. Kasnije, u maju, kao odgovor na zahtev za analizu grupe u Čikagu, nekoliko podskupova sudara od 30. marta otputovalo je iz Oksfordšira u UK, preko Njujorka, do Univerziteta u Čikagu u SAD. Ovde je postdoktorski istraživač Antonio Boveia analizirao ove i slične podatke pohranjene na drugim lokacijama, što je na kraju rezultiralo radom o proizvodnji W, objavljenim na serveru za pripremu za štampu arXiv.org [44] 24. decembra 2010. Ova publikacija uključuje sudare od prvog dana vožnje, zajedno s mnogim drugim. Ovo nije bila prva ili jedina upotreba podataka snimljenih tog prvog dana, ali ilustruje obim računarske infrastrukture koja podržava napore LHC-a. Od tada sisrem radinerekidno. (Izvor)
DANAS
2004. očekivalo se i očekivalo da će LHC početi sa radom 2007. S obzirom na iskustvo prve polovine decenije, naglasak je stoga prebačen na fokusiranje na stabilnost široko rasprostranjenih alata i sučelja i na rešavanje otkrivenih uskih grla u performansama u sistemima upravljanja tokovima rada i bazama podataka. Snaga jednostavnog interfejsa za velike skalabilne usluge bila je lekcija iz razvoja World Wide Weba i ona koju je komercijalni svet efikasno prihvatio sa rastućim interesovanjem za uslužno orijentisane arhitekture, što će na kraju dovesti do oblaka. računarske usluge koje su danas široko dostupne.
Kroz prvu polovinu prošle decenije, različiti Grid projekti značajno su doprineli svetskom razvoju standarda i alata za upravljanje i korištenje velikih „podatkovnih centara” i distribuiranih infrastruktura.Projekt DataTAG, partnerski projekt DataGrid-a, značajno je doprineo razvoju brzih podatkovnih veza između Grid centara, posebno preko Atlantika. Ovaj rad je doprineo razvoju LHC optičke privatne mreže (OPN), koja danas povezuje sve Tier-1 centre zajedno preko Interneta sa, zapravo, namenskim 10 Gb linkovima. Ovo omogućava pouzdan prenos ogromnih količina podataka koje proizvodi LHC. Međunarodni standardi za Grid informacione sisteme takođe su izrasli iz projekta DataTAG.
od 2004-te do 2006-te postojao je niz inicijativa zasnovanih na eksperimentima za poboljšanje performansi i pouzdanosti Tier-1 i Tier-2 lokacija. U CMS-u su pokrenute posebne radne grupe koje pomažu u otklanjanju grešaka i nadgledanju mrežnih veza i za postavljanje obrade fizičke analize na lokacijama Tier-2. Lokacije su morale proći i održavati specifične automatizovane testove kvaliteta kako bi se smatrale certifikovanim lokacijama. ( Srbija )...U periodu od 2003. do 2007. godine izvršena su velika renoviranja u svim Tier-1, i većini Tier-2, centrima, sa nekoliko lokacija koje su izgradile potpuno nove mašinske prostorije kako bi se nosile sa zahtevima gustine snage i hlađenja moderne računarske opreme. Da je LHC zaista počeo 2007. godine, glavni centri na wLCG-u bili bi spremni za obradu podataka, iako ne sa efikasnošću kojoj se nadalo. Međutim, varijacije u infrastrukturi i kvalitetu usluge u različitim Tier-1 centrima i, još više, u Tier-2 centrima, izuzetno su otežale korisnicima da iskoriste punu snagu mreže. Do čestih kvarova dolazilo bi zbog malih razlika između različitih lokacija ili nepotpunih instalacija. Osim što je bilo frustrirajuće za pojedinačne korisnike, ovo je učinilo velike vežbe obrade izuzetno radno intenzivnim i dugotrajnim. Poboljšanje ove situacije, fokusiranje na stabilnost, toleranciju grešaka i oporavak od grešaka, postalo je fokus u periodu od 2007. godine nadalje.
2008- loš početak
Dana 10. septembra 2008. godine, protonski snopovi su po prvi put uspešno cirkulisali u glavnom prstenu LHC-a. Uzbuđenje je bilo opipljivo i wLCG je bio spreman za podatke. Prvi događaji sudara brzo su se distribuirali širom sveta, ali to nije predstavljalo nikakav pravi test LHC računarskih sistema.
2010-početak
Nakon zimskog gašenja 2009., LHC je ponovo pokrenut i snop je povećan na 3,5 TeV po snopu (tj. polovinu njegove projektovane energije). Prva značajna fizička proba LHC-a sa sudarajućim snopovima počela je 30. marta 2010. Slučajno, ovo je bio i dan zvaničnog otvaranja GridPP Tier-1 centra u laboratoriji Rutherford Appleton (RAL). Prvi sudari su uočeni gotovo tačno na početku zvaničnog otvaranja. Potaknuto ovom slučajnošću, Brian Davies iz RAL-a je sproveo studiju o tome šta se tačno dogodilo s nekim od prvih podataka snimljenih na LHC-u i izvestio je u članku u Nature [3]. Ovo je usledilo nakon podataka koje je zabeležio detektor ATLAS 30. marta 2010. godine, tokom prve fizičke vožnje. Događaji snimljeni od strane ATLAS-a prebačeni su, preko računarskog centra CERN-a, u Tier-1 centar u RAL, na obradu i skladištenje. Kasnije, u maju, kao odgovor na zahtev za analizu grupe u Čikagu, nekoliko podskupova sudara od 30. marta otputovalo je iz Oksfordšira u UK, preko Njujorka, do Univerziteta u Čikagu u SAD. Ovde je postdoktorski istraživač Antonio Boveia analizirao ove i slične podatke pohranjene na drugim lokacijama, što je na kraju rezultiralo radom o proizvodnji W, objavljenim na serveru za pripremu za štampu arXiv.org [44] 24. decembra 2010. Ova publikacija uključuje sudare od prvog dana vožnje, zajedno s mnogim drugim. Ovo nije bila prva ili jedina upotreba podataka snimljenih tog prvog dana, ali ilustruje obim računarske infrastrukture koja podržava napore LHC-a. Od tada sisrem radinerekidno. (Izvor)
DANAS
The Worldwide LHC Computing Grid (WLCG) je globalna računarska infrastruktura čija je misija da obezbedi računarske resurse za pohranu, distribuciju i analizu podataka koje generiše Veliki hadronski sudarač (LHC), čineći podatke jednako dostupnim svim partnerima, bez obzira na njihovu fizičku lokaciju.
WLCG je najveća računarska mreža na svetu. Podržavaju ga mnoge povezane nacionalne i međunarodne mreže širom sveta, kao što su European Grid Initiative (bazirana u Evropi) i Open Science Grid (sa sedištem u SAD), kao i mnoge druge regionalne mreže. On kombinuje oko 1,4 miliona kompjuterskih jezgara i 1,5 eksabajta skladišnog prostora sa preko 170 lokacija u 42 zemlje. Ova ogromna distribuirana računarska infrastruktura pruža više od 12 000 fizičara širom sveta pristup LHC podacima u skoro realnom vremenu i moć za njihovu obradu.
WLCG -om koordinira CERN. Njime se upravlja i njime upravlja svetska saradnja između eksperimenata (ALICE, ATLAS, CMS i LHCb) i kompjuterskih centara koji učestvuju. Recenziju obavlja odbor delegata iz agencija za finansiranje partnerskih zemalja, a naučno ga pregleda LHC Eksperimentalni odbor.
Ova složena mreža je organizovana u slojeve:
Nivo 0 je CERN Data centar;
Tier 1 centri su moćne računarske farme sposobne da obezbede trajno skladištenje sirovih podataka; i
Tier 2 centri su dodatni centri podataka koji se nalaze u raznim institutima koji sarađuju širom sveta..
WLCG je najveća računarska mreža na svetu. Podržavaju ga mnoge povezane nacionalne i međunarodne mreže širom sveta, kao što su European Grid Initiative (bazirana u Evropi) i Open Science Grid (sa sedištem u SAD), kao i mnoge druge regionalne mreže. On kombinuje oko 1,4 miliona kompjuterskih jezgara i 1,5 eksabajta skladišnog prostora sa preko 170 lokacija u 42 zemlje. Ova ogromna distribuirana računarska infrastruktura pruža više od 12 000 fizičara širom sveta pristup LHC podacima u skoro realnom vremenu i moć za njihovu obradu.
Obavlja preko 2 miliona zadataka dnevno i, na kraju LHC-ovog LS2, globalne brzine prenosa su premašile 260 GB/s.
WLCG -om koordinira CERN. Njime se upravlja i njime upravlja svetska saradnja između eksperimenata (ALICE, ATLAS, CMS i LHCb) i kompjuterskih centara koji učestvuju. Recenziju obavlja odbor delegata iz agencija za finansiranje partnerskih zemalja, a naučno ga pregleda LHC Eksperimentalni odbor.
Nivo 0 je CERN Data centar;
Tier 1 centri su moćne računarske farme sposobne da obezbede trajno skladištenje sirovih podataka; i
Tier 2 centri su dodatni centri podataka koji se nalaze u raznim institutima koji sarađuju širom sveta..
SRBIJA
Memorandum o razumevanju potpisan 9. decembra u Srbiji je korak ka tome da zemlja postane WLCG Tier 1 centar. Srpski data centar će u početku primati podatke iz CMS eksperimenta, čiji je Srbija članica.
Video - vidi
Ovaj video je snimak ekrana napravljen u avgustu 2017. EGL aplikacije koju je izradio CERN medialab. Ova aplikacija pruža blisku vizualizaciju aktivnosti mreže WLCG u realnom vremenu (osvežava se svakih deset minuta). Prikazuje grafički informacije koje pokrivaju kretanje podataka i za montecarlo proizvodnju i za tier0 izvoz, kao i dodatne informacije o pokrenutim poslovima na mrežama ATLAS, CMS, LHCb i Alice (samo poslovi).
Memorandum o razumevanju potpisan 9. decembra u Srbiji je korak ka tome da zemlja postane WLCG Tier 1 centar. Srpski data centar će u početku primati podatke iz CMS eksperimenta, čiji je Srbija članica.
Video - vidi
Ovaj video je snimak ekrana napravljen u avgustu 2017. EGL aplikacije koju je izradio CERN medialab. Ova aplikacija pruža blisku vizualizaciju aktivnosti mreže WLCG u realnom vremenu (osvežava se svakih deset minuta). Prikazuje grafički informacije koje pokrivaju kretanje podataka i za montecarlo proizvodnju i za tier0 izvoz, kao i dodatne informacije o pokrenutim poslovima na mrežama ATLAS, CMS, LHCb i Alice (samo poslovi).
Etički, otvoren i nekomercijalan: projekat Open Web Search -Evropa
U oktobru 2023. CERN je bio domaćin petog međunarodnog simpozijuma otvorenog pretraživanja. Simpoziju je prisustvovalo više od 100 stručnjaka, među kojima su predstavnici 60 instituta i univerziteta, kao i predstavnici industrije i kreatori politika, koji su se okupili kako bi razgovarali o tome kako pretraživanje weba učiniti poštenim, sigurnim i manje pristrasnim širom Evrope. Ovaj simpozij je bio najnoviji događaj u okviru projekta koji je organski rastao tokom mnogo godina, sa svojim korenima u radionici održanoj u Minhenu 2017. godine. Nazvan Projekat Open Web Search, pokrenuo ga je konzorcij od 14 istraživačkih partnera s ciljem osiguravanja doprinosa Evrope evropskom digitalnom suverenitetu, kao i promoviranja otvorenog tržišta pretraživača usmerenog na ljude.
„Globalno, web pretraga je u rukama pet igrača“, objašnjava Andreas Wagner, član IT odelenja CERN-a uključen u projekat. “Uloga CERN-a u okviru projekta Open Web Search je da vodi dizajn i implementaciju potrebne infrastrukture distribuiranih podataka.”
Indeksiranje ogromne količine informacija koje su trenutno dostupne na webu je ogroman poduhvat, ali učiniti to na nepristrasan način još je teži zadatak. „Zajedno sa ostalim partnerima, započeli smo jednostavnim razgovorom o mogućim načinima izgradnje novog neutralnog sistema indeksiranja“, objašnjava Andreas. “Iako je sistem još uvek vrlo preliminaran, njegovo pokretanje na vlastitom skupu web stranica u CERN-u pokazalo se korisnim jer nam je omogućilo da naučimo kritične stvari o našem vlastitom internom pretraživaču. Drugim rečima, projekt će također pomoći CERN-u da poboljša svoje mogućnosti pretraživanja i obezbediće funkciju otvorenog naučnog pretraživanja u višestrukim CERN-ovim repozitorijumima informacija.”
Da biste napravili tražilicu, prvo morate kreirati bota koji će preuzeti celi sadržaj web stranica. Algoritam se zatim izvodi na preuzetim stranicama kako bi se napravio stvarni indeks. Ako je indeks pristrasan, može dodati vidljivost određenim stranicama i smanjiti vidljivost drugih.
„Indeksiranje u osnovi znači snimanje digitalnog sveta, pa autorska prava i pravna i etička pitanja ulaze u igru“, kaže Andreas. Etika je ključni element celog projekta Open Web Search. Trenutno dostupni pretraživači pružaju korisniku listu rezultata koji se prikazuju prema prilagođenom algoritmu koji stoji iza celog procesa. „Sve je dizajnirano da usreći korisnika, pa se prikazuje samo izbor relevantnih dokumenata“, potvrđuje Andreas. “Komercijalni pretraživači koriste tehnike profiliranja kako bi predstavili prilagođene rezultate, a to izaziva etičku zabrinutost i zabrinutost za privatnost.”
Kako bi novi algoritmi bili neutralni i transparentni, tim razmatra rešenja koja ne profiliraju pojedinačnog korisnika, već gledaju na ponašanje anonimiziranih grupa korisnika kako bi dali značajne rezultate.
„Trenutni komercijalni pretraživači namernk vas teraju da zastanete tu i tamo i skrenete vašu pažnju jer to služi njihovim komercijalnim interesima“, nastavlja Andreas. „Želimo da svakog korisnika odvedemo pravo na odredište na pošten, efikasan i transparentan način.
U oktobru 2023. CERN je bio domaćin petog međunarodnog simpozijuma otvorenog pretraživanja. Simpoziju je prisustvovalo više od 100 stručnjaka, među kojima su predstavnici 60 instituta i univerziteta, kao i predstavnici industrije i kreatori politika, koji su se okupili kako bi razgovarali o tome kako pretraživanje weba učiniti poštenim, sigurnim i manje pristrasnim širom Evrope. Ovaj simpozij je bio najnoviji događaj u okviru projekta koji je organski rastao tokom mnogo godina, sa svojim korenima u radionici održanoj u Minhenu 2017. godine. Nazvan Projekat Open Web Search, pokrenuo ga je konzorcij od 14 istraživačkih partnera s ciljem osiguravanja doprinosa Evrope evropskom digitalnom suverenitetu, kao i promoviranja otvorenog tržišta pretraživača usmerenog na ljude.
„Globalno, web pretraga je u rukama pet igrača“, objašnjava Andreas Wagner, član IT odelenja CERN-a uključen u projekat. “Uloga CERN-a u okviru projekta Open Web Search je da vodi dizajn i implementaciju potrebne infrastrukture distribuiranih podataka.”
Indeksiranje ogromne količine informacija koje su trenutno dostupne na webu je ogroman poduhvat, ali učiniti to na nepristrasan način još je teži zadatak. „Zajedno sa ostalim partnerima, započeli smo jednostavnim razgovorom o mogućim načinima izgradnje novog neutralnog sistema indeksiranja“, objašnjava Andreas. “Iako je sistem još uvek vrlo preliminaran, njegovo pokretanje na vlastitom skupu web stranica u CERN-u pokazalo se korisnim jer nam je omogućilo da naučimo kritične stvari o našem vlastitom internom pretraživaču. Drugim rečima, projekt će također pomoći CERN-u da poboljša svoje mogućnosti pretraživanja i obezbediće funkciju otvorenog naučnog pretraživanja u višestrukim CERN-ovim repozitorijumima informacija.”
Da biste napravili tražilicu, prvo morate kreirati bota koji će preuzeti celi sadržaj web stranica. Algoritam se zatim izvodi na preuzetim stranicama kako bi se napravio stvarni indeks. Ako je indeks pristrasan, može dodati vidljivost određenim stranicama i smanjiti vidljivost drugih.
„Indeksiranje u osnovi znači snimanje digitalnog sveta, pa autorska prava i pravna i etička pitanja ulaze u igru“, kaže Andreas. Etika je ključni element celog projekta Open Web Search. Trenutno dostupni pretraživači pružaju korisniku listu rezultata koji se prikazuju prema prilagođenom algoritmu koji stoji iza celog procesa. „Sve je dizajnirano da usreći korisnika, pa se prikazuje samo izbor relevantnih dokumenata“, potvrđuje Andreas. “Komercijalni pretraživači koriste tehnike profiliranja kako bi predstavili prilagođene rezultate, a to izaziva etičku zabrinutost i zabrinutost za privatnost.”
Kako bi novi algoritmi bili neutralni i transparentni, tim razmatra rešenja koja ne profiliraju pojedinačnog korisnika, već gledaju na ponašanje anonimiziranih grupa korisnika kako bi dali značajne rezultate.
„Trenutni komercijalni pretraživači namernk vas teraju da zastanete tu i tamo i skrenete vašu pažnju jer to služi njihovim komercijalnim interesima“, nastavlja Andreas. „Želimo da svakog korisnika odvedemo pravo na odredište na pošten, efikasan i transparentan način.
______________
Projekat OpenWebSearch.EU je dobio sredstva iz programa Horizon za istraživanje i inovacije Evropske unije u okviru sporazuma o grantu br. 101070014. ( izvor: Cern )
Нема коментара:
Постави коментар