SVEUČILIŠTE U ZAGREBU SVEUČILIŠNI RAČUNSKI CENTAR PRIJEDLOG PROŠIRENJA RAČUNALNOG KLASTERA ISABELLA UPUĆEN MINISTARSTVU ZNANOSTI I TEHNOLOGIJE RH Zagreb, srpanj 2003. http://www.srce.hr/ -Isabella-prosirenje-2003-v1.20.doc - ver.1.20 / 3.7.2003. 12 stranica
Stručnu analizu proširenja računalnog klastera Isabella pripremio je tim -a u sastavu: o o o Davor Mihajlović, ; Predrag Vujasinović, ; Dobriša Dobrenić dipl. inž.,. Prijedlog proširenja upućen Ministarstvu znanosti i tehnologije na razmatranje, raspravilo je i prihvatilo Vijeće korisnika računalnog klastera Isabella u sastavu: o dr. sc. Darko Babić, Prošireni pi-sistemi i molekulske spektroskopije; o dr. sc. Ivo Batistić, Teorija kritičnih pojava i modeliranje u sustavima mnoštva čestica; o dr. sc. Borislav Kovačević, Protonski afiniteti i reakcije prijenosa protona u kemiji; o doc. dr. sc. Goranka Nogo, predstavnica Ministarstva znanosti i tehnologje; o Dobriša Dobrenić dipl. inž.,. za stručni tim -a Dobriša Dobrenić dipl. inž. za Vijeće korisnika klastera Isabella dr. Darko Babić M.P. U Zagrebu 3. srpnja 2003. str. 2 od 12
SADRŽAJ 1. UVOD... 4 2. POVIJEST... 5 3. SADAŠNJE STANJE... 6 4. ISKORIŠTENOST RESURSA... 8 5. PRIJEDLOG PROŠIRENJA... 10 6. ZAKLJUČAK... 12 str. 3 od 12
1. UVOD Poštovani, Ovim putem želimo Vam predočiti dosadašnju uporabu računalnog klastera Isabella te predložiti proširenja koja su se pokazala potrebnima tijekom dosadašnjeg korištenja. Dokument sadrži povijest klastera, popis opreme i korisnika, analizu korištenja i prijedlog proširenja računalnog klastera. str. 4 od 12
2. POVIJEST Projekt MZT-a "Osnivanje Data Grid centra" pokrenut je 1.1.2002., a 1.5.2002. počinje sa radom klaster Data Grid centra (1+10 jednoprocesorskih računala s Linux/ROCKS/OpenPBS programskom potporom). Završetkom projekta nisu prestale aktivnosti CERN-ovih suradnika Data Grid projekta na našem klasteru. U međuvremenu, dio resursa ponuđen je i ostalim hrvatskim znanstvenicima na uporabu. Zbog toga smo definirali pravilnik o radu koji je MZT usvojio 23.6.2002. Od 23.7.2002. klaster koriste prvi registrirani korisnici znanstvenici s projekta Protonski afiniteti i reakcije prijenosa protona u kemiji pod vodstvom prof. dr. sc. Zvonimira Maksića. U cilju proširivanja postojećih resursa, ali i odvajanja resursa potrebnih za CERN-ov Data Grid od onih koje koriste hrvatski znanstvenici, dobili smo sredstva od MZT-a kojima smo 24.8.2002. nabavili 8 dvoprocesorskih računala. Postojeće resurse 10.11.2002. fizički i logički podijelili smo na tri klastera: 5 jednoprocesorskih računala s Linux/Mosix programima za potrebe CERN-ovih Data Grid istraživanja (ovo je prvi klaster u CERN-ovom projektu u Mosix režimu rada) 1+8 dvoprocesorskih računala s Linux/Rocks/OpenPBS programima za potrebe hrvatskih znanstvenika 5 jednoprocesorskih PC-eva za istraživanje novih tehnologija povezivanja klastera (Oscar, BProc, SunGRID Engine, Silver, Globus, Unicore). Krajem 2002 godine osmislili smo, pripremili i održali dva otvorena seminara pod nazivom ''Osnove uporabe klastera s OpenPBS-om''. str. 5 od 12
3. SADAŠNJE STANJE Popis korisnika po projektima: Kvantitativne metode u prometu Husein Pašagić, odg.osoba, husein.pasagic@fpz.hr Hrvoje Gold, hrvoje.gold@fpz.hr Tonči Carić, tonci.caric@fpz.hr Ante Galić, agalic@net.hr Teorija kritičnih pojava i modeliranje u sustavima mnoštva čestica Katarina Uzelac, odg. osoba, katarina@ifs.hr Ivo Batistić, ivo@phy.hr Eduard Tutiš, edo@ifs.hr Osor Barišić, obarisic@ifs.hr Dinamička svojstva i spektroskopija površina i nanostruktura Marijan Šunjić, odg.osoba, Goranka Bilalbegović, goranka@zg.hinet.hr Vito Despoja, vito@phy.hr Prošireni pi-sistemi i molekulske spektroskopije Goran Baranović, odg.osoba, baranovi@faust.irb.hr Darko Babić, dbabic@mail.irb.hr Višnja Šimek, simek@mail.irb.hr Protonski afiniteti i reakcije prijenosa protona u kemiji Zvonimir Maksić, odg.osoba, zmaksic@spider.irb.hr Borislav Kovačević, boris@spider.irb.hr Robert Vianello, vianello@spider.irb.hr Karbokationski međuprodukti u biosintezi steroida i triterpena Olga Kronja, odg.osoba, Valerije Vrček, valerije@pharma.hr Danijel Ljubas, dljubas@pharma.hr Bernard Denegri, bdenegri@pharma.hr Reaktivni međuprodukti u osnovnom i pobuđenom stanju Zoran Glasovac, odg.osoba, zglasovac@emma.irb.hr Ivana Antol, iantol@emma.irb.hr Gordana Gadanji, ggadanji@emma.irb.hr Masivni neutrini i astročestice Ante Ljubičić, odg.osoba Mario Stipčević, mario.stipcevic@irb.hr str. 6 od 12
Popis opreme Master KLASTER ISABELLA OS Kernel Procesori Memorija Diskovi Broj računala RedHat Linux, Release 7.2 (Enigma) NPACI Rocks Čvorovi RedHat Linux, Release 7.2 (Enigma) NPACI Rocks 2.4.9-31smp 2.4.9-31smp 1 x PIII Coppermine, 993 Mhz 2 x P III, 1133 Mhz 1 GB 2 x 18 GB SCSI 512 MB 2 x 18 GB SCSI Tablica 1 Stanje opreme i programske potpore 1 8 Od programske potpore neophodne prijavljenim projektima, klaster ima OpenPBS batch queuing sustav, PVM virtualni stroj za paralelizaciju aplikacija, te aplikacije i biblioteke specifične za pojedini projekt. str. 7 od 12
4. ISKORIŠTENOST RESURSA Tijekom rada klastera pratili smo sistemske parametre kao što su opterećenje i način rada procesora, zauzeće memorije klastera, slobodnu radnu memoriju, zauzeće swapa i diskovnih kapaciteta, te opterećenost mreže koju generiraju čvorovi i središnji čvor. Pored toga, pratili smo i bilježili statistiku korištenja klastera od strane korisnika, i performanse koje pokazuje klaster pri izračunskim zadacima koje su pokretali korisnici. Riječ je o zadacima koji su memorijski i procesorski vrlo zahtjevni i prema mjerenjima provedenim na klasteru Isabella u pravilu traju više dana. U tablici 2 predočili smo iskorištenost resursa od strane korisničkih aplikacija, a tablica 3 pokazuje iskorištenost klastera po pojedinom projektu. Korisnik Grupa Poslovi Dani Postotak čvorovi q-dani TOTAL 435 930.78 100 2.09 0.12 bkovacevic Protonski afiniteti 155 612.78 65.84 2.35 0.2 dbabic Pi-sistemi 99 185.81 19.96 2.9 0 rvianello Protonski afiniteti 150 131.13 14.09 1.09 0.14 cluster09 Admin 17 0.61 0.07 1 0.01 vsimek pi-sistemi 2 0.44 0.05 1 0 nix Admin 11 0 0 2.71 0 cluster10 Admin 1 0 0 2 0 Tablica 2- Iskorištenost klastera po korisniku od 31.10. 2002 do 2.5.2003. Projekt Vrijeme izvršenja (dana) Udio u ukupnom vremenu (%) Broj računskih poslova Iskorištenost (%) Protonski afiniteti 743.91 79.98% 305 75.12% Pi-sistemi 186.25 20.02% 101 24.88% Kvantitativne metode u prometu 0 0.00% 0 0.00% Teorija kritičnih pojava 0 0.00% 0 0.00% Dinamička svojstva i spektroskopija 0 0.00% 0 0.00% Karbokationski međuprodukti 0 0.00% 0 0.00% Reaktivni međuprodukti 0 0.00% 0 0.00% Masivni neutrini 0 0.00% 0 0.00% Ukupno 930.16 100.00% 406 100.00% Tablica 3 Iskorištenost klastera po projektu od 31.10. 2002 do 2.5.2003. U periodu od 31.10.2002. do 2.5.2003. dovršeno je 435 izračunskih poslova koji su trajali 931 izračunski dan. Od toga 406 poslova otpada na samo dva projekta. Jedan izračunski posao u prosjeku traje dva dana. Nesrazmjer između broja prijavljenih projekata i onih koji aktivno koriste klaster tumačimo kao posljedicu vrlo različitih vremenskih i memorijskih potreba računskih zadataka pojedinih projekata. Pri izboru Vijeća korisnika saznali smo da je sadašnjih 512 MB memorije na čvorovima nedovoljno za potrebe dijela projekata a i aktivni projekti prisiljeni su izvršavati samo onu vrstu zadataka koji su sada izvedivi. U korištenju klastera izrazito dominiraju projekti s dugotrajnim računima što odvraća korisnike sa zadacima čije izvršavanje traje relativno kratko. str. 8 od 12
Za takve korisnike vrijeme koje zadatak provodi u čekanju na slobodne resurse može znatno nadmašiti vrijeme potrebno za njegovo izvršenje. U takvim okolnostima oni su prisiljeni osloniti se na vlastite resurse jer na njima ranije dolaze do rezultata. Ovo smo pokušali popraviti uvođenjem fairshare načina određivanja prioriteta ali ni time nije moguće spriječiti zagušenje klastera koje je rezultat dugotrajnih zadataka, čak kad se oni izvode i na više procesora ili čvorova. Ističemo da je klaster dovoljno velik samo ako uvijek postoji jedan ili više slobodnih čvorova. Iz statističkih podataka prikazanih na slici 1., primijećeno je značajno opterećenje procesora koji u zadnja dva mjeseca više od 80% procesorske snage provode u korisničkom modu (podaci za veljaču nisu prisutni zbog reinstalacije mjernih servisa). Isto tako je vidljiv i konstantan trend porasta opterećenja procesora. Na slici 2 prikazano je zauzeće radne memorije klastera. U zadnja dva mjeseca u prosjeku je zauzeto 4 GB od 5 GB ukupne memorije, ili 80% ukupne memorije klastera. Pritom ukazujemo na trend smanjenja cached memorije, odnosno povećanja iskorištenosti swapa, što značajno usporava rad aplikacija. Slika 1 Iskorištenje procesorske snage u zadnjih 6 mj. Slika 2 Zauzeće memorije u zadnjih 6 mj. Iz navedenih podataka o iskorištenju računalnih resursa klastera Isabella zaključujemo kako su raspoloživi resursi postali nezadovoljavajući za broj prijavljenih projekata. Ističemo da su u posljednjih mjesec dana prijavljena još 3 projekta, od kojih barem dva iskazuju približno jednake računske potrebe kao i dosadašnji korisnici. Korištenje klastera nipošto nije ograničeno samo na paralelizirane aplikacije. Na klasteru se jednako dobro izvršavaju i uobičajeni (serijski) poslovi, a zahvaljujući ekskluzivnoj dodjeli potrebnih računalnih resursa i robusnoj infrastrukturi, čak i pouzdanije i efikasnije. Smatramo da bi klaster trebao zadovoljiti računske zahtjeve svih znanstvenih projekata Ministarstva, izvedivih na PC/Linux platformi, a posebno onih na zagrebačkom Sveučilištu. Dijeljenjem računalnih resursa i njihovim centraliziranim održavanjem postigle bi se značajne materijalne i vremenske uštede. Predlažemo nadogradnju koja bi osigurala dovoljno procesorske snage i memorije za navedene potrebe. str. 9 od 12
5. PRIJEDLOG PROŠIRENJA Na temelju dosadašnih podataka (http://grozd.srce.hr/ganglia/) i iznesenih rezultata mjerenja možemo zaključiti da dva projekta troše u prosjeku 80% do 90% procesorske snage i 80% raspoložive memorije, uz dugo prosječno vrijeme izvršavanja izračunskog zadatka. Već za sadašnji broj prijavljenih projekata trebalo bi osigurati znatno više resursa. Imajući u vidu novoprijavljene projekte i nastojanje da klaster postane središnji računalni servis Sveučilišta, procjenjujemo da je neophodno višestruko povećanje kapaciteta, i to barem 4-5 puta. Stoga predlažemo proširenje resursa na slijedeći način: 1. Hitno proširenje radne memorije čvorova s 0,5 GB na barem 1 GB RAM-a, te povećanje diskovnih kapaciteta središnjeg čvora i čvorova s 36 GB na barem 54 GB. Ovaj korak bi okvirno koštao 8.000 kn (PDV uračunat). 2. Proširenje broja čvorova, za koje predlažemo dvije opcije. Uz same čvorove potrebno je nabaviti još i ethernet preklopnike i konzolne preklopnike, u količinama koje omogućuju spajanje svih čvorova s središnjim čvorom. Radi velike uštede prostora, rješenja problema grijanja, i lakšeg održavanja, preporučujemo nabavku rack ugradivih komponenata. Sva potrebna oprema s cijenama i uključenim PDV-om navedena je u tablicama. a) Proširenje klastera na 32 čvora: Proširenje na 32 čvora troškovi (uključen PDV) Oprema Količina Jed. Cijena Cijena PC, 2x Xeon 2.4 GHz, 2GB RAM, 2x 36 GB HDD SCSI hot swap Ethernet preklopnik, 24 ports 24 30.000 Kn 720.000 Kn 1 5.540 Kn 5.540 Kn Transceiver 1 Gbit 4 2.515 Kn 10.060 Kn Konzolni preklopnik 2 7.500 Kn 15.000 Kn Rack 2 15.000 Kn 30.000 Kn Ukupno 780.600 Kn Proširenjem na 32 čvora zadržava se vrijeme izračuna pojedinog zadatka, uz smanjenje vremena čekanja za izvršenje kraćih računskih zadataka. b) Proširenje klastera na 64 čvora: Proširenje na 64 čvora troškovi (uključen PDV) Oprema Količina Jed. Cijena Cijena PC, 2x Xeon 2.4 GHz, 2GB RAM, 2x 36 GB HDD SCSI hot swap Ethernet preklopnik, 24 ports 56 30.000 Kn 1.680.000 Kn 3 5.540 Kn 16.620 Kn Transceiver 1 Gbit 8 2.515 Kn 20.120 Kn Konzolni preklopnik 5 7.500 Kn 37.500 Kn Rack 3 15.000 Kn 45.000 Kn Ukupno 1.799.240 Kn Prihvaćanjem prve opcije osigurali bi se dovoljni resursi za potrebe dosad prijavljenih projekata. Ističemo da samo druga opcija, tj. proširenje klastera na 64 čvora, osigurava neophodnu str. 10 od 12
infrastrukturu za uspostavu središnjeg sveučilišnog računalnog servisa. 3. Pored materijalne infrastrukture, korisnicima je za normalan rad potrebna i odgovarajuća programska potpora. Dosad je, na zahtjev korisnika, instalirano nekoliko besplatnih programskih paketa i biblioteka (BLAS, LAPACK, MPI, Intel kompajleri), a korisnici su izrazili potrebu i za određenim komercijalnim programima. U tijeku je nabava programskog paketa Gaussian (u okviru djelovanja Referalnog centra za Gaussian) koji će biti instaliran i na klasteru Isabella. Za to je neophodan upravo PGI kompajler Predlažemo da se u ovaj prijedlog proširenja uvrsti nabava paketa PGI Workstation koji sadrži C/C++ i Fortran kompajlere. Njegova početna cijena iznosi 7500 kn, a godišnja pretplata za korisničku potporu i obnavljanje novim verzijama iznosi 1800 kn (PDV uključen). Software Naziv Jedinična cijena (uključen Održavanje (uključen PDV) PDV) PGI Workstation 7.500 Kn 1.800 Kn str. 11 od 12
6. ZAKLJUČAK Iz priloženih podataka dobivenih sustavnim praćenjem iskorištenja radne memorije i procesorske snage klastera Isabella, te statistike uporabe aplikacija klastera po korisniku, došli smo do sljedećih zaključaka: Klaster Isabella, koji treba pokrivati potrebe cijelog Sveučilišta, u sadašnjoj je konfiguraciji preslab za potrebe prijavljenih projekata i za najavljene zahtjeve novih projekata Stoga je potrebno: 1. Hitno proširenje trenutačne konfiguracije, odnosno računala u klasteru s dodatnih minimalno 512 MB RAM-a, i proširenje diskovnih kapaciteta s još barem 18 GB diska po računalu u klasteru. 2. Proširenje klastera novim računalima. Predlažemo dvije opcije: a) Nabava 24 novih računala s pripadajućom opremom, što bi omogućilo normalan rad svim prijavljenim projektima. b) Nabava 56 novih računala s pripadajućom opremom, koje bi omogućilo ustrojavanje središnjeg računalnog servisa za potrebe svih istraživačkih projekata Ministarstva uz omogućavanje korištenja resursa svim projektima, smanjuju izračunsko vrijeme i opterećenje samih čvorova, odnosno osiguravaju mogućnost primanja novih projekata, bez smanjivanja radnih uvjeta postojećih. 3. Nabaviti programski paket PGI Workstation s kompajlerima neophodnima za nadogradnju programskog paketa Gaussian 2003. Vjerujemo da će Ministarstvo iznaći potrebna sredstva i omogućiti nastavak započetih projekata, kao i kvalitetnu potporu za nove. str. 12 od 12