Razvoj SerbianMeteo baze podataka

[ptprince]

Kako je došlo do potreba da kreiramo nešto novo u našoj bazi, mislim da treba ideje za napredak baze staviti u jednu ovakvu temu i dodatavi ideje.
Odavno mi se kuvaju neke nove osobine baze podataka. Ovde ću da ih rekapituliram, a još ne bih insistirao na njima, imajući u vidu životne prioritete svih nas.

1. Automatsko prikupljanje podataka sa AMS u bazu podataka.
Super je napravljen pregled trenutnih podataka u mreži AMS. Ipak, mislim da ne moramo da čekamo da napravimo nešto novo na ovu temu.
Konkretno, šteta je da podaci koji 'cure' kroz mrežu AMS ostaju nezabeleženi. Zašto da ih ne pakujemo u bazu? Bilo bi dobro da se podaci odatle slivaju u tabelu Osmatranja, iako nedostaje opis vremena. Neka i nedostaju, mogu uvek ručno da se ubace.
Da, ovde ostaje dilema o pritisku. Neka bude recimo stanični pritisak, p aposle treba razviti forumlu za svođenje pritiska na nivo mora. Jeste to malo komplikovano, ali je možda principijelno najbolje rešenje.

2. Automatsko prikupljanje podataka sa GTS u bazu podataka.
Ovde mislim na iščitavanje SYNOPa i njegovo dekodiranje i pakovanje u bazu. Istina, ovaj zadatak je teži, jer zahteva razvijanje modula kontrole ulaznih podataka i markiranje nelogičnih ili sumnjivih podataka. Modul kontrole SYNOPa mogu da skiciram, to nije veliki problem.
Ispravljao bih i markirane podatke po potrebi, jer imam odgovarajući materijal za takav rad. Ispravljanje ne bih mogao da radim uživo, jer to je ogromna obaveza, ali markiranje podataka koji se čine sumnjivim bi trebalo onda da rade sami forumaši.
Sam link za SYNOPe je lako pristupačan. Lično znam za nekoliko linkova.

3. Automatsko pakovanje dnevnih izveštaja iz celovitih podataka iz tabele Osmatranja.
Ovo je super fora, a mislim da je moguća. Naime, kad se skupi potreban broj SYNOPa (tj. 8, iznimno i manje, što bi zavisilo od programa rada stanice) za svaki dan, bilo bi nadasve koristno da seizračunaju dnevne vrednosti i pakuju u bazu. Indikacija postojanja netačnih i neproverenih izveštaja bi bila takođe automatski preneta u ovu tabelu Dnevni izveštaji.

4. Prikazivanje aktuelnih podataka iz baze na forumu / portalu.
Da bi ljudi bili zainteresovani za bazu i sami u njoj učestvovali, neophodno je da se ti podaci stalno negde prikazuju. Kakvo oduševljenje za korisnika kada shvati da može da učestvuje! Čak bi tema Aktuelne vremenske prilike bila postepeno svođena na tekstualne komentare, uz istovremeni pregled podataka tokom dana. Ovde konkretno mislim da bi super bilo da umesto Takt stoji podatak u tabeli, uz napomenu ko ga je od forumaša ubacio.
Ništa bez diseminacije!

5. Omogućavanje uploada većeg broja podataka.
Osim 'ručnog' i mučnog popunjavanja podataka koje je, pretpostavljam, mnoge odvratilo sa baze, treba uvesti i upload većeg broja podataka. Naravno, i ovde treba da se primeni modul kontrole podataka o kojem sam već pričao, kao i markiranje sumnjivih podataka. Ispravku bih radio sa forumašem koji bi radio upload tih podataka, jer kontrola kvaliteta podataka se ne može korektno izvršiti bez originalnih zapisa.
Ovo će dovesti veliki broj podataka i animirati iole zainteresovane za bazu da se priključe.
Najzad, rubrike tipa '... na današnji dan' bi tako bile stalno ažurirane, te bi se zamorne obaveze kačenja tih podataka svele na minimum. Naravno, postojeći rad na tome ne bi bio višak, ni omalovažavan. Čak smatram da bi to bilo veliko olakšanje.

6. Formiranje i punjenje tabele mesečnih i godišnjih vrednosti meteoroloških podataka.
Pojedini postovi su zatrpani raznim mesečnim podacima. Srednje mesečne temperature, mesečni ekstremi, sume padavina itd itd. Nizovi, kao što vidite, mogu biti impozantni, a samim tim i zanimljivi.
Uz to, iz naših tabela Dnevne vrednosti može se automatski popunjavati i ova tabela koja bi se zvala recimo Mesečne i godišnje vrednosti.

7. Sređivanje postojećih upita.
Sećam se da je ranije bilo primedbi zašto podaci stoje u jednom istom određenom redu. Prepustiti izlistavanje podataka ženjenim redom po jednoj ili dve stavke bi umnogome olakšalo pregledanje podataka od strane korisnika.
Možda treba razmisliti i o dodavanju novih osobina upita, tipa filtriranja podataka po nekom kriterijumu veličine (kao npr Tmax preko 30 ili koliko korisnik zada).

Ima još mnogo ideja, ali o njima bih pričao tek po realizaciji onoga što se prethodno planira. Tu su razni grafički prikazi, karte sa podacima itd.

Očekujem da date svoje sugestije. I ne žurite, ali imajte na umu. Obaveze prvo, a ovo kad se stigne.

[Boce]

Ja navijam da što pre krenemo u realizaciju navedenih koraka.
Sa bazom koja bi imala ove karakteristike imali bi smo mnogo veću posećenost i značaj u meteo krugovima na ovom prostoru. Zar nam to nije svima cilj. Ja sam spreman da pomognem u svakom obliku. READY!!!

[jocozr]

Slazem se!
I ja sam svakako spreman da pomognem...
Nadam se nabavci i licne AMS...na prolece.A pozivam i sve druge clanove Serbian meeo da se ukljuce u bazu podataka,na koji god nacin mogu...
Ja cu npr. nabavkom AMS.
READY!

[ptprince]

Da skinem prašinu sa ove teme, jer ponovo postoji potreba da se nešto ovde uradi.
U svemu ostajem pri navedenim predlozima.
Međutim, u radu sa bazom primetio sam da se na prikazivanju podataka ne pojavljuje tekst iz napomena. Ubacio sam napomenu u dnevna osmatranja za Beograd za 4. maj 2008, i ona stoji u bazi, ali se ne vidi u prikazivanju na stranici sa podacima. Bodo, ovo ne bi trebalo da bude problem ispraviti, pa kad stigneš, a ti, molim te, reguliši ovaj detalj na koji nismo obratili pažnju. Hvala.

[TRSTENIK]

Da skinem prašinu sa ove teme, jer ponovo postoji potreba da se nešto ovde uradi.
U svemu ostajem pri navedenim predlozima.
Međutim, u radu sa bazom primetio sam da se na prikazivanju podataka ne pojavljuje tekst iz napomena. Ubacio sam napomenu u dnevna osmatranja za Beograd za 4. maj 2008, i ona stoji u bazi, ali se ne vidi u prikazivanju na stranici sa podacima. Bodo, ovo ne bi trebalo da bude problem ispraviti, pa kad stigneš, a ti, molim te, reguliši ovaj detalj na koji nismo obratili pažnju. Hvala.

Pedjo, odavno ne funkcioniše rubrika "dodatno" ili "napomena"... Otuda i moj unos napomena (za recimo T vode u Kraljevu!) mora biti smeštena u "Opis vremena", tamo gde toj napomeni nije mesto... Pozdrav!

[ptprince]

Predugo sam razmišljao na ovu temu. najzad, odlučio sam se da sve to iznesem javno.

Činjenica je da baza podataka ne radi. Kako se na njoj nije radilo već skoro dve godine (sa izuzetkom mreže AMS, što je postalo nešto obaška baze), a podaci se ne popunjavaju skoro godinu dana, smisao baze je prestao da postoji. Nikome nije potreban uvid u vreme prošlo, ako se to ne ažurira.
Ideja za bazu podataka je bila da se ona iskoristi za lak i brz pregled aktuelnih meteoroloških podataka, kako se ne bi opterećivale rubrike u podforumu Aktuelne vremenske prilike. Baza je vrhunski kreirana, što je bilo u skladu sa rezultatima ankete koja je prethodila.
Međutim, baza je zaparložena, bačena u zapećak. Nekoliko puta sam pokušavao da dam nove ideje za bazu, ali sve je ostalo da visi. Ideje su samo načelno prihvaćene, ali nije se mnogo uradilo. Nudio sam svoju pomoć kako bi to bilo rešeno, ako postoji dobra volja. Ostao sam praktično bez odgovora.

Postavljam jedno vrlo neprijatno pitanje, a da ne pokrećem (za sada) i formalno glasanje.

Da li ste za to da se baza ukine?

Alternativno pitanje glasi:

Da li ste za to da se baza oživi?

Status quo je, po meni, neodrživ. Imate vremena da razmislite o svemu. Ja sam vrlo pažljivo razmislio, i ovaj post je moja odluka.

[TRSTENIK]

Alternativno pitanje glasi:

Da li ste za to da se baza oživi?

Pažljivo sam pročitao apel PtPrinca... Opredelio sam se za alternativno pitanje (naravno!), jer sam voleo Bazu podataka od prvog dana, unosio, beležio, jednostavno, trudio se da "živi"... Poslednji sam je (zna to PtPrince!) i napustio! Iz tih i takvih, više nostalgičnih razloga, opredelio sam se za alternativno pitanje, na koga svim srcem odgovaram sa "DA", ali da ne budem ponovo usamljen i "potopljen" u Bazi podataka! Lično i dalje (ali na drugom mestu doduše!) ručno unosim osmotrene podatke, pa je i moj pozitivan odgovor na alternativno pitanje - logičan! Šta ću, po onoj narodnoj izreci "što Dikla - navikla"...! Pozdrav svakoj dobroj ideji 

[Boda Tajson]

baza je super ideja ali trenutno se nema vremena za automatizaciju

mozda bi eventualno mogla da se uradi neka vrsta uploadovanja fajlova iz excela na mesecnom nivou tj. vase zabelezene podatke posaljete nama i mi uploadujemo u bazu (da se izbegnu sve one forme) ali to ne izgleda kao dobro dugorocno resenje niti omogucava realtime pracenje podataka

edit: a cak ni ovo drugo nisam u mogucnosti sad da radim

[ptprince]

Razumem nemanje vremena. Nadam se da to neće ostati zauvek.

Ono šta sam želeo jeste da se ljudi registruju kao korisnici baze, ukucaju svoje (ili preuzete) podatke i da se oni vide na forumu i / ili portalu. Nije sve u automatizaciji.

Upload većeg broja podataka ne bi išao bezglavo. Naravno, preuzeo bih kontrolu podataka pre uploada. Dakle, to bi po ideji išlo preko mene (dobrovoljac!), a tek posle kontrole, formirao bih fajl u traženom formatu i uploadovao podatke.
Pošto skupljam podatke sa GTSa, uploadovao bih i SYNOPe u dekodiranom obliku. Aktuelni podaci odaci ne bi bili nužno na mesečnom nivou, već kada stignem da ih uredim (maksimalno na dnevnom nivou, minimalno na mesečnom nivou). Dovoljno aktuelno.
Naravno, ako to zaživi, voleo bih da ustanovimo zajednički format preko kojeg bi se odvijala ovakva razmena. Bodo, ako želiš da rizikuješ da podaci budu kontrolisani pa ubačeni, ne brini se... Bez rizika nema dobitka. Feedback bi bio odličan i forumaši bi lako mogli da vide svoje mesto u tabeli takvoih podataka. Tako bi se baza malčice razvila, a forum dobio na ugledu.

Unos dan-po-dan ili termin-po-termin može da se odvija kao i do sada, s tim što niko ne mora da unosi zvanične podatke iz SYNOPa (ili skida sa Ogimeta, što bi bilo isto to).

Nemate pojma na koliko sam raznih stanica do sada naišao... a bilo bi vredno videti sve to na gomili.

Ne brinite za autorska prava. Naveli bi na sajtu odakle preuzimamo podatke, što je dovoljno. Da se autorska prava tako drže za podatke, nikad ne biste imali merenja RHMZa na izvol'te.

mozda bi eventualno mogla da se uradi neka vrsta uploadovanja fajlova iz excela na mesecnom nivou tj. vase zabelezene podatke posaljete nama i mi uploadujemo u bazu (da se izbegnu sve one forme) ali to ne izgleda kao dobro dugorocno resenje niti omogucava realtime pracenje podataka

edit: a cak ni ovo drugo nisam u mogucnosti sad da radim

Dobro, bar javi na vreme kada možeš. Ni ja ne stojim sa vremenom baš najsjajnije, pa ipak...

[ptprince]

Tužno je videti kako se osim nas trojice više niko nije javio sa svojim mišljenjem.
Upravo sam zato postavio prvo pitanje... Ima li svrhe?

Ako ne bude više ničega, neću više pokretati nijednu inicijativu u tom pravcu. Uz svo dužno poštovanje, Bodo, za uložen trud, ako to nema odziva, najbolje je ne gubiti vreme.

[Stefano]

ptprince, ja sam tebi moje misljenje rekao vise puta uzivo, idalje stojim pri tome.

[ptprince]

ptprince, ja sam tebi moje misljenje rekao vise puta uzivo, idalje stojim pri tome.

...što će reći 'kad bismo imali više AMS...' itd. Jasno mi je to. Nisam ni mislio da će biti drugačije.
Biće još AMS, ljudi su se bacili u nabavku... siguran sam da će stanica biti još. Međutim, nije sve u automatizaciji. U pitanju je interesovanje na forumu...
Kad smo već kod mišljenja, znam već šta će Boce reći. A ostali?

[Boce]

Lepo kolega da znaš šta ću reći
jer ne stižem zbog obaveza da napišem podršku za nastavak Baze tj. za rad u malo promenjenim uslovima
i sa više automatizacije. Što sa privatnih stanica, što sa zvaničnih. Znam da si nestrpljiv po tom pitanju i ja bih bio. Tako sam ja bio raspoložen oko širenja mreže naših stanica i kad sam skoro izgubio svaku nadu evo sad sve više lepih vesti po tom pitanju. Što bi rekli moji Torlaci "Sve će si bude!"