Gravatar
rsim (Raimonds Simanovskis) uzsāka tēmu Atvērto datu portāla informācijas un datu kopu organizācija pirms apmēram 6 gadiem

Aprakstīju konceptuālo pieeju, kā tiek organizēta informācija / datu kopas data.opendata.lv portālā.

Tradicionālās problēmas citos datu portālos ir tās, ka tiek piedāvāta tikai viena līmeņa datu kopu (data set) publicēšana (kur datu kopa ir vienkāršā tabula ar kolonnām), kā rezultātā pēc kāda laika šīs datu kopas ir mežonīgi daudz un nav skaidrs, kādas datu kopas savā starpā ir saistītas un kurš par ko ir atbildīgs un kuras datu kopas varbūt aizstāj citas vecās datu kopas. Tādēļ manuprāt vajag ieviest mazliet strukturētāku pieeju.

Pirmkārt, primārais dalījums tiek veidots pēc datu publicētāja jeb atbildīgā (ideja ņemta no github.com un buzzdata.com). Un publicētājs varētu būt gan individuālas personas ("datu hakeri" kā es, kas, piemēram, izvilkuši datus no kādām esošām tīmekļa lapām), vai arī organizācija, kas pati publicē savus datus.

Kā piemēru ņemšu KNAB partiju finanšu datubāzes http://www.knab.gov.lv/lv/finances/db/. Ja es šos datus publicēšu es, tad tas būs zem

data.opendata.lv/rsim

(kur rsim ir mans lietotāja vārds), ja to publicēs KNAB, tad viņi izveidos organizāciju knab, kurā būs vairāki lietotāji, un dati tiks publicēti zem

data.opendata.lv/knab

Tālāk, nākamajā līmenī nav uzreiz datu kopas (kas ir vienkārša tabula ar kolonnām) kā tas, piemēram, ir buzzdata.com gadījumā. Ar to ir problēmas, ka bieži ir vairākas ļoti saistītas datu kopas / tabulas, kuras vajadzētu varēt grupēt kopā.

Tādēļ ir ieviests jēdziens, ka lietotājs vai organizācija var izveidot projektu, kurā būs vairākas datu kopas. KNAB piemēra gadījumā varētu būt Partiju finanses projekts, kura adrese būtu

data.opendata.lv/rsim/partiju-finanses

vai arī

data.opendata.lv/knab/partiju-finanses

Tālāk zem šī projekta būtu visas saistītās datu kopas, kas būs tabulas ar kolonnām, piemēram, http://www.knab.gov.lv/lv/finances/db/donations/ būs Ziedojumi datu kopa ar adresi (tālāk lietošu tikai rsim lietotāju nevis knab organizāciju)

data.opendata.lv/rsim/partiju-finanses/ziedojumi

savukārt http://www.knab.gov.lv/lv/finances/db/subscriptions/ būs Biedru naudas datu kopa ar adresi

data.opendata.lv/rsim/partiju-finanses/biedru-naudas

Tālāk zem katras datu kopas varēs augšupielādēt konkrētos CSV failus (vēlāk varbūt varētu arī augšupielādēt citos veidos) no kuriem tiks iegūtas datu kopas kolonnas un ielādētas datu kopas rindas.

Ejot uz šo adresi no pārlūka tikts atvērta informācija ar datu kopas aprakstu un ar iespēju apskatīt datu kopas saturu pārlūkā un ar iespēju meklēt tajā pēc norādītā lauka vai visu lauku satura.

Savukārt, ja vēlētos saņemt šo datu kopu CSV, XML, JSON vai citā formātā, tad to darītu norādot adresi kopā ar formātu, piemēram

data.opendata.lv/rsim/partiju-finanses/ziedojumi.csv
data.opendata.lv/rsim/partiju-finanses/ziedojumi.xml
data.opendata.lv/rsim/partiju-finanses/ziedojumi.json 

Papildus varētu padot pieprasījuma parametrus, lai atfiltrētu tikai atbilstošos datus, piemēram,

data.opendata.lv/rsim/partiju-finanses/ziedojumi.csv?q=...&page=...&per_page=...&columns=...

Šo manu ideju rezultātā ir uztapis pirmais data.opendata.lv prototips. Labprāt uzklausīšu komentārus :)

Komentāri

Gravatar
ejekabsons (Edgars Jekabsons) komentēja pirms apmēram 6 gadiem

Varbūt ir nepieciešama palīdzība kaut ko piekodēt vai uzrakstīt dokumentāciju atsevišķām aplikācijas sadaļām?

Gravatar
rsim (Raimonds Simanovskis) komentēja pirms apmēram 6 gadiem

Patlaban primārā vēlamā palīdzība ir dažādu atvērto datu kopu publicēšanā - vai nu vienkārši piereģistrēt datu kopu un norādīt URLu, kur to var dabūt, vai arī ideālā gadījumā pārveidot kādu esošu atvērto datu kopu (vai nu no esoša datorlasāma formāta vai arī uzkodēt kādu tīmekļa lapu apstaigāšanu un datu izvilkšanu) CSV formātā un to ielādēt šeit.

Jūnija vidū tiek plānots open data hackathon par šo tēmu https://groups.google.com/forum/?fromgroups#!topic/opendata_lv/N_4mgt57vks - ja ir interese piedalīties, tad lūdzu komentēt par vēlamajiem datumiem (galvenokārt - vai darba dienā, vai arī brīvdienā).

× Lūdzu pieslēdzieties, lai komentētu