Gravatar passiday / AIP ekspertu izvērtējums

Augstākās izglītības padomes 2012. gadā savāktie un apkopotie kvantitatīvie dati.
Novērtēšanas anketa: http://www.aip.lv/ESF_studiju_prog_novert_anketa.htm

Datu kopas "Iestādes", "Studiju virzieni", "Studiju programmas", "Anketa" un "Novērtējums" ir normalizētas ērtai automātiskai datu apstrādei. Datu kopa "Visi dati" ir tie paši dati denormalizētā formā, savukārt "NovērtējumsX" ir pilnībā denormalizēta "Novērtējums" tabula, paredzēta importam datu konsolidācijas (Pivot Table) sistēmās.

Atruna: dati tiek piedāvāti tādi, kādi tie oficiāli publicēti, bez jebkādas interpretācijas, atstājot interpretāciju datu lietotāju ziņā. Tie _neietver_ visas akreditētās AI programmas, jo dalība pētījumā bija brīvprātīga, kā arī AIP nodotie dati IZM nebija pilnīgi. Medijos ir parādījušies viedokļi, ka izejas dati neesot uzticami, taču apgalvot, ka apjomīgais ekspertu darbs nav nenieka vērts, arī neviens neuzdrošinās. Neviens arī pagaidām nav piedāvājis tos padarīt kaut kā uzticamākus. Ja šie dati tiks precizēti+publicēti, tad tie tiks atjaunoti arī šeit.

https://docs.google.com/file/d/0B70DGVwGmWM2a2FMYTkzamJmTFE/edit

pievienoti 18 komentāri

Anketa

Novērtējumā apskatītie jautājumi

Augšupielādēts 1 fails

Iestādes

Visas AIP novērtējumā piedalījušās augstākās izglītības iestādes.
Piezīme: viens no ierakstiem ir trīs iestāžu apvienojums, atstāts nemainīts, kā bija oriģinālajos datos. Tas ir vienīgais nestandarta gadījums, kad tā pati programma ir trijās mācību iestādēs.

TODO: Vai pastāv kāds oficiāls izglītības iestādes identifikators? Iespējams, var lietot reģistrācijas numuru, bet tas kaut kā neprecīzi - galu galā, vienai iestādei var būt arī dažādas reģistrētas vienības.

Augšupielādēts 1 fails

Novērtējums

Normalizēti izglītības programmu novērtējuma dati, _nelineārā_ skalā:
1: neapmierinošs vērtējums;
2: apmierinošs vērtējums, vērojami būtiski trūkumi;
3: labs vērtējums, var būt nebūtiskas nepilnības;
4: teicams vērtējums, var būt nenozīmīgas nepilnības

Apkopojot datus, nav ieteicams vērtējumus saskaitīt, vilkt vidējo, utml, jo šī tomēr nav lineāra skala. Tas, protams, nenozīmē, ka nedrīkst apkopot katra vērtējuma skaitu un ieviest arbitrāru principu salīdzināmībai, precīzi formulējot savu metodoloģiju.

Piezīmes:
- Reizēm kādai programmai kādā jautājumā vērtējums iztrūkst, nav īsti zināms, kā to interpretēt.
- Divām programmām (Arhitektūra (4158101) un (Civiliinženierija) (41582)), ofic datos, šķiet, bija nepareizi norādīta iestāde: "Rīgas Tehniskā koledža", izlaboju to uz "Rīgas Celtniecības koledža".

Augšupielādēts 1 fails

NovērtējumsX

Novērtējuma datu kopa, papildināta ar visiem saistītajiem datiem, importam datu apstrādes sistēmās kā galvenā datu kopa.

Augšupielādēts 1 fails

Studiju programmas

Visas novērtējumā piedalījušās augstākās izglītības studiju programmas

Datu apstrādes gaidā sarakstā tika konstatētas 5 programmas, kuras novērtējumu tabulā minētas divreiz. Lai nezaudētu datus, šīm programmām tika pievienots attiecīgi #1 un #2 pēc programmas nosaukuma.

TODO:
- Būtu prātīgi pievienot arī tās akreditētās studiju programmas, kuras novērtējumā nepiedalījās.
- Būtu interesanti ievākt info, cik uz katru programmu ir apmaksātu budžeta vietu, un par cik Ls.

Augšupielādēts 1 fails

Studiju virzieni

Studiju virzieni (kategorijas)

Augšupielādēts 1 fails

Visi dati

Visas mācību programmas ar novērtējumu visos 62 jautājumos izvietotu kolonnās. Denormalizēta datu struktūra manuālai analīzei.

Augšupielādēts 1 fails

Visi dati (Dublikāti)

Apstrādāti dati no datu kopas "Visi dati", atlasot pēc 62 kritēriju vērtējuma dublikātus.

Augšupielādēts 1 fails

Komentāri

Gravatar
passiday (Pāvils Jurjāns) komentēja pirms vairāk kā 5 gadiem

Principā interesētu ievākt un apkopot info par visām LV augstākās izglītības iestādēm, lai šajā projektā izmantotās datu kopas "Iestādes" un "Studiju programmas" un "Studiju virzieni" būtu pielietojamas arī citos kontekstos. Varbūt kāds zina autoritatīvu avotu šādai informācijai?

Gravatar
passiday (Pāvils Jurjāns) komentēja pirms vairāk kā 5 gadiem

Šiem datiem līdzās krietni noderētu info par to, kāda bija to ievākšanas procedūra. Oficiālā informācija par pētījumu atrodama AIP mājaslapā: http://www.aip.lv/ESF_projekts.htm, un tā runā, ka tur esot aiztecējušas pulka naudiņas ( 1'001'495 Ls). Tāpēc diezgan stipri mulsināja AIP retorika, ka jēldatus nevajadzēja publicēt, un tagad - ka jēldatus īsti nevar izmantot kritiskam salīdzinošam izvērtējumam. Ja tā tiešām ir, tad kādam vajadzētu būt atbildīgam par neatbilstoši sagatavotiem jēldatiem.

Gravatar
rsim (Raimonds Simanovskis) komentēja pirms vairāk kā 5 gadiem

Ielādēju šos datus eazyBI datu analīzes rīkā un izveidoju tabulu ar kopsavilkumiem, pa studiju virzieniem un kritējiem, kuros tālāk var iet dziļāk uz konkrētām studiju programmām https://eazybi.com/accounts/1945/cubes/Nov%C4%93rt%C4%93jumi#report/Visi%20nov%C4%93rt%C4%93jumi

Kopsavilkuma rādītājs "Novērtējums 4 / 3 / 2 / 1" saskaita, cik ir skaits novērtējumiem 4, 3, 2 un 1 atbilstošajā kritērijā - tā kā kritēriji ir ļoti dažādi, tad nav pareizi rēķināt kaut kādus vidējos rādītājus. Balstoties uz šiem detalizētajiem datiem katrs var izdarīt savus secinājumus :)

Gravatar
yndihalda komentēja pirms vairāk kā 5 gadiem

Pāvil, liels paldies!

Es rakstīju IZM, lai ieliek tabulu viegli apstrādājamā formātā, bet viņi neatbildēja (protams?). Vai varat, lūdzu, pastāstīt kā Jūs pārveidojāt datus?

Raimond, nepiekrītu Jums, rēķināt "kaut kādus vidējos rādītājus" noteikti vajag, tikai rūpīgi jāizvēlas metodoloģija. Izvēloties studiju vietu,18 gadīgs jaunietis nav spējīgs adekvāti izspriest par programmas kvalitāti pēc 60 kritērijiem, nepieciešams izveidot viegli saprotamu rangu, šī programma labākā, šī otrā labākā.

Gravatar
passiday (Pāvils Jurjāns) komentēja pirms vairāk kā 5 gadiem

Izbakstīt ārā no tā PDFa gan nebūtu šausmīga problēma, bet šajā gadījumā es datus saņēmu no IM, pateicoties personīgiem sakariem. Tie bija Excelī, no kurienes tos sapludināju datubāzē, veicu normalizāciju un kļūdu labošanu, un tad sagatavoju importam šeit.

Rēķināt vidējos rādītājus šajā gadījumā nudien nav korekti, jo vērtējums 1/2/3/4 šeit nav lineāra skala. Var, protams, no īkšķa izzīst dažādus svarus katram kritērijam un katram vērtējumam, taču tajā brīdī tomēr notiek neliela sagrēkošana. Tā būtu arbitrāra datu apstrādes metodes izvēle, līdz ar to jau nedaudz attālināta no tīriem jēldatiem (kas, protams, paši savā ziņā nav brīvi no subjektīvisma). Saprotams, dažādām metodoloģijām savi plusi un mīnusi, un tas būtu lieliski, ja šie dati dotu iespēju neatkarīgajām trešajām pusēm piedāvāt savu vērtēšanas principu, taču nosaukt kādu no šīm interpretācijām par "objektīvu" nebūtu no zinātniskā viedokļa korekti.

Gravatar
passiday (Pāvils Jurjāns) komentēja pirms vairāk kā 5 gadiem

Uzdūroties datu kopā visi-dati uz pāris identiskiem 62 kritēriju vērtējumu komplektiem, nolēmu palaist analīzi, kas meklētu identisku vērtējumu komplektus visu 836 programmu starpā, te ir rezultāts. Man par lielu pārsteigumu, veseliem 25% programmu (210) ir vismaz viens klons. Grūti saprast, kāds tam ir skaidrojums, bet tādi nu ir fakti. Skaidrs ir tas, ka varbūtība, ka šāda sakritība gadījusies nejauši, ir krietni zem 0.01%.

Gravatar
yndihalda komentēja pirms vairāk kā 5 gadiem

Izskatās, ka Ķīlis Jūsu komentāru norijis kā badīga zivs ēsmu. (http://www.delfi.lv/news/national/politics/kilis-iespejams-bus-jaatdod-augstskolu-novertesanas-projekta-iegulditais-miljons-latu.d?id=42836778). Tas, ka šāda sakritība ir ar varbūtību zem 0,01% ne tuvu nav skaidrs, Jums būtu jāizveido statistikais tests, jāsaprot pieņēmumi un jārēķina testa statistika (http://en.wikipedia.org/wiki/Statistical_hypothesis_testing).

Gravatar
passiday (Pāvils Jurjāns) komentēja pirms vairāk kā 5 gadiem

Protams, ka zem 0,01% varbūtības ir pāris pieņēmumi, kuru zinātniskai pamatošanai būtu nepieciešami papildus testi. Runāju par iespējamību, ka veicot objektīvu 836 dažādu programmu izvērtējumu, tā sagadītos, ka dažās no iestādēm programmu kvalitāte tik brīnišķīgi korelējas, ka novērtējums sakrīt punkts punktā. Pat bez īpašas kalkulēšanas būs ātri vien skaidrs, ka šāda varbūtība korekti veiktā pētījumā ir tik niecīga, ka turpināt ticēt novērtējuma 100% precizitātei var tikai patoloģiski ticīgs indivīds. Savā komentārā uzsvēru, ka varbūt kaut ko nesaprotu - varbūt tās programmas ir kaut kādas "sapītās māsas", kurām tāpēc vērtējums veikts kā vienai. Ne man to vērtēt, man nav informācijas. Un, pat ja tā, tad tas vienalga ir kaut kāds sviests šādā veidā mākslīgi palielināt akreditēto programmu skaitu.

Gravatar
yndihalda komentēja pirms vairāk kā 5 gadiem

Es nedaudz paspēlējos ar AIP datiem, rezultāti šeit: http://yindeehaldar.wordpress.com/2012/11/16/aip-augstskolu-vertejumu-analize/ .

Pāvil, vai caur Jūsu kontaktu var dabūt arī tabulu ar AIP piešķirtajām kategorijām, kā arī IZM piešķirtās kategorijas? Es labprāt apskatītu kā tās izskatās uz manis izvēlētās metodes fona.

Gravatar
passiday (Pāvils Jurjāns) komentēja pirms vairāk kā 5 gadiem

Man pieejamajos datos nevienas no šīm kategorijām nebija, vismaz IZM kategorijas būtu iespējams izvlikt no viņu publicētā PDF metodoloģijas faila. Kaut vai ar copy-paste metodi un apstrādāt iegūto tekstu. Par AIP sagatavoto interpretāciju es īsti neko nezinu, vai tas vispār ir bijis publicēts?

Gravatar
yndihalda komentēja pirms vairāk kā 5 gadiem

Jūs ar metodoloģijas failu domājāt šo (https://docs.google.com/file/d/0B70DGVwGmWM2Y0FQVWdzVmx3SDQ/edit?pli=1), vai ne?

Ar roku kopēt no .pdf ir milzu noņemšanās, manuāli būs jākopē katra lapa, bet pdf to text programma var kaut ko nepareizi nolasīt, jo visticamāk strādā pēc OCR principa. Tāpēc cerēju, ka Jūsu paziņa varēs izpalīdzēt, jo tik daudz laika šai lietai veltīt nevēlos.

Gravatar
passiday (Pāvils Jurjāns) komentēja pirms vairāk kā 5 gadiem

Jā, biju domājis to dokumentu. Mana nevēlēšanās uzbāzties paziņam saistīta ar to, ka uzskatu, ka tos datus izķeksēt ārā nav tik grūti. Atverot to PDF failu, un darot Ctrl+A, Ctrl+C un ieejot teksta redaktorā un spiežot Ctrl+V iegūst sačakarētu, tomēr pilnīgu faila tekstuālo saturu. No šī teksta tad ar uz ātru roku sakodēta skripta palīdzību var nepieciešamo info ielasīt kādā datubāzē un tad lietot tālāk.

Gravatar
kbapollolv (Kaspars Bērziņš) komentēja pirms vairāk kā 5 gadiem

Paturpinot yndihalda analīzi. Problēma ar AIP datiem ir tāda, ka tie īsti nav skaitliskie novērtējumi. Drīzāk tie ir "sakārtotie mainīgie" (ordered variables) t.i. mēs zinām, kura programma ir labāka par kādu citu katrā novērtējumā, bet mēs nezinām, cik liela ir "distance" starp novērtējumiem 3 un 4, un vai tā ir tikpat liela kā starp 2 un 3. Pie tam, katram mainīgajam ir savādākas variācijas, līdz ar to skaitīt tos kopā nav korekti. Hazāns par to mēģināja ir.lv uzrakstīt. yndihalda ieteiktā MDS tiek galā ar dažādajām variācijām, bet tā nav īsti piemērota sakārtotajiem mainīgajiem. Tādiem ir domāta līdzīga metode - Multiple correspondence analysis. Varbūt kāds to var pamēģināt un paskatīties vai rezultāti atšķiras. Es sakārtoju programmas pēc tā, kāda bija varbūtība dabūt tādu (vai augstāku) novērtējumu, ņemot vērā, kādas ir varbūtības dabūt 1,2,3 vai 4 katrā mainīgajā. Līdz ar to, dabūt visus 4 ir vismazākā varbūtība, bet dabūt visur 1 (vai vairāk) ir vislielākā. Beigās es no šīs varbūtības izvilku logaritmu, lai skaitļi ir cilvēkiem saprotamāki un skala nav eksponenciāla. Fails te: https://rapidshare.com/files/1052318850/aip_nonparametric.xlsx Šī pieeja tiek galā ar to, ka katram mainīgajam ir savādāks sakārtojums, un to, ka distances starp 2&3 un 3&4 ir dažādas. No otras puses - ej nu paskaidro, ka naudu kādam (ne)dos dēļ varbūtības aprēķina :) Uz rezultātu jāskatās kā uz vēl vienu mēģinājumu programmas sakārtot. Pēc tam, kad tiks izmēģinātas dažādas pieejas, lēnām izkristalizēsies, kura programma ir laba, kura slikta.

Gravatar
yndihalda komentēja pirms vairāk kā 5 gadiem

Jūsu metodei, ja pareizi to saprotu, ir problēma, tā netiek galā ar trūkstošajiem datiem. Proti, tiek piešķirts '1', ja kategorijā nav vērtējuma. Ja būtu kāda programma "Torsionoloģija" ar 32 '4' vērtējumiem un 32 '-', tā atrastos Jūsu saraksta lejasdaļā, kas nešķiet pareizi. MDS ar to tiek galā, un programmu pieliek klāt labajam galam, ja trūkstošo datu nav vairāk kā 2/3.

Piemēram, EIHSEBA "Tūrisma vadība" Jums ir ~10. no beigām, MDS to liek nedaudz augstāk ~30.

Intuitīvi nedaudz jocīgi liekas arī, ka dabūt visur 1 ir vislielākā varbūtība, lai gan tāda programma ir tikai viena.

Par MCA. Vikipēdījā rakstīts, ka to parasti izmanto "contingency table", un šis nav tas gadījums, bet droši vien, ka var izmantot tik un tā. Katrā ziņā pēc pirmā acu uzmetiena nesapratu, kā varētu salīdzināt MDS ar MCA.

Gravatar
kbapollolv (Kaspars Bērziņš) komentēja pirms vairāk kā 5 gadiem

priecājieties! kberzins: vai var iegūt arī datus par to, kuras programmas pašlaik tiek finansētas no budžeta un kādā apmērā? @IZMreformas @cantab3 // cantab3: @kberzins @izmreformas otrdien

Gravatar
passiday (Pāvils Jurjāns) komentēja pirms vairāk kā 5 gadiem

Jā, tās ir labas ziņas, es jau pāris dienas šito kļenčīju :) Tas ir loģisks nākamais solis, konfrontēt reālo finansējumu ar novērtējuma datiem. Kad dati parādīsies, šī opendata projekta datu kopas tiks attiecīgi papildinātas. Tiesa, stipri var gadīties, ka starp finansētajām ir arī programmas, kuras pētījumā nepiedalījās, un kuras ir "nepelnīti" aizmirstas. Pieņemu, ka tagad klusi sēž un ir laimīgi, ka toreiz brīvprātīgi nepiedalījās :)

Gravatar
kbapollolv (Kaspars Bērziņš) komentēja pirms vairāk kā 5 gadiem

R pakā MASS ir MCA modulis. Es ceru, ka tas pats saveidos metodē izmantotos bināros mainīgos un izveidos contingency tables. Šeit ir sakarīgs apraksts: wwwpub.utdallas.edu/~herve/Abdi-MCA2007-pretty.pdf MDS uzskata mainīgos par skaitļiem 1-4. Taču gadījumā ar AIP novērtējumiem tas nav pareizi. MCA izmantos to pašu MDS algoritmu pēc tam, kad būs mainīgos pārvērtis katru četros binārajos mainīgajos.

Varbūtība ir 1-F(x), t.i. dabūt tādu VAI AUGSTĀKU novērtējumu.

Par missing data piekrītu. "Nav vērtējuma", iespējams, ir labāks novērtējums, nekā "1", bet man bija grūti izdarīt citu pieņēmumu. Bet arī MDS ar to "tiek galā" caur kaut kādiem pieņēmumiem. Piemēram, ja distanču aprēķinam tas izmanto Principal Coordinate Analysis (projekcijas uz eigenvektoriem), tad metode neparedz trūkstošos datus. Ko dara attiecīgā R implementācija, ej nu sazini - varbūt izmet tos mainīgos vai sarēķina trūkstošo vērtību pēc vidējām. Iespējams, man trūkstošos mainīgos vajadzēja aizstāt ar nevis ar "1", bet ar to vērtību, kuras varbūtība ir vislielākā. Bet tas dotu priekšrocības nenovērtētām sliktām programmām.

Tavs MDS ir 2 dimensijās, kas dod vairāk informācijas, nekā mans viendimensijas sakārtojums. Kas notiek, kad uzprojicē MDS uz vienas dimensijas?

Gravatar
yndihalda komentēja pirms vairāk kā 5 gadiem

Es palaidu mjca no ca bibliotēkas uz mākslu apakškopas (uz visām kopā R met kļūdu), rezultāts nav pārāk sakarīgs http://i49.tinypic.com/21cf82c.png, Pēc MDS abas audiovizuālās māksas ir gandrīz kopā, šeit tās ir tālu prom. Un kā interpetēt tās īpašvērtības un inerces, vai no tam vispār var reitingu uztaisīt?

MDS neizmanto īpašvektorus, visa pamatā ir distances funkcija (metrika) starp divu programmu vērtejumiem, uz kā tiek rēķināts optimizācijas uzdevums. Laikam varētu problēmu atrisināt, ja būtu kāds ekspertu slēdziens, kāda distances funkcija šeit ir pielietojama, eiklīda vai L1, vai kas advancētāks.

Jūsu saitē ir piemērs ar vīniem, tos kārto pēc īpašībām "vanilla", "woody", "fruity". Šeit MDS ir aplams, jo tādas nevar sakārtot, bet ekspertu vērtējumus var. Ja mums ir 5 programmas A(4444), B(4433), C(3333), D(3322), E(2222), vai kāds apšaubīs sakārtojumu A>B>C>D>E? Tad būtu jāizdomā, kur tajā virknē iederas, piemēram, F(4422), ko varam izdarīt, ja vienojamies par metriku.

Man blogā ir vienas dimensija attēlojums, y ir vienmērīgi sadalīti gadījuma lielumi, lai būtu uzskatāmāk un varētu izveidot reitingu. 2D izskatās šādi http://i45.tinypic.com/2q9w32h.png .

× Lūdzu pieslēdzieties, lai komentētu

Pēdējās aktivitātes

Jaunākie komentāri

Gravatar
passiday (Pāvils Jurjāns) komentēja projektu AIP ekspertu izvērtējums pirms vairāk kā 5 gadiem

Protams, ka zem 0,01% varbūtības ir pāris pieņēmumi, kuru zinātniskai pamatošanai būtu nepieciešami papildus testi. Runāju par iespējamību, ka veicot objektīvu 836 dažādu programmu izvērtējumu,...

Gravatar
yndihalda komentēja projektu AIP ekspertu izvērtējums pirms vairāk kā 5 gadiem

Izskatās, ka Ķīlis Jūsu komentāru norijis kā badīga zivs ēsmu....

Gravatar
yndihalda komentēja projektu AIP ekspertu izvērtējums pirms vairāk kā 5 gadiem

Es palaidu mjca no ca bibliotēkas uz mākslu apakškopas (uz visām kopā R met kļūdu), rezultāts nav pārāk sakarīgs http://i49.tinypic.com/21cf82c.png, Pēc MDS abas audiovizuālās māksas ir gandrīz...

Gravatar
kbapollolv (Kaspars Bērziņš) komentēja projektu AIP ekspertu izvērtējums pirms vairāk kā 5 gadiem

R pakā MASS ir MCA modulis. Es ceru, ka tas pats saveidos metodē izmantotos bināros mainīgos un izveidos contingency tables. Šeit ir sakarīgs apraksts:...

Gravatar
yndihalda komentēja projektu AIP ekspertu izvērtējums pirms vairāk kā 5 gadiem

Jūsu metodei, ja pareizi to saprotu, ir problēma, tā netiek galā ar trūkstošajiem datiem. Proti, tiek piešķirts '1', ja kategorijā nav vērtējuma. Ja būtu kāda programma "Torsionoloģija" ar 32 '4'...