Evaluacija nastavnog plana i programa i fakulteta je kritična za sve institucije visokog obrazovanja, uključujući medicinske fakultete.Studentske evaluacije nastave (SET) obično imaju oblik anonimnih upitnika, i iako su prvobitno razvijeni za evaluaciju kurseva i programa, tokom vremena su takođe korišćeni za merenje efikasnosti nastave i naknadno donošenje važnih odluka vezanih za nastavu.Profesionalni razvoj nastavnika.Međutim, određeni faktori i predrasude mogu uticati na SET rezultate i efikasnost nastave ne može se objektivno mjeriti.Iako je literatura o evaluaciji kurseva i fakulteta u opštem visokom obrazovanju dobro uspostavljena, postoji zabrinutost oko korišćenja istih alata za evaluaciju kurseva i fakulteta u medicinskim programima.Konkretno, SET u opštem visokom obrazovanju ne može se direktno primijeniti na dizajn i implementaciju kurikuluma u medicinskim školama.Ovaj pregled pruža pregled kako se SET može poboljšati na nivou instrumenta, upravljanja i interpretacije.Osim toga, ovaj članak ističe da korištenjem različitih metoda kao što su recenzije kolega, fokus grupe i samoprocjena za prikupljanje i triangulaciju podataka iz više izvora, uključujući učenike, vršnjake, menadžere programa i samosvijest, sveobuhvatan sistem ocjenjivanja može biti izgrađena.Efikasno mjeriti efikasnost nastave, podržati profesionalni razvoj medicinskih edukatora i poboljšati kvalitet nastave u medicinskom obrazovanju.
Evaluacija predmeta i programa je proces interne kontrole kvaliteta u svim visokoškolskim ustanovama, uključujući i medicinske fakultete.Studentska evaluacija nastave (SET) obično ima oblik anonimnog papira ili online upitnika koristeći skalu ocjenjivanja kao što je Likertova skala (obično pet, sedam ili više) koja omogućava ljudima da navedu svoje slaganje ili stepen slaganja.Ne slažem se sa konkretnim tvrdnjama) [1,2,3].Iako su SETovi prvobitno razvijeni za evaluaciju kurseva i programa, vremenom su se koristili i za mjerenje efektivnosti nastave [4, 5, 6].Efikasnost nastave smatra se važnom jer se pretpostavlja da postoji pozitivan odnos između efektivnosti nastave i učenja učenika [7].Iako literatura ne definiše jasno efikasnost obuke, ona se obično precizira kroz specifične karakteristike obuke, kao što su „grupna interakcija“, „priprema i organizacija“, „povratna informacija studentima“ [8].
Informacije dobijene od SET-a mogu pružiti korisne informacije, na primjer da li postoji potreba za prilagođavanjem nastavnih materijala ili nastavnih metoda koje se koriste u određenom predmetu.SET se također koristi za donošenje važnih odluka vezanih za profesionalni razvoj nastavnika [4,5,6].Međutim, prikladnost ovakvog pristupa je upitna kada visokoškolske ustanove donose odluke u vezi sa fakultetom, kao što su napredovanje u više akademske činove (često povezano sa povećanjem radnog staža i plata) i ključnim administrativnim pozicijama unutar institucije [4, 9] .Osim toga, institucije često zahtijevaju od novih fakulteta da uključe SETove iz prethodnih institucija u svoje prijave za nova radna mjesta, čime se utječe ne samo na napredovanje fakulteta unutar institucije, već i na potencijalne nove poslodavce [10].
Iako je literatura o nastavnom planu i programu i evaluaciji nastavnika dobro uspostavljena u oblasti opšteg visokog obrazovanja, to nije slučaj u oblasti medicine i zdravstvene zaštite [11].Nastavni plan i program i potrebe medicinskih edukatora razlikuju se od onih u općem visokom obrazovanju.Na primjer, timsko učenje se često koristi u kursevima integriranog medicinskog obrazovanja.To znači da se nastavni plan i program medicinske škole sastoji od niza kurseva koje predaje određeni broj članova fakulteta koji imaju obuku i iskustvo u različitim medicinskim disciplinama.Iako studenti imaju koristi od dubinskog znanja stručnjaka u ovoj oblasti u okviru ove strukture, oni se često suočavaju sa izazovom prilagođavanja različitim stilovima nastave svakog nastavnika [1, 12, 13, 14].
Iako postoje razlike između općeg visokog obrazovanja i medicinskog obrazovanja, SET koji se koristi u prvom se također ponekad koristi u kursevima medicine i zdravstvene zaštite.Međutim, implementacija SET-a u općem visokom obrazovanju postavlja mnoge izazove u smislu nastavnog plana i programa i evaluacije fakulteta u programima zdravstvenih stručnjaka [11].Konkretno, zbog razlika u nastavnim metodama i kvalifikacijama nastavnika, rezultati evaluacije kursa možda neće uključivati mišljenja učenika svih nastavnika ili odjeljenja.Istraživanje Uytenhaagea i O'Neila (2015) [5] sugerira da traženje od učenika da ocijene sve pojedinačne nastavnike na kraju kursa može biti neprikladno jer je gotovo nemoguće da se učenici sjete i komentarišu više ocjena nastavnika.kategorije.Osim toga, mnogi nastavnici medicinskog obrazovanja su i liječnici za koje je podučavanje samo mali dio njihovih odgovornosti [15, 16].Budući da su prvenstveno uključeni u brigu o pacijentima i, u mnogim slučajevima, istraživanje, često imaju malo vremena da razviju svoje nastavne vještine.Međutim, liječnici kao nastavnici trebaju dobiti vrijeme, podršku i konstruktivne povratne informacije od svojih organizacija [16].
Studenti medicine imaju tendenciju da budu visoko motivisani i vrijedni pojedinci koji se uspješno upišu na medicinski fakultet (kroz konkurentan i zahtjevan proces na međunarodnom nivou).Osim toga, tokom studija medicine od studenata medicine se očekuje da steknu veliku količinu znanja i razviju veliki broj vještina u kratkom vremenskom periodu, kao i da uspiju u složenim internim i sveobuhvatnim nacionalnim procjenama [17,18,19 ,20].Stoga, zbog visokih standarda koji se očekuju od studenata medicine, studenti medicine mogu biti kritičniji i imati veća očekivanja za visokokvalitetnu nastavu od studenata drugih disciplina.Dakle, studenti medicine mogu imati niže ocjene svojih profesora u poređenju sa studentima drugih disciplina iz gore navedenih razloga.Zanimljivo je da su prethodne studije pokazale pozitivan odnos između motivacije učenika i individualnih evaluacija nastavnika [21].Osim toga, u posljednjih 20 godina, većina nastavnih planova i programa medicinskih fakulteta širom svijeta postala je vertikalno integrirana [22], tako da su studenti izloženi kliničkoj praksi od najranijih godina svog programa.Dakle, tokom proteklih nekoliko godina, liječnici su postali sve više uključeni u obrazovanje studenata medicine, podržavajući, čak i na početku svojih programa, važnost razvoja SET-ova prilagođenih specifičnoj populaciji fakulteta [22].
Zbog specifične prirode medicinskog obrazovanja pomenutog gore, SETovi koji se koriste za evaluaciju opštih visokoškolskih kurseva koje predaje jedan član fakulteta trebalo bi da budu prilagođeni za evaluaciju integrisanog nastavnog plana i programa i medicinskih programa kliničkog fakulteta [14].Stoga postoji potreba za razvojem efikasnijih SET modela i sveobuhvatnih sistema procjene za efikasniju primjenu u medicinskom obrazovanju.
Trenutni pregled opisuje nedavni napredak u upotrebi SET-a u (općem) visokom obrazovanju i njegova ograničenja, a zatim ističe različite potrebe SET-a za kurseve medicinskog obrazovanja i fakultete.Ovaj pregled pruža ažurirane informacije o tome kako se SET može poboljšati na instrumentalnom, administrativnom i interpretativnom nivou i fokusira se na ciljeve razvoja efikasnih SET modela i sveobuhvatnih sistema ocjenjivanja koji će efikasno mjeriti efektivnost nastave, podržati razvoj profesionalnih zdravstvenih edukatora i poboljšati kvalitet nastave u medicinskom obrazovanju.
Ova studija prati studiju Green et al.(2006) [23] za savjet i Baumeister (2013) [24] za savjet o pisanju narativnih recenzija.Odlučili smo da napišemo narativnu recenziju o ovoj temi jer ova vrsta pregleda pomaže u predstavljanju šire perspektive na tu temu.Štaviše, budući da se narativni pregledi oslanjaju na metodološki različite studije, oni pomažu u odgovoru na šira pitanja.Osim toga, narativni komentar može pomoći da se potakne razmišljanje i diskusija o nekoj temi.
Kako se SET koristi u medicinskom obrazovanju i koji su izazovi u odnosu na SET koji se koristi u općem visokom obrazovanju,
Pubmed i ERIC baze podataka pretražene su kombinacijom pojmova za pretragu „ocena nastave studenata“, „efikasnost nastave“, „medicinsko obrazovanje“, „visoko obrazovanje“, „procena nastavnog plana i programa i fakulteta“, a za Peer Review 2000, logičkih operatora .članci objavljeni između 2021. i 2021. Kriterijumi za uključivanje: Uključene studije su bile originalne studije ili pregledni članci, a studije su bile relevantne za područja tri glavna istraživačka pitanja.Kriterijumi za isključenje: Studije koje nisu bile na engleskom jeziku ili studije u kojima se članci u punom tekstu nisu mogli pronaći ili nisu bili relevantni za tri glavna istraživačka pitanja isključene su iz tekućeg dokumenta pregleda.Nakon odabira publikacija, one su organizirane u sljedeće teme i povezane podteme: (a) Upotreba SET-a u općem visokom obrazovanju i njegova ograničenja, (b) Upotreba SET-a u medicinskom obrazovanju i njegova relevantnost za rješavanje pitanja vezanih za poređenje SET (c ) Poboljšanje SET-a na instrumentalnom, upravljačkom i interpretativnom nivou radi razvoja efikasnih SET modela.
Slika 1 daje dijagram toka odabranih članaka uključenih i razmatranih u trenutnom dijelu pregleda.
SET se tradicionalno koristi u visokom obrazovanju i ova tema je dobro proučavana u literaturi [10, 21].Međutim, veliki broj studija je ispitao njihova mnoga ograničenja i napore da se ta ograničenja riješe.
Istraživanja pokazuju da postoji mnogo varijabli koje utiču na SET rezultate [10, 21, 25, 26].Stoga je važno da administratori i nastavnici razumiju ove varijable kada tumače i koriste podatke.Sljedeći odjeljak daje kratak pregled ovih varijabli.Slika 2 prikazuje neke od faktora koji utiču na SET rezultate, a koji su detaljno opisani u sljedećim odjeljcima.
Posljednjih godina, upotreba internetskih kompleta se povećala u odnosu na papirne komplete.Međutim, dokazi u literaturi sugeriraju da se online SET može završiti bez da učenici posvete potrebnu pažnju procesu završetka.U zanimljivoj studiji Uitdehaagea i O'Neilla [5], nepostojeći nastavnici su dodani u SET i mnogi učenici su dali povratne informacije [5].Štaviše, dokazi u literaturi upućuju na to da studenti često vjeruju da završetak SET-a ne vodi do poboljšanja obrazovnog postignuća, što, u kombinaciji sa zauzetim rasporedom studenata medicine, može rezultirati nižim stopama odgovora [27].Iako istraživanja pokazuju da se mišljenja učenika koji polažu test ne razlikuju od mišljenja cijele grupe, niske stope odgovora ipak mogu navesti nastavnike da manje ozbiljno shvate rezultate [28].
Većina online SETova se završava anonimno.Ideja je omogućiti učenicima da slobodno izraze svoje mišljenje bez pretpostavke da će njihovo izražavanje imati bilo kakav uticaj na njihove buduće odnose sa nastavnicima.U studiji Alfonsa et al. [29], istraživači su koristili anonimne ocjene i ocjene u kojima su ocjenjivači morali dati svoja imena (javne ocjene) kako bi procijenili efektivnost nastave na fakultetu medicinskih fakulteta od strane štićenika i studenata medicine.Rezultati su pokazali da su nastavnici generalno niže ocjene na anonimnim ocjenama.Autori tvrde da su učenici iskreniji u anonimnim ocjenjivanjima zbog određenih barijera u otvorenim ocjenjivanjima, kao što su narušeni radni odnosi sa nastavnicima koji učestvuju [29].Međutim, također treba napomenuti da anonimnost koja se često povezuje s online SET-om može dovesti do toga da neki učenici budu nepoštovani i odmazde prema instruktoru ako rezultati procjene ne ispunjavaju očekivanja učenika [30].Međutim, istraživanja pokazuju da studenti rijetko daju povratnu informaciju bez poštovanja, a ovo drugo može biti dodatno ograničeno podučavanjem učenika da daju konstruktivne povratne informacije [30].
Nekoliko studija je pokazalo da postoji korelacija između SET rezultata učenika, njihovih očekivanja izvođenja testa i njihovog zadovoljstva testom [10, 21].Na primjer, Strobe (2020) [9] je izvijestio da učenici nagrađuju lake predmete, a nastavnici nagrađuju slabe ocjene, što može podstaći lošu nastavu i dovesti do inflacije ocjena [9].U nedavnoj studiji, Looi et al.(2020) [31] Istraživači su izvijestili da su povoljniji SETovi povezani i lakše ih je procijeniti.Štaviše, postoje uznemirujući dokazi da je SET obrnuto povezan sa učinkom učenika na narednim predmetima: što je ocjena veća, to je lošiji učinak učenika u narednim predmetima.Cornell et al.(2016)[32] sproveo je istraživanje kako bi ispitao da li su studenti relativno više naučili od nastavnika čiji su SET visoko ocijenili.Rezultati pokazuju da kada se učenje ocjenjuje na kraju kursa, nastavnici sa najvišim ocjenama također doprinose učenju većine učenika.Međutim, kada se učenje mjeri učinkom u narednim relevantnim kursevima, nastavnici koji imaju relativno niske ocjene su najefikasniji.Istraživači su pretpostavili da bi povećanje izazova na kursu na produktivan način moglo smanjiti ocjene, ali poboljšati učenje.Dakle, ocjenjivanje učenika ne bi trebalo biti jedini osnov za evaluaciju nastave, već bi trebalo biti priznato.
Nekoliko studija pokazuje da na performanse SET-a utiču sam kurs i njegova organizacija.Ming i Baozhi [33] su u svojoj studiji otkrili da postoje značajne razlike u SET rezultatima među učenicima iz različitih predmeta.Na primjer, kliničke nauke imaju više SET rezultate od osnovnih nauka.Autori su objasnili da je to zato što su studenti medicine zainteresovani da postanu doktori i stoga imaju lični interes i veću motivaciju da više učestvuju u kursevima kliničkih nauka u odnosu na kurseve osnovnih nauka [33].Kao iu slučaju izbornih predmeta, motivacija učenika za predmet također ima pozitivan učinak na rezultate [21].Nekoliko drugih studija takođe podržava da tip kursa može uticati na SET rezultate [10, 21].
Štaviše, druge studije su pokazale da što je manja veličina razreda, to su nastavnici viši nivo SET-a [10, 33].Jedno od mogućih objašnjenja je da manji broj razreda povećava mogućnosti za interakciju nastavnik-učenik.Osim toga, uslovi u kojima se vrši procjena mogu uticati na rezultate.Na primjer, čini se da na rezultate SET-a utiču vrijeme i dan kada se kurs predaje, kao i dan u sedmici kada je SET završen (npr. provjere završene vikendom obično rezultiraju pozitivnijim ocjenama) nego završene procjene ranije tokom sedmice.[10].
Zanimljiva studija Hesslera i ostalih također dovodi u pitanje efikasnost SET-a.[34].U ovoj studiji, randomizirano kontrolirano ispitivanje provedeno je na kursu hitne medicine.Studenti treće godine medicine su nasumično raspoređeni u kontrolnu grupu ili grupu koja je dobila besplatne kolačiće sa komadićima čokolade (cookie group).Sve grupe su podučavali isti nastavnici, a sadržaj obuke i materijali kursa bili su identični za obje grupe.Nakon kursa, svi studenti su zamoljeni da popune set.Rezultati su pokazali da je grupa kolačića ocijenila nastavnike značajno bolje od kontrolne grupe, dovodeći u pitanje efikasnost SET-a [34].
Dokazi u literaturi takođe podržavaju da pol može uticati na SET rezultate [35,36,37,38,39,40,41,42,43,44,45,46].Na primjer, neke studije su pokazale vezu između pola učenika i rezultata ocjenjivanja: učenice su imale više bodova od učenika [27].Većina dokaza potvrđuje da studenti niže ocjenjuju učiteljice od nastavnika [37, 38, 39, 40].Na primjer, Boring et al.[38] pokazalo je da i studenti i studenti vjeruju da su muškarci bolje obrazovani i da imaju jače liderske sposobnosti od žena.Činjenica da rod i stereotipi utiču na SET potkrepljuje i studija MacNell et al.[41], koji je izvijestio da su studenti u njegovoj studiji ocijenili učiteljice niže od nastavnika u različitim aspektima nastave [41].Štaviše, Morgan i saradnici [42] pružili su dokaze da su liječnice dobile niže ocjene u nastavi u četiri glavne kliničke rotacije (hirurgija, pedijatrija, akušerstvo i ginekologija i interna medicina) u poređenju sa muškim ljekarima.
U studiji Murray et al. (2020) [43], istraživači su izvijestili da su privlačnost fakulteta i interesovanje studenata za predmet povezani s višim SET rezultatima.Suprotno tome, težina kursa je povezana sa nižim SET rezultatima.Osim toga, studenti su dali više SET bodove mladim bijelcima, nastavnicima humanističkih nauka i fakultetima koji su bili redovni profesori.Nije bilo korelacije između SET evaluacije nastave i rezultata ankete nastavnika.Druge studije takođe potvrđuju pozitivan uticaj fizičke privlačnosti nastavnika na rezultate ocjenjivanja [44].
Clayson et al.(2017) [45] izvijestili su da iako postoji opšta saglasnost da SET daje pouzdane rezultate i da su prosjeci razreda i nastavnika konzistentni, nedosljednosti i dalje postoje u pojedinačnim odgovorima učenika.Ukratko, rezultati ovog izvještaja o procjeni pokazuju da se učenici nisu složili sa onim što je od njih zatraženo da ocijene.Mjere pouzdanosti izvedene iz studentskih evaluacija nastave nisu dovoljne da obezbijede osnovu za utvrđivanje valjanosti.Stoga, SET ponekad može pružiti informacije o učenicima, a ne o nastavnicima.
SET zdravstvenog obrazovanja se razlikuje od tradicionalnog SET-a, ali nastavnici često koriste SET koji je dostupan u općem visokom obrazovanju, a ne SET specifičan za programe zdravstvenih profesija o kojima se govori u literaturi.Međutim, studije sprovedene tokom godina ukazale su na nekoliko problema.
Jones et al (1994).[46] je sproveo studiju kako bi utvrdio pitanje kako evaluirati fakultet medicinskih fakulteta iz perspektive fakulteta i administratora.Sve u svemu, najčešće spominjana pitanja vezana su za evaluaciju nastave.Najčešće su bile opšte pritužbe na neadekvatnost trenutnih metoda procene učinka, a ispitanici su se žalili i na SET i nedostatak priznavanja nastave u sistemima akademskog nagrađivanja.Ostali prijavljeni problemi uključuju nedosljedne procedure evaluacije i kriterije napredovanja u svim odjeljenjima, nedostatak redovnih evaluacija i neuspjeh povezivanja rezultata evaluacije sa platama.
Royal et al (2018) [11] navode neka od ograničenja upotrebe SET-a za evaluaciju nastavnog plana i programa i fakulteta u zdravstvenim stručnim programima u općem visokom obrazovanju.Istraživači navode da se SET u visokom obrazovanju suočava sa različitim izazovima jer se ne može direktno primijeniti na dizajn kurikuluma i predavanja na medicinskim fakultetima.Često postavljana pitanja, uključujući pitanja o instruktoru i kursu, često se kombinuju u jedan upitnik, tako da studenti često imaju problema da ih razlikuju.Osim toga, kurseve medicinskih programa često predaje više članova fakulteta.Ovo postavlja pitanja valjanosti s obzirom na potencijalno ograničen broj interakcija između učenika i nastavnika koji su ocijenili Royal et al.(2018)[11].U studiji Hwang et al.(2017) [14], istraživači su ispitali koncept kako retrospektivne evaluacije kurseva sveobuhvatno odražavaju percepciju studenata o različitim kursevima instruktora.Njihovi rezultati sugeriraju da je individualno ocjenjivanje nastave neophodno za upravljanje višeodjeljenim kursevima u okviru integrisanog nastavnog plana i programa medicinske škole.
Uitdehaage i O'Neill (2015) [5] ispitali su u kojoj mjeri su studenti medicine namjerno polagali SET na kursu u više fakulteta.Svaki od dva pretklinička kursa imao je fiktivnog instruktora.Studenti moraju dati anonimne ocjene svim instruktorima (uključujući fiktivne instruktore) u roku od dvije sedmice od završetka kursa, ali mogu odbiti da ocijene instruktora.Sljedeće godine to se ponovilo, ali je uvršten i portret izmišljenog predavača.Šezdeset i šest posto učenika je ocijenilo virtuelnog instruktora bez sličnosti, ali je manje učenika (49%) ocijenilo virtuelnog instruktora sa prisutnom sličnošću.Ovi nalazi sugeriraju da mnogi studenti medicine slijepo završavaju SETove, čak i kada su popraćeni fotografijama, bez pažljivog razmatranja koga procjenjuju, a kamoli učinka instruktora.Ovo ometa poboljšanje kvaliteta programa i može biti štetno za akademski napredak nastavnika.Istraživači predlažu okvir koji nudi radikalno drugačiji pristup SET-u koji aktivno i aktivno uključuje studente.
Postoje mnoge druge razlike u obrazovnom planu i programu medicinskih programa u odnosu na druge opšte programe visokog obrazovanja [11].Medicinsko obrazovanje, kao i profesionalno zdravstveno obrazovanje, jasno je usmjereno na razvoj jasno definiranih profesionalnih uloga (klinička praksa).Kao rezultat toga, nastavni planovi i programi medicinskih i zdravstvenih programa postaju statičniji, s ograničenim izborom predmeta i fakulteta.Zanimljivo je da se kursevi medicinskog obrazovanja često nude u kohortnom formatu, pri čemu svi studenti pohađaju isti kurs u isto vrijeme svakog semestra.Stoga, upis velikog broja učenika (obično n = 100 ili više) može uticati na format nastave kao i na odnos nastavnik-učenik.Štaviše, u mnogim medicinskim školama, psihometrijska svojstva većine instrumenata se ne procjenjuju pri početnoj upotrebi, a svojstva većine instrumenata mogu ostati nepoznata [11].
Nekoliko studija u proteklih nekoliko godina pružilo je dokaze da se SET može poboljšati rješavanjem nekih važnih faktora koji mogu uticati na efikasnost SET-a na instrumentalnom, administrativnom i interpretativnom nivou.Slika 3 pokazuje neke od koraka koji se mogu koristiti za kreiranje efektivnog SET modela.Sljedeći odjeljci pružaju detaljniji opis.
Poboljšajte SET na instrumentalnom, menadžerskom i interpretativnom nivou kako biste razvili učinkovite SET modele.
Kao što je ranije pomenuto, literatura potvrđuje da rodna pristrasnost može uticati na evaluaciju nastavnika [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Peterson et al.(2019) [40] proveli su studiju koja je ispitivala da li je rod učenika utjecao na odgovore učenika na napore za ublažavanje pristrasnosti.U ovoj studiji, SET je primijenjen u četiri razreda (dva su predavali učitelji i dva učiteljice).Unutar svakog kursa, studenti su nasumično raspoređeni da dobiju standardni alat za ocjenjivanje ili isti alat, ali koristeći jezik dizajniran da smanji rodnu pristrasnost.Studija je otkrila da su studenti koji su koristili alate za procjenu protiv pristrasnosti dali učiteljicama značajno više SET bodove od učenika koji su koristili standardne alate za ocjenjivanje.Štaviše, nije bilo razlika u ocenama nastavnika muškaraca između ove dve grupe.Rezultati ove studije su značajni i pokazuju kako relativno jednostavna jezička intervencija može smanjiti rodnu pristrasnost u evaluaciji nastave učenika.Stoga je dobra praksa pažljivo razmotriti sve SETove i koristiti jezik za smanjenje rodnih predrasuda u njihovom razvoju [40].
Da biste dobili korisne rezultate iz bilo kojeg SET-a, važno je unaprijed pažljivo razmotriti svrhu procjene i formulaciju pitanja.Iako većina SET istraživanja jasno ukazuje na odjeljak o organizacijskim aspektima kursa, tj. „Evaluacija kursa“, i odjeljak o fakultetu, tj. „Evaluacija nastavnika“, u nekim anketama razlika možda nije očigledna ili može doći do zabune među studentima o tome kako procijeniti svaku od ovih oblasti pojedinačno.Stoga, dizajn upitnika mora biti odgovarajući, razjasniti dva različita dijela upitnika i učiniti učenike svjesnim onoga što bi trebalo ocijeniti u svakoj oblasti.Osim toga, preporučuje se pilot testiranje kako bi se utvrdilo da li učenici tumače pitanja na željeni način [24].U studiji Oermanna i sar.(2018) [26], istraživači su pretraživali i sintetizirali literaturu koja opisuje upotrebu SET-a u širokom spektru disciplina u dodiplomskom i postdiplomskom obrazovanju kako bi nastavnicima pružili smjernice o korištenju SET-a u programima medicinskih sestara i drugih zdravstvenih stručnjaka.Rezultati sugeriraju da SET instrumente treba procijeniti prije upotrebe, uključujući pilot testiranje instrumenata sa učenicima koji možda neće moći protumačiti stavke SET instrumenta ili pitanja kako je instruktor namjeravao.
Nekoliko studija je ispitalo da li model upravljanja SET utiče na angažman učenika.
Daumier et al.(2004) [47] uporedili su ocjene studenata obuke instruktora završene u nastavi sa ocjenama prikupljenim na internetu upoređujući broj odgovora i ocjena.Istraživanja pokazuju da online ankete obično imaju niže stope odgovora od anketa u nastavi.Međutim, studija je otkrila da online ocjenjivanje nije dalo značajno različite prosječne ocjene od tradicionalnih ocjenjivanja u učionici.
Prijavljen je nedostatak dvosmjerne komunikacije između učenika i nastavnika tokom završetka online (ali često štampanih) SETova, što je rezultiralo nedostatkom mogućnosti za pojašnjenje.Stoga značenje SET pitanja, komentara ili evaluacija učenika možda nije uvijek jasno [48].Neke institucije su se pozabavile ovim problemom okupljanjem učenika na sat vremena i dodjeljivanjem određenog vremena da završe SET online (anonimno) [49].U svojoj studiji, Malone et al.(2018) [49] održao je nekoliko sastanaka kako bi sa studentima razgovarali o svrsi SET-a, ko će vidjeti rezultate SET-a i kako će se rezultati koristiti, te o svim drugim pitanjima koja su pokrenuli studenti.SET se provodi slično kao fokus grupa: kolektivna grupa odgovara na otvorena pitanja kroz neformalno glasanje, debatu i pojašnjenje.Stopa odgovora bila je preko 70-80%, što je nastavnicima, administratorima i odborima za nastavni plan i program pružalo opsežne informacije [49].
Kao što je gore spomenuto, u studiji Uitdehaagea i O'Neila [5], istraživači su izvijestili da su studenti u njihovoj studiji ocijenili nepostojeće nastavnike.Kao što je ranije spomenuto, ovo je uobičajen problem na kursevima medicinskih fakulteta, gdje svaki predmet može predavati mnogo članova fakulteta, ali se studenti možda neće sjetiti ko je doprinio svakom predmetu ili šta je svaki član fakulteta radio.Neke institucije su se pozabavile ovim problemom dajući fotografiju svakog predavača, njegovo/njeno ime i predstavljenu temu/datum kako bi osvježili sjećanja studenata i izbjegli probleme koji ugrožavaju efikasnost SET-a [49].
Možda je najvažniji problem povezan sa SET-om taj što nastavnici nisu u stanju da pravilno interpretiraju kvantitativne i kvalitativne rezultate SET-a.Neki nastavnici možda žele da naprave statistička poređenja po godinama, neki mogu posmatrati manja povećanja/smanjenja srednjih rezultata kao značajne promene, neki žele da veruju svakoj anketi, a drugi su potpuno skeptični prema bilo kojoj anketi [45,50, 51].
Neispravno tumačenje rezultata ili obrada povratnih informacija učenika može uticati na stavove nastavnika prema nastavi.Rezultati Lutovca i sar.(2017) [52] Podrška obuka nastavnika je neophodna i korisna za pružanje povratnih informacija učenicima.Medicinskom obrazovanju hitno je potrebna obuka za pravilno tumačenje rezultata SET.Prema tome, fakultet medicinskih fakulteta treba da prođe obuku o tome kako evaluirati ishode i važne oblasti na koje treba da se fokusiraju [50, 51].
Stoga, opisani rezultati sugeriraju da SET-ove treba pažljivo osmisliti, administrirati i tumačiti kako bi se osiguralo da rezultati SET-a imaju značajan utjecaj na sve relevantne dionike, uključujući nastavnike, administratore medicinskih škola i studente.
Zbog nekih ograničenja SET-a, trebalo bi da nastavimo da težimo stvaranju sveobuhvatnog sistema evaluacije kako bismo smanjili pristrasnost u efikasnosti nastave i podržali profesionalni razvoj medicinskih edukatora.
Potpunije razumijevanje kvaliteta nastave kliničkog fakulteta može se steći prikupljanjem i triangulacijom podataka iz više izvora, uključujući studente, kolege, administratore programa i samoprocjene fakulteta [53, 54, 55, 56, 57].Sljedeći odjeljci opisuju moguće druge alate/metode koji se mogu koristiti kao dodatak efektivnom SET-u kako bi se razvilo primjerenije i potpunije razumijevanje efektivnosti obuke (Slika 4).
Metode koje se mogu koristiti za razvoj sveobuhvatnog modela sistema za procjenu efikasnosti nastave na medicinskom fakultetu.
Fokus grupa se definiše kao „grupna diskusija organizovana radi istraživanja određenog skupa pitanja“ [58].U posljednjih nekoliko godina, medicinski fakulteti su kreirali fokus grupe kako bi dobili kvalitetne povratne informacije od učenika i riješili neke od zamki online SET-a.Ove studije pokazuju da su fokus grupe efikasne u pružanju kvalitetnih povratnih informacija i povećanju zadovoljstva učenika [59, 60, 61].
U studiji Brundle et al.[59] Istraživači su implementirali grupni proces evaluacije studenata koji je omogućio direktorima kurseva i studentima da razgovaraju o predmetima u fokus grupama.Rezultati pokazuju da diskusije u fokus grupama dopunjuju online ocjenjivanje i povećavaju zadovoljstvo studenata cjelokupnim procesom ocjenjivanja predmeta.Studenti cijene priliku da direktno komuniciraju sa direktorima kurseva i vjeruju da ovaj proces može doprinijeti poboljšanju obrazovanja.Takođe su smatrali da su u stanju da razumeju gledište direktora kursa.Pored studenata, i direktori kurseva su ocijenili da fokus grupe omogućavaju efikasniju komunikaciju sa studentima [59].Stoga, korištenje fokus grupa može medicinskim školama pružiti potpunije razumijevanje kvaliteta svakog predmeta i efektivnosti nastave dotičnog fakulteta.Međutim, treba napomenuti da i same fokus grupe imaju neka ograničenja, kao što je mali broj učenika koji u njima učestvuju u odnosu na online SET program koji je dostupan svim studentima.Osim toga, vođenje fokus grupa za različite kurseve može biti dugotrajan proces za savjetnike i studente.Ovo predstavlja značajna ograničenja, posebno za studente medicine koji imaju veoma zauzet raspored i mogu poduzeti kliničke prakse na različitim geografskim lokacijama.Osim toga, fokus grupe zahtijevaju veliki broj iskusnih fasilitatora.Međutim, uključivanje fokus grupa u proces evaluacije može pružiti detaljnije i konkretnije informacije o djelotvornosti obuke [48, 59, 60, 61].
Schiekierka-Schwacke et al.(2018) [62] ispitali su percepciju studenata i fakulteta o novom alatu za procjenu učinka fakulteta i ishoda učenja učenika u dva njemačka medicinska fakulteta.Vodene su fokus grupe i individualni intervjui sa studentima fakulteta i medicine.Nastavnici su cijenili lične povratne informacije koje je pružio alat za ocjenjivanje, a učenici su izvijestili da bi trebalo stvoriti povratnu petlju, uključujući ciljeve i posljedice, kako bi se podstaklo izvještavanje o podacima o ocjenjivanju.Dakle, rezultati ovog istraživanja potvrđuju važnost zatvaranja kruga komunikacije sa studentima i njihovog informiranja o rezultatima ocjenjivanja.
Programi Peer Review of Teaching (PRT) su veoma važni i provode se u visokom obrazovanju dugi niz godina.PRT uključuje proces saradnje posmatranja nastave i pružanja povratnih informacija posmatraču kako bi se poboljšala efikasnost nastave [63].Osim toga, vježbe samorefleksije, strukturirane naknadne diskusije i sistematski raspored obučenih kolega mogu pomoći u poboljšanju djelotvornosti PRT-a i nastavne kulture odjela [64].Izvještava se da ovi programi imaju mnoge prednosti jer mogu pomoći nastavnicima da dobiju konstruktivne povratne informacije od vršnjačkih nastavnika koji su se možda suočili sa sličnim poteškoćama u prošlosti i mogu pružiti veću podršku pružanjem korisnih prijedloga za poboljšanje [63].Štaviše, kada se koristi konstruktivno, peer review može poboljšati sadržaj kursa i metode izvođenja, te podržati medicinske edukatore u poboljšanju kvaliteta njihove nastave [65, 66].
Nedavna studija Campbell et al.(2019) [67] pružaju dokaze da je model vršnjačke podrške na radnom mjestu prihvatljiva i učinkovita strategija razvoja nastavnika za kliničke zdravstvene edukatore.U drugoj studiji, Caygill et al.[68] proveli su studiju u kojoj je specijalno dizajniran upitnik poslan zdravstvenim edukatorima na Univerzitetu u Melburnu kako bi im se omogućilo da podijele svoja iskustva korištenja PRT-a.Rezultati pokazuju da postoji povećan interes za PRT među medicinskim edukatorima i da se format dobrovoljne i informativne recenzije smatra važnom i vrijednom prilikom za profesionalni razvoj.
Vrijedi napomenuti da PRT programi moraju biti pažljivo osmišljeni kako bi se izbjeglo stvaranje osuđujućeg, „menadžerskog“ okruženja koje često dovodi do povećane anksioznosti među promatranim nastavnicima [69].Stoga bi cilj trebao biti pažljivo razvijanje PRT planova koji će dopuniti i olakšati stvaranje sigurnog okruženja i pružiti konstruktivne povratne informacije.Stoga je potrebna posebna obuka za obuku recenzenata, a PRT programi bi trebali uključivati samo istinski zainteresirane i iskusne nastavnike.Ovo je posebno važno ako se informacije dobijene od PRT-a koriste u odlukama fakulteta kao što su unapređenja na više nivoe, povećanja plata i unapređenja na važne administrativne pozicije.Treba napomenuti da je PRT dugotrajan i, kao i fokus grupe, zahtijeva učešće velikog broja iskusnih članova fakulteta, što otežava implementaciju ovog pristupa u medicinskim školama sa niskim resursima.
Newman et al.(2019) [70] opisuju strategije korištene prije, tokom i nakon treninga, zapažanja koja ističu najbolje prakse i identifikuju rješenja za probleme učenja.Istraživači su dali 12 prijedloga recenzentima, uključujući: (1) mudro birajte riječi;(2) dozvoliti posmatraču da odredi pravac diskusije;(3) držati povratne informacije povjerljivim i formatiranim;(4) držati povratne informacije povjerljivim i formatiranim;Povratne informacije se fokusiraju na nastavne vještine, a ne na individualnog nastavnika;(5) Upoznajte svoje kolege (6) Budite pažljivi prema sebi i drugima (7) Zapamtite da zamjenice igraju važnu ulogu u davanju povratnih informacija, (8) Koristite pitanja da bacite svjetlo na perspektivu nastave, (10) Uspostavite povjerenje u procese i povratne informacije u vršnjačkim zapažanjima, (11) učiniti posmatranje učenja dobitnim, (12) kreirati akcioni plan.Istraživači takođe istražuju uticaj pristrasnosti na zapažanja i kako proces učenja, posmatranja i diskusije o povratnim informacijama može pružiti vrijedna iskustva učenja za obje strane, što dovodi do dugoročnih partnerstava i poboljšanog kvaliteta obrazovanja.Gomaly et al.(2014) [71] navode da kvalitet efektivne povratne informacije treba da uključuje (1) pojašnjenje zadatka davanjem uputstava, (2) povećanu motivaciju za podsticanje većeg napora i (3) percepciju primaoca o tome kao o vrijednom procesu.obezbedio renomirani izvor.
Iako fakulteti medicinskih fakulteta dobijaju povratne informacije o PRT-u, važno je obučiti nastavnike kako da tumače povratne informacije (slično preporuci za obuku u SET tumačenju) i omogućiti fakultetu dovoljno vremena da konstruktivno promišlja o primljenim povratnim informacijama.
Vrijeme objave: 24.11.2023