Evaluacija nastavnog plana i programa i nastavnog osoblja je ključna za sve visokoškolske ustanove, uključujući i medicinske fakultete. Studentske evaluacije nastave (SET) obično imaju oblik anonimnih upitnika i, iako su prvobitno razvijene za evaluaciju kurseva i programa, vremenom su se koristile i za mjerenje efikasnosti nastave i potom donošenje važnih odluka vezanih za nastavu. Profesionalni razvoj nastavnika. Međutim, određeni faktori i pristrasnosti mogu uticati na SET rezultate, a efikasnost nastave se ne može objektivno mjeriti. Iako je literatura o evaluaciji kurseva i nastavnog osoblja u općem visokom obrazovanju dobro utvrđena, postoji zabrinutost zbog korištenja istih alata za evaluaciju kurseva i nastavnog osoblja u medicinskim programima. Konkretno, SET u općem visokom obrazovanju ne može se direktno primijeniti na dizajn i implementaciju nastavnog plana i programa na medicinskim fakultetima. Ovaj pregled pruža pregled kako se SET može poboljšati na nivou instrumenata, upravljanja i interpretacije. Osim toga, ovaj članak ističe da se korištenjem različitih metoda kao što su recenzija od strane kolega, fokus grupe i samoprocjena za prikupljanje i triangulaciju podataka iz više izvora, uključujući studente, kolege, menadžere programa i samosvijest, može konstruisati sveobuhvatan sistem procjene. Efikasno mjeriti efikasnost nastave, podržavati profesionalni razvoj medicinskih edukatora i poboljšavati kvalitet nastave u medicinskom obrazovanju.
Evaluacija kurseva i programa je interni proces kontrole kvaliteta u svim visokoškolskim ustanovama, uključujući i medicinske fakultete. Studentska evaluacija nastave (SET) obično ima oblik anonimnog rada ili online upitnika korištenjem skale ocjenjivanja kao što je Likertova skala (obično pet, sedam ili više) koja omogućava ljudima da naznače svoje slaganje ili stepen slaganja. Ne slažem se sa određenim tvrdnjama) [1,2,3]. Iako su SET-ovi prvobitno razvijeni za evaluaciju kurseva i programa, vremenom su se koristili i za mjerenje efikasnosti nastave [4, 5, 6]. Efikasnost nastave se smatra važnom jer se pretpostavlja da postoji pozitivan odnos između efikasnosti nastave i učenja studenata [7]. Iako literatura ne definiše jasno efikasnost obuke, ona se obično specificira kroz specifične karakteristike obuke, kao što su „grupna interakcija“, „priprema i organizacija“, „povratne informacije studentima“ [8].
Informacije dobijene iz SET-a mogu pružiti korisne informacije, kao što je da li postoji potreba za prilagođavanjem nastavnih materijala ili metoda podučavanja koje se koriste u određenom kursu. SET se također koristi za donošenje važnih odluka vezanih za profesionalni razvoj nastavnika [4,5,6]. Međutim, prikladnost ovog pristupa je upitna kada visokoškolske ustanove donose odluke u vezi sa nastavnim osobljem, kao što je unapređenje u viša akademska zvanja (često povezano sa povećanjem senioriteta i plata) i ključne administrativne pozicije unutar institucije [4, 9]. Osim toga, institucije često zahtijevaju od novih nastavnika da u svoje prijave za nove pozicije uključe SET-ove iz prethodnih institucija, čime utiču ne samo na unapređenje nastavnika unutar institucije, već i na potencijalne nove poslodavce [10].
Iako je literatura o nastavnom planu i programu i evaluaciji nastavnika dobro utemeljena u oblasti općeg visokog obrazovanja, to nije slučaj u oblasti medicine i zdravstvene zaštite [11]. Nastavni plan i program i potrebe medicinskih edukatora razlikuju se od onih u općem visokom obrazovanju. Na primjer, timsko učenje se često koristi u integriranim kursevima medicinskog obrazovanja. To znači da se nastavni plan i program medicinskog fakulteta sastoji od niza kurseva koje predaje određeni broj članova fakulteta koji imaju obuku i iskustvo u različitim medicinskim disciplinama. Iako studenti imaju koristi od dubinskog znanja stručnjaka u toj oblasti u okviru ove strukture, često se suočavaju s izazovom prilagođavanja različitim stilovima podučavanja svakog nastavnika [1, 12, 13, 14].
Iako postoje razlike između općeg visokog obrazovanja i medicinskog obrazovanja, SET koji se koristi u prvom se ponekad koristi i u kursevima medicine i zdravstvene njege. Međutim, primjena SET-a u općem visokom obrazovanju predstavlja mnoge izazove u smislu nastavnog plana i programa i evaluacije fakulteta u programima zdravstvenih stručnjaka [11]. Posebno, zbog razlika u metodama podučavanja i kvalifikacijama nastavnika, rezultati evaluacije kursa možda ne uključuju mišljenja studenata o svim nastavnicima ili predmetima. Istraživanje Uytenhaagea i O'Neilla (2015) [5] sugerira da bi traženje od studenata da ocjenjuju sve pojedinačne nastavnike na kraju kursa moglo biti neprikladno jer je studentima gotovo nemoguće da se sjete i komentiraju više kategorija ocjena nastavnika. Osim toga, mnogi nastavnici medicinskog obrazovanja su ujedno i ljekari za koje je podučavanje samo mali dio njihovih odgovornosti [15, 16]. Budući da su prvenstveno uključeni u njegu pacijenata i, u mnogim slučajevima, istraživanje, često imaju malo vremena za razvoj svojih nastavničkih vještina. Međutim, ljekari kao nastavnici trebaju dobiti vrijeme, podršku i konstruktivne povratne informacije od svojih organizacija [16].
Studenti medicine su obično visoko motivisane i vrijedne osobe koje uspješno dobiju upis na medicinski fakultet (kroz konkurentan i zahtjevan proces na međunarodnom nivou). Osim toga, tokom studija medicine, od studenata medicine se očekuje da steknu veliku količinu znanja i razviju veliki broj vještina u kratkom vremenskom periodu, kao i da uspiju u složenim internim i sveobuhvatnim nacionalnim procjenama [17,18,19,20]. Stoga, zbog visokih standarda koji se očekuju od studenata medicine, studenti medicine mogu biti kritičniji i imati veća očekivanja za visokokvalitetnu nastavu od studenata u drugim disciplinama. Stoga, studenti medicine mogu imati niže ocjene od svojih profesora u poređenju sa studentima u drugim disciplinama iz gore navedenih razloga. Zanimljivo je da su prethodne studije pokazale pozitivnu vezu između motivacije studenata i individualnih evaluacija nastavnika [21]. Osim toga, u posljednjih 20 godina, većina nastavnih planova i programa medicinskih fakulteta širom svijeta postala je vertikalno integrirana [22], tako da su studenti izloženi kliničkoj praksi od najranijih godina svog programa. Stoga su se ljekari u proteklih nekoliko godina sve više uključivali u obrazovanje studenata medicine, podržavajući, čak i u ranoj fazi svojih programa, važnost razvoja nastavnih planova i programa prilagođenih specifičnim populacijama fakulteta [22].
Zbog specifične prirode medicinskog obrazovanja spomenute gore, SET modeli koji se koriste za evaluaciju općih visokoškolskih predmeta koje predaje jedan član fakulteta trebali bi se prilagoditi za evaluaciju integriranog nastavnog plana i programa kliničkog fakulteta medicinskih programa [14]. Stoga postoji potreba za razvojem efikasnijih SET modela i sveobuhvatnih sistema procjene za efikasniju primjenu u medicinskom obrazovanju.
Ovaj pregled opisuje nedavni napredak u korištenju SET-a u (općem) visokom obrazovanju i njegova ograničenja, a zatim naglašava različite potrebe SET-a za kurseve i nastavno osoblje medicinskog obrazovanja. Ovaj pregled pruža ažurirane informacije o tome kako se SET može poboljšati na instrumentalnom, administrativnom i interpretativnom nivou, te se fokusira na ciljeve razvoja efikasnih SET modela i sveobuhvatnih sistema procjene koji će efikasno mjeriti učinkovitost nastave, podržati razvoj profesionalnih zdravstvenih edukatora i poboljšati kvalitet nastave u medicinskom obrazovanju.
Ova studija slijedi studiju Greena i saradnika (2006) [23] za savjet i Baumeistera (2013) [24] za savjet o pisanju narativnih recenzija. Odlučili smo napisati narativni pregled na ovu temu jer ova vrsta pregleda pomaže u predstavljanju široke perspektive o temi. Štaviše, budući da se narativni pregledi oslanjaju na metodološki raznolike studije, oni pomažu u odgovoru na šira pitanja. Osim toga, narativni komentar može pomoći u poticanju razmišljanja i diskusije o nekoj temi.
Kako se SET koristi u medicinskom obrazovanju i koji su izazovi u poređenju sa SET-om koji se koristi u općem visokom obrazovanju,
Baze podataka Pubmed i ERIC pretražene su kombinacijom pojmova za pretraživanje „evaluacija studentske nastave“, „efikasnost nastave“, „medicinsko obrazovanje“, „visoko obrazovanje“, „evaluacija nastavnog plana i programa i nastavnog osoblja“, a za Peer Review 2000, logički operatori. Članci objavljeni između 2021. i 2021. godine. Kriteriji uključivanja: Uključene studije bile su originalne studije ili pregledni članci, a studije su bile relevantne za područja tri glavna istraživačka pitanja. Kriteriji isključenja: Studije koje nisu bile na engleskom jeziku ili studije u kojima se članci u punom tekstu nisu mogli pronaći ili nisu bili relevantni za tri glavna istraživačka pitanja isključene su iz trenutnog preglednog dokumenta. Nakon odabira publikacija, organizirane su u sljedeće teme i povezane podteme: (a) Upotreba SET-a u općem visokom obrazovanju i njegova ograničenja, (b) Upotreba SET-a u medicinskom obrazovanju i njegov relevantnost za rješavanje pitanja vezanih za poređenje SET-a (c) Poboljšanje SET-a na instrumentalnom, upravljačkom i interpretativnom nivou radi razvoja efikasnih SET modela.
Slika 1 prikazuje dijagram toka odabranih članaka uključenih i razmatranih u ovom dijelu pregleda.
SET se tradicionalno koristi u visokom obrazovanju i tema je dobro proučena u literaturi [10, 21]. Međutim, veliki broj studija ispitao je njihova brojna ograničenja i napore da se ta ograničenja riješe.
Istraživanja pokazuju da postoje mnoge varijable koje utiču na SET rezultate [10, 21, 25, 26]. Stoga je važno da administratori i nastavnici razumiju ove varijable prilikom tumačenja i korištenja podataka. Sljedeći odjeljak pruža kratak pregled ovih varijabli. Slika 2 prikazuje neke od faktora koji utiču na SET rezultate, koji su detaljno opisani u sljedećim odjeljcima.
Posljednjih godina, upotreba online kompleta se povećala u poređenju sa papirnim kompletima. Međutim, dokazi u literaturi ukazuju na to da se online SET može završiti bez da studenti posvete potrebnu pažnju procesu popunjavanja. U zanimljivoj studiji Uitdehaagea i O'Neilla [5], nepostojeći nastavnici su dodani u SET, a mnogi studenti su dali povratne informacije [5]. Štaviše, dokazi u literaturi ukazuju na to da studenti često vjeruju da završetak SET-a ne dovodi do poboljšanja obrazovnih postignuća, što, u kombinaciji sa zauzetim rasporedom studenata medicine, može rezultirati nižim stopama odziva [27]. Iako istraživanja pokazuju da se mišljenja studenata koji polažu test ne razlikuju od mišljenja cijele grupe, niske stope odziva i dalje mogu navesti nastavnike da manje ozbiljno shvate rezultate [28].
Većina online SET-ova se popunjava anonimno. Ideja je da se studentima omogući da slobodno izraze svoja mišljenja bez pretpostavke da će njihovo izražavanje imati ikakav utjecaj na njihove buduće odnose s nastavnicima. U studiji Alfonsa i saradnika [29], istraživači su koristili anonimne ocjene i ocjene u kojima su ocjenjivači morali dati svoja imena (javne ocjene) kako bi procijenili učinkovitost podučavanja medicinskog osoblja od strane specijalizanata i studenata medicine. Rezultati su pokazali da su nastavnici uglavnom postigli niže ocjene na anonimnim procjenama. Autori tvrde da su studenti iskreniji u anonimnim procjenama zbog određenih prepreka u otvorenim procjenama, kao što su narušeni radni odnosi s nastavnicima koji učestvuju [29]. Međutim, treba napomenuti i da anonimnost koja se često povezuje s online SET-om može dovesti do toga da neki studenti budu nepoštovani i da se osvete instruktoru ako rezultati procjene ne ispunjavaju studentska očekivanja [30]. Međutim, istraživanja pokazuju da studenti rijetko daju nepoštovne povratne informacije, a potonje se mogu dodatno ograničiti podučavanjem studenata da daju konstruktivne povratne informacije [30].
Nekoliko studija je pokazalo da postoji korelacija između SET rezultata studenata, njihovih očekivanja u pogledu uspješnosti na testovima i njihovog zadovoljstva testovima [10, 21]. Na primjer, Strobe (2020) [9] je izvijestio da studenti nagrađuju lake kurseve, a nastavnici slabe ocjene, što može potaknuti lošu nastavu i dovesti do inflacije ocjena [9]. U nedavnoj studiji, Looi i saradnici (2020) [31] su izvijestili da su povoljniji SET-ovi povezani i lakši za procjenu. Štaviše, postoje uznemirujući dokazi da je SET obrnuto proporcionalan uspjehu studenata u narednim kursevima: što je viša ocjena, to je lošiji uspjeh studenata u narednim kursevima. Cornell i saradnici (2016) [32] su proveli studiju kako bi ispitali da li su studenti relativno više naučili od nastavnika čiji su SET visoko ocijenili. Rezultati pokazuju da kada se učenje ocjenjuje na kraju kursa, nastavnici s najvišim ocjenama također doprinose učenju većine studenata. Međutim, kada se učenje mjeri učinkom u narednim relevantnim kursevima, nastavnici koji postižu relativno niske ocjene su najefikasniji. Istraživači su pretpostavili da bi produktivnije uvođenje izazovnijeg kursa moglo sniziti ocjene, ali poboljšati učenje. Stoga, studentske procjene ne bi trebale biti jedina osnova za evaluaciju nastave, već bi trebale biti priznate.
Nekoliko studija pokazuje da na uspjeh u SET testovima utiče sam kurs i njegova organizacija. Ming i Baozhi [33] su u svojoj studiji otkrili da postoje značajne razlike u SET rezultatima među studentima iz različitih predmeta. Na primjer, kliničke nauke imaju više SET rezultate od osnovnih nauka. Autori su objasnili da je to zato što su studenti medicine zainteresovani da postanu doktori i stoga imaju lični interes i veću motivaciju da više učestvuju u kursevima kliničkih nauka u poređenju sa kursevima osnovnih nauka [33]. Kao i u slučaju izbornih predmeta, motivacija studenata za predmet takođe ima pozitivan uticaj na rezultate [21]. Nekoliko drugih studija takođe podržava da vrsta kursa može uticati na SET rezultate [10, 21].
Štaviše, druge studije su pokazale da što je manja veličina razreda, to je viši nivo SET-a koji nastavnici postižu [10, 33]. Jedno moguće objašnjenje je da manja veličina razreda povećava mogućnosti za interakciju nastavnika i učenika. Osim toga, uslovi u kojima se provodi procjena mogu utjecati na rezultate. Na primjer, na SET rezultate, čini se, utječu vrijeme i dan kada se kurs održava, kao i dan u sedmici kada se SET završava (npr. procjene završene vikendom obično rezultiraju pozitivnijim rezultatima) od procjena završenih ranije u sedmici. [10]
Zanimljiva studija Hesslera i saradnika također dovodi u pitanje učinkovitost SET-a. [34]. U ovoj studiji, provedeno je randomizirano kontrolirano ispitivanje na kursu hitne medicine. Studenti medicine treće godine nasumično su raspoređeni ili u kontrolnu grupu ili u grupu koja je dobila besplatne kolačiće s komadićima čokolade (grupa s kolačićima). Sve grupe su podučavali isti nastavnici, a sadržaj obuke i materijali za kurs bili su identični za obje grupe. Nakon kursa, svi studenti su zamoljeni da završe set. Rezultati su pokazali da je grupa s kolačićima ocijenila nastavnike značajno bolje od kontrolne grupe, što dovodi u pitanje učinkovitost SET-a [34].
Dokazi u literaturi također podržavaju tvrdnju da spol može utjecati na rezultate SET testova [35,36,37,38,39,40,41,42,43,44,45,46]. Na primjer, neke studije su pokazale vezu između spola studenata i rezultata ocjenjivanja: studentice su postigle više rezultate od studenata [27]. Većina dokaza potvrđuje da studenti niže ocjenjuju nastavnice od nastavnika [37, 38, 39, 40]. Na primjer, Boring i saradnici [38] pokazali su da i studenti i studentice vjeruju da muškarci imaju više znanja i jače liderske sposobnosti od žena. Činjenicu da spol i stereotipi utječu na SET testove također podržava studija MacNella i saradnika [41], koji je izvijestio da su studenti u njegovoj studiji niže ocjenjivali nastavnice od nastavnika u različitim aspektima nastave [41]. Štaviše, Morgan i saradnici [42] pružili su dokaze da su liječnice dobile niže ocjene za nastavu u četiri glavne kliničke rotacije (hirurgija, pedijatrija, akušerstvo i ginekologija te interna medicina) u poređenju s liječnicima.
U studiji Murraya i saradnika (2020) [43], istraživači su izvijestili da su privlačnost nastavnika i interes studenata za kurs povezani s višim SET rezultatima. Suprotno tome, težina kursa povezana je s nižim SET rezultatima. Osim toga, studenti su dali više SET rezultate mladim bijelim muškarcima koji predaju humanističke nauke i nastavnicima koji nose redovna profesorska zvanja. Nije bilo korelacije između evaluacija nastave u SET testu i rezultata ankete nastavnika. Druge studije također potvrđuju pozitivan utjecaj fizičke privlačnosti nastavnika na rezultate procjene [44].
Clayson i saradnici (2017) [45] su izvijestili da, iako postoji opće slaganje da SET daje pouzdane rezultate i da su prosjeci razreda i nastavnika konzistentni, i dalje postoje nedosljednosti u pojedinačnim odgovorima učenika. Ukratko, rezultati ovog izvještaja o procjeni ukazuju na to da se učenici nisu složili s onim što je od njih traženo da procijene. Mjere pouzdanosti izvedene iz studentskih evaluacija nastave nisu dovoljne da pruže osnovu za utvrđivanje validnosti. Stoga, SET ponekad može pružiti informacije o učenicima, a ne o nastavnicima.
SET za zdravstveno obrazovanje se razlikuje od tradicionalnog SET-a, ali edukatori često koriste SET dostupan u općem visokom obrazovanju, a ne SET specifičan za programe zdravstvenih profesija o kojima se izvještava u literaturi. Međutim, studije provedene tokom godina identificirale su nekoliko problema.
Jones i saradnici (1994.) [46] proveli su studiju kako bi utvrdili pitanje kako evaluirati nastavno osoblje medicinskog fakulteta iz perspektive nastavnika i administratora. Općenito, najčešće spominjana pitanja odnosila su se na evaluaciju nastave. Najčešće su bile opće pritužbe na neadekvatnost trenutnih metoda procjene učinka, a ispitanici su također iznosili konkretne pritužbe na SET i nedostatak priznavanja nastave u akademskim sistemima nagrađivanja. Ostali prijavljeni problemi uključivali su nedosljedne procedure evaluacije i kriterije za napredovanje u različitim odsjecima, nedostatak redovnih evaluacija i neuspjeh u povezivanju rezultata evaluacije s platama.
Royal i saradnici (2018) [11] navode neka od ograničenja korištenja SET-a za evaluaciju nastavnog plana i programa i nastavnog osoblja u programima za zdravstvene stručnjake u općem visokom obrazovanju. Istraživači izvještavaju da se SET u visokom obrazovanju suočava s različitim izazovima jer se ne može direktno primijeniti na dizajn nastavnog plana i programa i nastavu kurseva na medicinskim fakultetima. Često postavljana pitanja, uključujući pitanja o instruktoru i kursu, često se kombinuju u jedan upitnik, tako da studenti često imaju problema s razlikovanjem među njima. Osim toga, kurseve u medicinskim programima često predaje više članova nastavnog osoblja. To postavlja pitanja o validnosti s obzirom na potencijalno ograničen broj interakcija između studenata i nastavnika koje su procijenili Royal i saradnici (2018) [11]. U studiji Hwanga i saradnika (2017) [14], istraživači su ispitali koncept kako retrospektivne evaluacije kurseva sveobuhvatno odražavaju studentsku percepciju kurseva različitih instruktora. Njihovi rezultati sugeriraju da je individualizirana procjena nastave neophodna za upravljanje višesmjernim kursevima unutar integriranog nastavnog plana i programa medicinskog fakulteta.
Uitdehaage i O'Neill (2015) [5] ispitali su u kojoj mjeri su studenti medicine namjerno pohađali SET u okviru višefakultetskog kursa u učionici. Svaki od dva predklinička kursa imao je izmišljenog instruktora. Studenti moraju dati anonimne ocjene svim instruktorima (uključujući izmišljene instruktore) u roku od dvije sedmice nakon završetka kursa, ali mogu odbiti da ocijene instruktora. Sljedeće godine se to ponovilo, ali je uključen portret izmišljenog predavača. Šezdeset šest posto studenata ocijenilo je virtuelnog instruktora bez sličnosti, ali manje studenata (49%) ocijenilo je virtuelnog instruktora sa prisutnom sličnošću. Ovi nalazi ukazuju na to da mnogi studenti medicine završavaju SET-ove na slijepo, čak i kada su popraćeni fotografijama, bez pažljivog razmatranja koga procjenjuju, a kamoli učinka instruktora. To ometa poboljšanje kvaliteta programa i može biti štetno za akademski napredak nastavnika. Istraživači predlažu okvir koji nudi radikalno drugačiji pristup SET-u koji aktivno i predano angažuje studente.
Postoje mnoge druge razlike u obrazovnom programu medicinskih programa u poređenju s drugim općim programima visokog obrazovanja [11]. Medicinsko obrazovanje, kao i profesionalno zdravstveno obrazovanje, jasno je usmjereno na razvoj jasno definiranih profesionalnih uloga (klinička praksa). Kao rezultat toga, nastavni planovi i programi medicinskih i zdravstvenih programa postaju statičniji, s ograničenim izborom predmeta i fakulteta. Zanimljivo je da se kursevi medicinskog obrazovanja često nude u kohortnom formatu, pri čemu svi studenti pohađaju isti predmet u isto vrijeme svakog semestra. Stoga, upis velikog broja studenata (obično n = 100 ili više) može utjecati na format nastave, kao i na odnos nastavnik-student. Štaviše, u mnogim medicinskim fakultetima, psihometrijska svojstva većine instrumenata se ne procjenjuju pri početnoj upotrebi, a svojstva većine instrumenata mogu ostati nepoznata [11].
Nekoliko studija u proteklih nekoliko godina pružilo je dokaze da se SET može poboljšati rješavanjem nekih važnih faktora koji mogu utjecati na učinkovitost SET-a na instrumentalnom, administrativnom i interpretativnom nivou. Slika 3 prikazuje neke od koraka koji se mogu koristiti za kreiranje učinkovitog SET modela. Sljedeći odjeljci pružaju detaljniji opis.
Poboljšati SET na instrumentalnom, upravljačkom i interpretativnom nivou kako bi se razvili efikasni SET modeli.
Kao što je ranije spomenuto, literatura potvrđuje da rodna pristranost može utjecati na ocjenjivanje nastavnika [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson i suradnici (2019) [40] proveli su studiju koja je ispitivala utječe li spol učenika na njihove odgovore na napore za ublažavanje pristranosti. U ovoj studiji, SET je proveden u četiri razreda (dva su predavala muška nastavnika i dva su predavala ženske nastavnice). Unutar svakog predmeta, učenici su nasumično raspoređeni da dobiju standardni alat za procjenu ili isti alat, ali koristeći jezik osmišljen za smanjenje rodne pristranosti. Studija je otkrila da su učenici koji su koristili alate za procjenu bez pristranosti dali nastavnicama značajno više SET ocjene od učenika koji su koristili standardne alate za procjenu. Štaviše, nije bilo razlika u ocjenama muških nastavnika između dvije grupe. Rezultati ove studije su značajni i pokazuju kako relativno jednostavna jezička intervencija može smanjiti rodnu pristranost u studentskim ocjenama nastave. Stoga je dobra praksa pažljivo razmotriti sve SET-ove i koristiti jezik za smanjenje rodne pristranosti u njihovom razvoju [40].
Da bi se dobili korisni rezultati iz bilo kojeg SET-a, važno je unaprijed pažljivo razmotriti svrhu procjene i formulaciju pitanja. Iako većina SET anketa jasno ukazuje na odjeljak o organizacijskim aspektima kursa, tj. "Evaluacija kursa", i odjeljak o nastavnicima, tj. "Evaluacija nastavnika", u nekim anketama razlika možda nije očigledna ili može doći do zabune među studentima oko toga kako pojedinačno procijeniti svako od ovih područja. Stoga, dizajn upitnika mora biti odgovarajući, pojasniti dva različita dijela upitnika i osvijestiti studente o tome šta treba procijeniti u svakom području. Osim toga, preporučuje se pilot testiranje kako bi se utvrdilo da li studenti interpretiraju pitanja na predviđeni način [24]. U studiji Oermanna i saradnika (2018) [26], istraživači su pretražili i sintetizirali literaturu koja opisuje upotrebu SET-a u širokom spektru disciplina u dodiplomskom i postdiplomskom obrazovanju kako bi edukatorima pružili smjernice o upotrebi SET-a u programima za njegu i druge zdravstvene radnike. Rezultati sugeriraju da SET instrumente treba procijeniti prije upotrebe, uključujući pilot testiranje instrumenata sa studentima koji možda nisu u stanju interpretirati stavke ili pitanja SET instrumenta kako je namjeravao instruktor.
Nekoliko studija je ispitivalo da li SET model upravljanja utiče na angažman studenata.
Daumier i saradnici (2004) [47] uporedili su studentske ocjene obuke instruktora završene u učionici s ocjenama prikupljenim online, upoređujući broj odgovora i ocjena. Istraživanja pokazuju da online ankete obično imaju niže stope odgovora od anketa u učionici. Međutim, studija je otkrila da online procjene nisu dale značajno drugačije prosječne ocjene od tradicionalnih procjena u učionici.
Prijavljen je nedostatak dvosmjerne komunikacije između studenata i nastavnika tokom popunjavanja online (ali često štampanih) SET-ova, što je rezultiralo nedostatkom mogućnosti za pojašnjenje. Stoga, značenje SET pitanja, komentara ili studentskih evaluacija možda nije uvijek jasno [48]. Neke institucije su riješile ovaj problem tako što su studente okupile na sat vremena i dodijelile određeno vrijeme za online (anonimno) popunjavanje SET-a [49]. U svojoj studiji, Malone i saradnici (2018) [49] održali su nekoliko sastanaka kako bi sa studentima razgovarali o svrsi SET-a, ko će vidjeti rezultate SET-a i kako će se rezultati koristiti, te o svim drugim pitanjima koja studenti pokrenu. SET se provodi slično fokus grupi: kolektivna grupa odgovara na otvorena pitanja putem neformalnog glasanja, debate i pojašnjenja. Stopa odgovora bila je preko 70-80%, pružajući nastavnicima, administratorima i odborima za nastavni plan i program opsežne informacije [49].
Kao što je gore spomenuto, u studiji Uitdehaagea i O'Neilla [5], istraživači su izvijestili da su studenti u njihovoj studiji ocjenjivali nepostojeće nastavnike. Kao što je ranije spomenuto, ovo je čest problem u medicinskim predmetima, gdje svaki predmet mogu predavati mnogi članovi fakulteta, ali se studenti možda ne sjećaju ko je doprinio svakom predmetu ili šta je svaki član fakulteta radio. Neke institucije su riješile ovaj problem pružanjem fotografije svakog predavača, njegovog/njenog imena i teme/datuma predstavljanja kako bi osvježile pamćenje studenata i izbjegli probleme koji ugrožavaju efikasnost SET-a [49].
Možda najvažniji problem povezan sa SET-om jeste to što nastavnici nisu u stanju da ispravno interpretiraju kvantitativne i kvalitativne rezultate SET-a. Neki nastavnici možda žele da prave statistička poređenja tokom godina, neki mogu smatrati manja povećanja/smanjenja prosječnih rezultata značajnim promjenama, neki žele da vjeruju svakoj anketi, a drugi su potpuno skeptični prema bilo kojoj anketi [45,50, 51].
Neuspjeh u pravilnom tumačenju rezultata ili obradi povratnih informacija studenata može utjecati na stavove nastavnika prema nastavi. Rezultati Lutovca i suradnika (2017) [52] Podržavajuća obuka nastavnika je neophodna i korisna za pružanje povratnih informacija studentima. Medicinskom obrazovanju je hitno potrebna obuka za pravilno tumačenje SET rezultata. Stoga bi nastavnici medicinskih fakulteta trebali proći obuku o tome kako procijeniti ishode i važna područja na koja bi se trebali usredotočiti [50, 51].
Stoga, opisani rezultati ukazuju na to da SET-ove treba pažljivo osmisliti, primijeniti i interpretirati kako bi se osiguralo da rezultati SET-a imaju značajan utjecaj na sve relevantne zainteresirane strane, uključujući nastavno osoblje, administratore medicinskih fakulteta i studente.
Zbog nekih ograničenja SET-a, trebali bismo nastaviti težiti stvaranju sveobuhvatnog sistema evaluacije kako bismo smanjili pristrasnost u efikasnosti nastave i podržali profesionalni razvoj medicinskih edukatora.
Potpunije razumijevanje kvalitete nastave kliničkog nastavnog osoblja može se postići prikupljanjem i triangulacijom podataka iz više izvora, uključujući studente, kolege, administratore programa i samoprocjene nastavnog osoblja [53, 54, 55, 56, 57]. Sljedeći odjeljci opisuju moguće druge alate/metode koje se mogu koristiti pored efikasnog SET-a kako bi se pomoglo u razvoju prikladnijeg i potpunijeg razumijevanja efikasnosti obuke (Slika 4).
Metode koje se mogu koristiti za razvoj sveobuhvatnog modela sistema za procjenu efikasnosti nastave na medicinskom fakultetu.
Fokus grupa se definiše kao „grupna diskusija organizovana radi istraživanja određenog skupa pitanja“ [58]. Tokom proteklih nekoliko godina, medicinski fakulteti su kreirali fokus grupe kako bi dobili kvalitetne povratne informacije od studenata i riješili neke od zamki online SET-a. Ove studije pokazuju da su fokus grupe efikasne u pružanju kvalitetnih povratnih informacija i povećanju zadovoljstva studenata [59, 60, 61].
U studiji Brundlea i saradnika [59], istraživači su implementirali proces evaluacije studenata koji je omogućio direktorima kurseva i studentima da razgovaraju o kursevima u fokus grupama. Rezultati pokazuju da diskusije u fokus grupama dopunjuju online procjene i povećavaju zadovoljstvo studenata cjelokupnim procesom procjene kurseva. Studenti cijene priliku da direktno komuniciraju sa direktorima kurseva i vjeruju da ovaj proces može doprinijeti poboljšanju obrazovanja. Također su smatrali da su u stanju da razumiju gledište direktora kurseva. Pored studenata, direktori kurseva su također ocijenili da fokus grupe olakšavaju efikasniju komunikaciju sa studentima [59]. Dakle, korištenje fokus grupa može medicinskim fakultetima pružiti potpunije razumijevanje kvaliteta svakog kursa i efikasnosti nastave odgovarajućeg fakulteta. Međutim, treba napomenuti da same fokus grupe imaju neka ograničenja, kao što je samo mali broj studenata koji učestvuju u njima u poređenju sa online SET programom, koji je dostupan svim studentima. Osim toga, provođenje fokus grupa za različite kurseve može biti dugotrajan proces za savjetnike i studente. To predstavlja značajna ograničenja, posebno za studente medicine koji imaju vrlo zauzete rasporede i mogu obavljati kliničku praksu na različitim geografskim lokacijama. Osim toga, fokus grupe zahtijevaju veliki broj iskusnih facilitatora. Međutim, uključivanje fokus grupa u proces evaluacije može pružiti detaljnije i specifičnije informacije o učinkovitosti obuke [48, 59, 60, 61].
Schiekierka-Schwacke i saradnici (2018) [62] ispitali su percepciju studenata i nastavnika o novom alatu za procjenu učinka nastavnika i ishoda učenja studenata na dva njemačka medicinska fakulteta. Fokus grupe i individualni intervjui provedeni su s nastavnicima i studentima medicine. Nastavnici su cijenili lične povratne informacije koje je pružio alat za procjenu, a studenti su izjavili da bi trebalo stvoriti petlju povratnih informacija, uključujući ciljeve i posljedice, kako bi se potaknulo izvještavanje o podacima procjene. Stoga, rezultati ove studije podržavaju važnost zatvaranja petlje komunikacije sa studentima i informiranja o rezultatima procjene.
Programi kolegijalnog pregleda nastave (PRT) su veoma važni i već dugi niz godina se primjenjuju u visokom obrazovanju. PRT uključuje kolaborativni proces posmatranja nastave i pružanja povratnih informacija posmatraču kako bi se poboljšala efikasnost nastave [63]. Pored toga, vježbe samorefleksije, strukturirane diskusije nakon nastave i sistematsko dodjeljivanje obučenih kolega mogu pomoći u poboljšanju efikasnosti PRT-a i kulture nastave na odjelu [64]. Navodi se da ovi programi imaju mnoge prednosti jer mogu pomoći nastavnicima da dobiju konstruktivne povratne informacije od kolega koji su se možda suočili sa sličnim poteškoćama u prošlosti i mogu pružiti veću podršku davanjem korisnih prijedloga za poboljšanje [63]. Štaviše, kada se koristi konstruktivno, kolegijalni pregled može poboljšati sadržaj kursa i metode izvođenja nastave, te podržati medicinske edukatore u poboljšanju kvaliteta njihove nastave [65, 66].
Nedavna studija koju su proveli Campbell i saradnici (2019) [67] pruža dokaze da je model podrške među kolegama na radnom mjestu prihvatljiva i efikasna strategija razvoja nastavnika za kliničke zdravstvene edukatore. U drugoj studiji, Caygill i saradnici [68] proveli su studiju u kojoj je posebno dizajniran upitnik poslan zdravstvenim edukatorima na Univerzitetu u Melbourneu kako bi im se omogućilo da podijele svoja iskustva korištenja PRT-a. Rezultati pokazuju da postoji potisnuti interes za PRT među medicinskim edukatorima i da se dobrovoljni i informativni format recenzije među kolegama smatra važnom i vrijednom prilikom za profesionalni razvoj.
Vrijedi napomenuti da PRT programi moraju biti pažljivo osmišljeni kako bi se izbjeglo stvaranje osuđujućeg, „menadžerskog“ okruženja koje često dovodi do povećane anksioznosti među posmatranim nastavnicima [69]. Stoga bi cilj trebao biti pažljivo razviti PRT planove koji će dopuniti i olakšati stvaranje sigurnog okruženja i pružiti konstruktivne povratne informacije. Stoga je potrebna posebna obuka za obuku recenzenata, a PRT programi trebaju uključivati samo istinski zainteresirane i iskusne nastavnike. Ovo je posebno važno ako se informacije dobivene iz PRT-a koriste u donošenju odluka fakulteta kao što su unapređenja na više nivoe, povećanja plata i unapređenja na važne administrativne pozicije. Treba napomenuti da PRT oduzima puno vremena i, kao i fokus grupe, zahtijeva učešće velikog broja iskusnih članova fakulteta, što otežava implementaciju ovog pristupa na medicinskim fakultetima s niskim resursima.
Newman i saradnici (2019) [70] opisuju strategije korištene prije, tokom i nakon obuke, zapažanja koja ističu najbolje prakse i identificiraju rješenja za probleme u učenju. Istraživači su dali 12 prijedloga recenzentima, uključujući: (1) mudro birajte riječi; (2) dozvolite posmatraču da odredi smjer diskusije; (3) održavajte povratne informacije povjerljivim i formatiranim; (4) održavajte povratne informacije povjerljivim i formatiranim; Povratne informacije se fokusiraju na vještine podučavanja, a ne na pojedinačnog nastavnika; (5) Upoznajte svoje kolege, (6) Budite obzirni prema sebi i drugima, (7) Zapamtite da zamjenice igraju važnu ulogu u pružanju povratnih informacija, (8) Koristite pitanja kako biste osvijetlili perspektivu podučavanja, (10) Uspostavite povjerenje u procese i povratne informacije u vršnjačkim zapažanjima, (11) učinite posmatranje učenja obostrano korisnim, (12) kreirajte akcioni plan. Istraživači također istražuju utjecaj pristranosti na zapažanja i kako proces učenja, posmatranja i diskusije o povratnim informacijama može pružiti vrijedna iskustva učenja za obje strane, što dovodi do dugoročnih partnerstava i poboljšanog kvaliteta obrazovanja. Gomaly i saradnici (2014) [71] izvještava da kvalitet efektivne povratne informacije treba da uključuje (1) pojašnjenje zadatka davanjem uputstava, (2) povećanu motivaciju za podsticanje većeg napora i (3) percepciju primaoca povratne informacije kao vrijednog procesa. Povratne informacije su dobijene od uglednog izvora.
Iako nastavnici medicinskih fakulteta primaju povratne informacije o PRT-u, važno ih je obučiti o tome kako interpretirati povratne informacije (slično preporuci za obuku o interpretaciji SET-a) i omogućiti nastavnicima dovoljno vremena za konstruktivno razmišljanje o primljenim povratnim informacijama.
Vrijeme objave: 24. novembar 2023.