PISA 2018 – PISA 2021

PISA (Programme for International Student Assessment) este un studiu comparativ internaţional iniţiat de către Organizația pentru Cooperare și Dezvoltare Economică (denumită în continuare OCDE) cu scopul de a măsura dezvoltarea competenţelor de bază ale elevilor de 15 ani, aflaţi la finalul învăţământului obligatoriu, în trei domenii principale: citire/lectură, matematică şi ştiinţe.

La nivel internațional, programul este planificat până în anul 2024. România participă la Programul Internaţional OCDE – PISA încă din anul 2000 (ca ţară PISA+), ciclurile de participare de până acum fiind: PISA 2006, PISA 2009, PISA 2012, PISA 2015 și PISA2018.

La prima participare, cea din anul 2000 (fiind în grupul ţărilor PISA+), România a ocupat locul 34 din 42 în ierarhia ţărilor participante, la PISA 2006 a  ocupat locul 47 din 57 de ţări participante, la PISA 2009 a ocupat locul 49 din 65 de ţări participante, la PISA 2012, a ocupat locul 45 din 65 de ţări participante, în uşor progres faţă de ciclurile anterioare, iar în 2015, locul 48 din 72 de țări participante. Din punct de vedere al scorurilor obținute, elevii din Romania și-au îmbunătățit performanţele la matematică și la citire/ lectură față de cele obținute în 2006, dar nu și față de cele din 2012.

Rapoartele internaţionale la Programul OCDE-PISA pot fi consultate pe website-ul www.pisa.oecd.org. În România, Centrul Național PISA a fost reprezentat de Centrul Național de Evaluare și Examinare, în perioada 2000-2015, iar din 2016 până în prezent, este reprezentat de Institutul de Științe ale Educației. Rapoartele naţionale, pentru perioada 2000-2015, conţinând rezultatele României în contextul PISA pot fi consultate pe website-ul Centrului Național pentru Evaluare și Examinare, www.rocnee.eu.

Statele membre UE participă la evaluarea internațională PISA, deoarece sunt direct interesate să măsoare obiectiv, la nivel de sistem, progresul elevilor în formarea competenţelor de bază, acele competenţe-cheie care îi pregătesc pentru viaţă şi pentru societatea cunoaşterii. În afară de ţările UE, la PISA participă ţări din întreaga lume, iar numărul acestora a crescut de la un ciclu de evaluare la altul, demonstrând încrederea în calitatea rezultatelor obţinute în termeni de diagnoză a sistemelor educaţionale.

Administrarea testelor PISA se realizează de către un consorţiu internaţional. Pregătirea şi adaptarea la nivelul fiecărei ţări participante a instrumentelor de evaluare se realizează în cicluri de câte patru ani consecutivi. Ciclul de testare 2019-2022 este intitulat pe scurt PISA 2021, întrucât 2021 este anul în care se realizează testarea principală.

Prin Programul OCDE-PISA 2021 se urmăreşte nu doar obținerea unei imagini detaliate cu privire la nivelul unor achiziții fundamentale, ci și încurajarea schimbului de bune practici cu alte sisteme de educație şi creşterea capacității autorităților de decizie din România de a adopta noi politici educaționale bazate pe date și pe o solidă bază de cunoaștere.

În plus față de ciclurile anterioare, testarea PISA2021 va fi realizată prin intermediul calculatoarelor. Acest mod de testare este o premieră pentru evaluarea PISA în România și se așteaptă să ofere specialiștilor și factorilor de decizie oportunitatea de a se familiariza cu rigorile, dar și cu avantajele acestui mijloc modern de evaluare. Din această perspectivă, PISA 2021 oferă un important punct de sprijin pentru regândirea metodologiilor de proiectare și desfășurare a evaluărilor naționale, în special al celor de la finalul învățământului secundar inferior și superior.

Pe lângă datele privind dezvoltarea competențelor elevilor în domeniile citire/lectură, matematică și științe, programul PISA 2021 cuprinde un domeniu inovativ de testare: gândirea creativă. Se urmărește astfel identificarea factorilor care sprijină dezvoltarea creativității și rolul diferitelor activități școlare în acest sens.

Ce înseamnă efectiv derularea testării PISA – un sumar al activităților realizate pentru ciclul PISA 2018

Institutul de Științe ale Educației a fost nominalizat de către Ministerul Educației Naționale drept Centru Național PISA 2018 prin scrisoarea nr. 10168/27.07.2016. La preluarea responsabilităților legate de PISA 2018, Institutul a fost în situația de a recupera într-un termen scurt o serie de activități pe care celelalte țări participante le realizaseră deja, dat fiind că pregătirea noului ciclu de testare începuse de la finalul anului anterior.

Etapa de pregătire a cuprins:

  • pregătirea proiectului de Hotărâre de Guvern privind participarea României la PISA 2018, discutată și aprobată în ședința de guvern din 30 martie 2017;
  • culegerea de date statistice privind rețeaua școlară și structura populației școlare cu vârsta eligibilă pentru participarea la testare în vederea construirii cadrului pentru eșantionarea stratificată (unități de învățământ, elevilor);
  • traducerea chestionarelor pentru elevi (două chestionare, aprox. 80 de pagini în total);
  • traducerea chestionarului unității de învățământ (un chestionar, aprox. 40 pag);
  • traducerea manualului pentru administratorii de test și a scenariului evaluării (care este standardizat pentru toate țările participante, manualul are 70 de pagini);
  • analiza itemilor cognitivi și formularea unor propuneri de revizuire a acestora; justificarea propunerilor și negocierea cu echipa care se ocupă de itemi, în vederea acceptării cât mai multor modificări (modificările de itemi se acceptă greu și în proporție redusă, pentru a se păstra comparabilitatea datelor de la un ciclu de testare la altul și comparabilitatea între statele participante);
  • oferirea unor puncte de vedere și argumentarea acestora cu privire la: manualul administratorilor de test, chestionare și teste cognitive privind competențele interculturale, civice și pentru globalizare);
  • organizarea pretestării – etapă pregătitoare în care testarea PISA se realizează pe un lot restrâns de elevi (28 de unități de învățământ din diferite medii și regiuni de dezvoltare, aprox. 900 de elevi);
  • participarea la seminare online (webinars), organizate de consorțiul PISA și la alte reuniuni de formare față-în-față;
  • Formarea administratorilor de test (în etapa de pretestare, dat fiind numărul redus de școli în etapa de pretestare, administratorii de test au fost cercetători din cadrul ISE; aceștia au participat la o activitate prin care au fost familiarizați cu scenariul evaluării, cu normele de administrare și normele de confidențialitate).
  • Pregătirea coletelor de teste pentru școli– Conform standardelor PISA, pe fiecare broșură de testare a fost lipită o etichetă detașabilă cu numele elevului care urma să o primească, iar pe fiecare broșură a fost scris, manual, codul alocat elevului respectiv. La fel s-a procedat cu chestionarul fiecărui elev. În total, au fost etichetate: 960 de broșuri și 960 de chestionare. Materialele de testare (broșuri și chestionare), certificatele elevilor, tipizatele necesare au fost împachetate pentru fiecare școală.

Etapa de pretestare (mai 2017)

Pretestarea a avut loc în perioada 16-26 mai 2017, data susținerii în fiecare dintre cele 28 de unități de învățământ participante fiind agreată de comun acord. Spre deosebire de ciclurile anterioare de testare, PISA 2018 a dat școlilor posibilitatea de a susține testarea în funcție de programul elevilor (de ex., elevii care învață în mod obișnuit după-amiaza, au susținut testarea în cadrul programului lor școlar, nu în afara acestuia).

Echipa Centrului PISA 2018, formată inițial din 4 persoane, a corespondat cu școlile selectate în vederea identificării elevilor eligibili să participe la testare (toți elevii din acele școli, născuți în intervalul 01.01.2001-31.12.2001, înscriși în clasele VII-XI). Listele elevilor eligibili din școlile selectate pentru pretestare au fost introduse într-o bază de date specială (KeyQuest), în vederea eșantionării. Din fiecare unitate de învățământ, au fost selectați aleator 38 de elevi (excepție făcând 3 unități în care numărul de elevi era mai mic, întrucât sunt școli gimnaziale care au număr mic de elevi de vârsta PISA).

Au fost adaptate manualele pentru codificarea itemilor. Pentru fiecare domeniu de testare există un manual:

  • Manualul codificatorului de teste de matematică,
  • Manualul codificatorului de teste de citire/lectură,
  • Manualul codificatorului de teste de științe.

Forma revizuită a fiecărui manual a fost elaborată întâi în limba engleză, iar după ce modificările au fost aprobate sau discutate cu Consorțiul PISA 2018, fiecare manual a fost tradus în limba română.

Culegerea și sortarea materialelor după pretestare

  • colectarea materialelor de testare, sortarea și pregătirea corectării testelor și a codării chestionarelor;
  • formarea codificatorilor de teste;
  • codificarea testelor (conform standardelor PISA, fiecare test este codificat de 3 experți separați, fiecare dintre aceștia consemnând rezultatele într-o bază specială de date; cele trei baze de date care rezultă în urma corectării testelor de științe, de exemplu, sunt controlate statistic și, în cazul în care există variații între scoruri, responsabilii de corectare sunt din nou instruiți și întregul proces de corectare este reluat);
  • colectarea datelor din chestionare și introducerea lor în bazele de date PISA – DME.

Etapa testării  principale  (martie-aprilie 2018)

Culegere de date statistice despre rețeaua școlară pentru construirea eșantionului

Pe baza datelor extrase din SIIR, eșantionul a fost elaborat de WESTAT – Consorțiul PISA 2018. Au fost extrase 196 de unități de învățământ, dintre care 171 au rămas în eșantionul final (celelalte 25 nu aveau minim 3 elevi de vârstă PISA), iar testarea s-a derulat în 170 de școli.

Pregătirea materialelor pentru testarea principală (teste și chestionare în limba română și în limba maghiară)

  • revizuirea acelor itemi cognitivi care au înregistrat abateri statistice semnificative (teste în limba română);
  • traducerea chestionarului elevilor – acesta fiind diferit de variantele utilizate la pretestare – varianta în limba română (aprox. 80 de pagini);
  • traducerea chestionarului elevului în limba maghiară (pornind de la o versiune furnizată de Centrul Național PISA Ungaria) – aprox. 80 de pagini;
  • revizuirea și adaptarea manualului administratorilor de test și a altor materiale de utilizat la nivelul școlilor participante;
  • revizuirea și adaptarea testelor cognitive în limba maghiară;
  • traducerea scenariului evaluării în limba maghiară, pentru administrarea sesiunilor în unitățile de învățământ cu predare în limba maghiară;
  • imprimarea materialelor, transportul și sortarea acestora;
  • contactarea școlilor selectate și solicitarea listei elevilor născuți în anul 2002, pentru eșantionare.

Selectarea și formarea administratorilor de test

Au fost selectați 171 de administratori de test, iar 165 dintre aceștia au participat la formare. Pentru diminuarea costurilor de transport și de cazare, formarea a fost organizată în 4 locații, după cum urmează:

– București pentru școlile din județele: Constanța, Tulcea, Brăila, Ialomița, Călărași, Giurgiu, București, Buzău, Prahova, Dâmbovița, Argeș, Vâlcea, Olt, Dolj, Teleorman;

– Timișoara pentru școlile din județele: Mehedinți, Gorj, Hunedoara, Caraș-Severin, Timiș, Arad, Bihor;

– Cluj-Napoca pentru școlile din județele: Satu Mare, Maramureș, Sălaj, Bistrița Năsăud, Cluj, Alba, Mureș, Harghita, Covasna, Brașov, Sibiu;

– Iași pentru școlile din județele: Botoșani, Suceava, Neamț, Iași, Bacău, Vaslui, Vrancea și Galați.

Selectarea și formarea monitorilor

Pentru monitorizarea calității procesului de testare (respectarea normelor de administrare a testării) au fost organizate 2 demersuri:

  • monitorizare – 6 monitori au fost selectați și formați de Consorțiul PISA și de Centrul Național (aceștia au participat și la sesiunile de formare a administratorilor de test);
  • monitorizarea de către inspectorii școlari delegați de inspectoratele școlare județene (au fost transmise scrisori către inspectoratele școlare, iar inspectorii au primit manualul cu normele de administrare a testării și o grilă de monitorizare realizată de Centrul Național PISA).

Pregătirea coletelor cu materiale de testare pentru școli

Fiecare unitate de învățământ a primit un colet cu materialele necesare: teste cognitive, chestionare pentru elevi, chestionarul școlii, creioane pentru elevi, formulare de înregistrare a prezenței și alte formulare tip.

11000 de teste și de chestionare au fost sortate, numerotate și etichetate de cercetătorii ISE într-un interval de 10 zile, pentru a fi transmise în timp util către unitățile de învățământ. Testele nu pot fi imprimate cu mult timp în avans față de intervalul de testare, la fel și listele cu elevii participanți nu pot fi procesate cu mult timp în avans, conform standardelor internaționale. Trimiterea s-a făcut prin curier, pentru a se asigura rapiditatea expedierii, securitatea materialelor de testare și posibilitatea urmăririi stadiului livrării. Un colet cântărește aprox. 14 kg.

Derularea testării principale (12 martie – 20 aprilie)

Până la 29 martie 2018, testarea s-a desfășurat în 167 de unități de învățământ, iar alte 4 unități au stabilit data testării în intervalul 12-20 aprilie. Unele unități de învățământ au avut planificată testarea pe 23 martie, însă în unele județe cursurile școlare au fost suspendate din cauza vremii, iar testarea a fost amânată pentru intervalul 12-20 aprilie (după vacanța de primăvară). În unitățile de învățământ în care rata de participare nu a fost satisfăcătoare, au fost organizate sesiuni suplimentare.

De asemenea, în 3 unități de învățământ din eșantion nu a fost posibilă selectarea unui administrator de test. În acest context, a fost necesară deplasarea unor cercetători în școlile respective, pentru administrarea testelor (în județele Constanța, Dolj și  Bihor).

Sortarea materialelor de testare, codificarea și introducerea datelor în baza specializată

 Majoritatea materialelor de testare au fost primite prin curier. Au fost verificate, sortate și, în urma verificării s-a transmis fiecărui administrator de test confirmarea finalizării procedurii sau, după caz, solicitarea de noi documente.

Datele din rapoartele sesiunilor de formare, din fișele de prezență au fost introduse în softul specializat.

Testele au fost sortate conform manualului de organizare a codificării, pe loturi. Conform aceluiași manual, unele loturi au necesitat câte 6 codificări separate la citire-lectură și câte 3 codificări separate la științe și matematică. Datele codificate au fost introduse de către operatori diferiți în baze de date diferite, care apoi au fost comparate în vederea identificării și corectării eventualelor diferențe sau erori. Chestionarele elevilor și ale școlilor au necesitat, de asemenea, o dublă codificare și dublă introducere în DME. Codificarea răspunsurilor deschise referitoare la meseriile părinților și la opțiunile de carieră ale elevilor a fost realizată în raport cu standardele ISCO 08, în total obținându-se peste 50000 de răspunsuri codificate.

După finalizarea codificării testelor, au fost introduse în baza de date peste 7000 de fișe de codificare și 5100 de broșuri de testare (munca fiind dublată de introducerea în două baze de date diferite, de către operatori diferiți, conform standardelor PISA).

De asemenea, chestionarele elevilor (5100, volumul fiind dublat de fapt, în contextul standardului anterior menționat) au fost introduse în baze de date. Itemii deschiși codificați au fost procesați separat, în baze separate de date, care ulterior au fost corelate.

Pe parcursul introducerii datelor, au fost efectuate periodic teste statistice pentru identificarea eventualelor variații în codificare sau a posibilelor erori în procesarea datelor.

Toți pașii descriși anterior au fost realizați pe de o parte pentru materialele de testare în limba română, iar pe de altă parte pentru materialele de testare în limba maghiară.

Verificarea datelor și transmiterea către consorțiul OCDE-PISA s-a realizat la finalul lunii august 2018.

Auditul datelor – verificări ale datelor de către consorțiul PISA și de către centrul național.

Pe lângă aceste activități, la solicitarea OECD, Centrul național a cules informații privind sistemul de învățământ, finanțarea acestuia, modalitățile de înscriere a elevilor la școală, pe cicluri de învățământ, numărul de ore de studiu prevăzut în curriculumul oficial, modalități de implicare e elevilor și părinților în consiliile școlilor etc.

Rezultatele evaluării internaționale PISA 2018, precum şi toate informaţiile şi datele validate la nivel internaţional sunt disponibile pe https://www.oecd.org/pisa/.

Date comparative privind rezultatele pot fi accesând: https://www.compareyourcountry.org/pisa (în limba engleză) sau https://www.compareyourcountry.org/pisa?lg=fr (în limba franceză).

  • Pagina a fost de ajutor ?
  • Da   Nu
Publicat pe 24 martie 2020 Teme de cercetare