Методичний порадник «Технологічна карта проведення дослідження PISA в комп’ютерному варіанті»

Методичний порадник

«Технологічна карта проведення дослідження  PISA  

в комп’ютерному варіанті»

(2 слайд)

PISA — найбільше міжнародне дослідження, яке вивчає якість освіти: воно охоплює понад 80 країн, що становить понад 80 % світової економіки. Участь у ньому беруть 15-річні школярі, котрі навчаються щонайменше у сьомому класі. Саме у цьому віці у більшості держав-учасниць учні закінчують основну школу, і вимоги до них у всіх країнах не надто відрізняються.

(3 слайд)

У дослідженні PISA передбачено чотири етапи: підготовчий, пілотний, основний і звітувальний. Упродовж пілотного й основного етапів учні/студенти всіх країн-учасниць проходять тестування й анкетування. Відмінність між цими етапами в тому, що під час пілотного етапу апробують інструменти дослідження (переклади тестових завдань, запитань анкет) з метою їх покращення в разі потреби й процедури дослідження з метою їх відпрацювання, а під час основного – проводять тестування й анкетування всієї вибірки учасників дослідження, за результатами яких формують звіти, порівнюють результати країн між собою, а також результати однієї країни за різні роки.

(4 слайд)

У квітні-травні 2020 р. в Україні мав відбутися пілотний етап PISA-2021 (наказ Міністерства освіти і науки України від 14.01.2020 № 40). Однак, через запровадження карантинних заходів, пов’язаних із пандемією COVID-19, реалізація дослідження у визначені терміни виявилася неможливою. Аналогічна ситуація склалася й у більшості інших країн/економік - учасниць PISA, що викликало тривалі дискусії на міжнародному рівні. У червні 2020 року Організація економічного співробітництва та розвитку прийняла рішення перенести пілотний етап міжнародного дослідження якості освіти PISA-2021 на 2021 рік. Це рішення було предметом значних вагань, адже, з одного боку, важливо було дотриматися принципів системності й тяглості дослідження, а з іншого - урахувати надзвичайний вплив пандемії COVID-19 на освітні системи всіх країн-учасниць PISA. Український центр оцінювання якості освіти, як організація відповідальна за проведення PISA в Україні, підтримує рішення міжнародних партнерів, адже воно дає змогу якісно й повноцінно провести пілотний етап PISA-2021 а також ретельно підготуватися до основного етапу дослідження, яке буде проведене у 2022 році.

(5 слайд)

Для України пілотний етап PISA -2021 особливо важливий, адже цей цикл дослідження буде вперше проведено у комп’ютерному форматі. Це для організаторів виклик, оскільки раніше в Україні не відбувалося таких масових досліджень з використанням комп’ютерної техніки.

(6 слайд)

Станом на початок 2020 року Український центр оцінювання якості освіти провів усі підготовчі роботи, передбачені міжнародним графіком організації та проведення PISA -2021, а саме:

 - виконав переклад когнітивних (тестів) та контекстних (анкети учня / студента, керівника закладу освіти) матеріалів - шляхом задіяння власних ресурсів і залучення сторонніх фахівців;

 - здійснив переклад усього комплексу інструктивних матеріалів щодо адміністрування дослідження в закладах освіти, кодування відповідей - шляхом задіяння власних ресурсів;

 - апробував функціональність усього програмного забезпечення, на основі якого відбувається комп’ютерне тестування й анкетування в межах комп’ютерної версії PISA;

 - провів закупівлю потрібного комп’ютерного й супутнього обладнання для забезпечення проведення дослідження в закладах освіти, які потрапили до вибірки дослідження, однак мають проблеми з технічним забезпеченням тощо;

- сформував репрезентативну вибірку закладів-учасників дослідження відповідно до міжнародних вимог;

 - провів закупівлю достатньої кількості флеш-накопичувачів для адміністрування дослідження в закладах освіти;

- провів підготовку відповідальних за пункти проведення дослідження в закладах освіти, старших інструкторів з проведення дослідження та адміністраторів комп’ютерного оцінювання (інструкторів).

(7 слайд)

 Розглянемо більш детально процедуру проведення дослідження та обов’язки відповідальних за пункти проведення дослідження в закладах освіти, старших інструкторів з проведення дослідження та адміністраторів комп’ютерного оцінювання (інструкторів).

Відповідальний за пункт тестування має 9  функцій:

Перша функція одна з пріоритетних та найважливіших - зв'язок між закладом освіти і регіональним та Українським центрами оцінювання якості освіти. Саме відповідальний за пункт тестування знає, які особливості в певному закладі та на що слід  звернути увагу, як слід контактувати та які аспекти потрібно враховувати під час дослідження.

Друга функція - подання інформації про те, який склад учнів/студентів у закладі освіти є, яка комп’ютерна техніка наявна у закладі освіти.

Третя функція. Відповідальний за пункт тестування несе повну відповідальність за отримання матеріалів дослідження (флеш-носіїв).

Четверта функція - забезпечення конфіденційності матеріалів дослідження.

П’ята - функція підтримки закладу освіти у заповненні електронної анкети.

Шоста функція - координація дій старшого інструктора, адміністратора комп’ютерного оцінювання, а за необхідності - вчителя інформатики. Його залучення буде рекомендоване для обслуговування та діагностики комп’ютерної техніки під час проведення заходу.

Сьома функція - надання унікального коду кожному старшому інструктору; коригування Бланку відстеження учнів/студентів; узгодження з керівником закладу освіти розподілу учасників оцінювання по сесіям, виокремлення на Бланку відстеження учнів/студентів учасників кожної із сесій. Ще одним важливим завданням є створення умов для додаткової сесії та вирішення питання, чи потрібно брати участь у додатковій сесії оцінювання. В додатковій сесії братимуть участь лише ті заклади освіти, в яких менше 85% від обраної кількості учасників потрапило на сесії тестування.

Восьма функція - повернення матеріалів і заповнення інформації про те, які матеріали повертають. Заповнення інформації здійснюється в бланку повернення матеріалів.

Важливо! Всі робочі матеріали, якими користувалися учасники, також повинні бути повернені.

Дев’ята функція - відправка матеріалів у зворотному напрямку.

(8 слайд)

 Функції Старшого інструктора

Саме Старший інструктор співпрацює з учнями та студентами, і від його роботи залежить, наскільки учні та студенти зрозуміють інструкції, зможуть їх виконати. наскільки вони серйозно поставляться до завдання і наскільки добре вони зможуть чи не зможуть продемонструвати освітню систему України в звіті PISA-2021.

Перша функція - підготовка приміщення для проведення дослідження: вивісити оголошення про тестування, біля кожного комп’ютера або ноутбука розмістити бланк із даними для входу учнів та студентів у програмне середовище, (бланки будуть надіслані відповідальному за пункт тестування і передані старшому інструктору), організувати розсадку учасників відповідно даним, розміщеним на бланках.

Друга функція - ознайомитися зі сценарієм для старшого інструктора з проведення тестування (розташований в матеріалах, які надсилаються).

Третя функція - надання унікального коду кожній сесії дослідження, заповнення Бланка  відстеження учнів/студентів, заповнення Бланка звітування про перебіг сесії тестування.

Четверта функція - консультування учнів щодо відповіді на запитання анкети, яка буде надана електронною системою. Для цього в інструкції для Старшого інструктора є розділ «Зауваги для Старшого інструктора з проведення тестування щодо анкети для учнів/студентів», в якому зібрані всі запитання, які можуть бути складними для учнів/студентів, і після кожного запитання надано нотатки для Старшого інструктора щодо консультування учнів.

П’ята функція - контроль завершення сесії анкетування. У разі, якщо учасник не бажає далі відповідати на питання анкети, Старший інструктор повинен допомогти йому «доклікати» до кінця анкети і моменту, коли з’явиться повідомлення про те, що сесія анкетування завершена.

(9 слайд)

Функції Адміністратора комп’ютерного тестування (Інструктора)

Перша функція - отримати від відповідального за пункт тестування флеш-накопичувачі. Максимальна кількість флеш-накопичувачів на заклад освіти буде 54, в залежності від того, як розподілені сесії тестування. На флеш-накопичувачі  буде розміщено дві папки, в яких буде розташована сама програма для проведення тестування і додатки (бланки, інструкції, особисті бланки додатково до вже надісланих).

Друга функція - запуск програми та її перевірка. Ці дії потрібно виконувати заздалегідь, не пізніше ,  ніж за один день до початку тестування.

Третя функція. Під час перевірки програми можуть виникнути певні помилки. Функцією Адміністратора комп’ютерного оцінювання (Інструктора) є виправлення цих помилок і забезпечення коректної роботи комп’ютерної техніки. Пункти, які позначені червоним кольором, обов’язкові до виправлення, помаранчеві є несуттєвими, можна обійтися без виправлення, зелені – проблем не виявлено. Діагностика проводиться на кожному комп’ютері окремо!

Четверта функція передбачає запуск програми у день проведення тестування .

П’ята функція: після завершення виконання робіт учнями/студентами Адміністратор комп’ютерного тестування (Інструктор) повинен відправити результати виконання завдань на сервер Міжнародної програми оцінювання учнів PISA. За відсутності під’єднання до мережі Інтернет для передачі результатів до УЦОЯО і для забезпечення їх збереження всі дані копіюються на флеш-носій з червоним маркером.

Шоста функція. Після завершення перенесення даних на флеш-носій всі флешки передаються Відповідальному за пункт тестування, після чого перераховуються і надсилаються разом з іншими документами до УЦОЯО.

На цьому процедура проведення тестування у закладі освіти завершується.

(10 слайд)

 Участь у найбільшому міжнародному дослідженні PISA дає можливість оцінити перед усім компетентності учнів із читання, математики та природничих дисциплін, бути успішними в сучасному інноваційному суспільстві – генерувати нові ідеї, розвивати власну систему знань, застосовувати її для вирішення актуальних, особистісно й суспільно значущих проблем.