Парадигма покращеного контролю знань учнів у контексті нової Української школи.

 УДК 373.016:5(477)

Соколов Віктор Анатолійович, Лучковский Андрій Ігорович,

Ревнюк Ольга Миколаївна, Козак Мілан Євгенійович.

Парадигма  покращеного контролю знань учнів у контексті нової Української школи.

Анотация. В статьті дана порівняльна характеристика існуючих видів тестів та описується алгоритм покращенного опитування учнів за допомогою оригінального алгоритму пошуку пропущених знань.

Клчеві слова: STEM-освіта, алгоритм, тест, нвчальні програми, методика когтролю знань, программуровання.

Вступ. Основною визначальною характеристикою сучасного світу без перебільшення можна назвати йогопришвидчення. За сучасними прогнозами до 2030 року з’являться близько двохсот  нових професій. Біля шестидесяти професій ризикують зникнути взагалі. [1]

Серед прогнозованих до виникнення, значний відсоток складають професії, пов’язані з точними науками. Своїм походженням вони завдячують таким сучасним галузям людської діяльності як ІТ-технології та інженерія. Фактично всі без виключення професії вимагають від майбутніх фахівців привнесення в виробничий процес значної долі власного творчого вкладу. Всі «надсучасні» професії є міждисциплінарними і вимагають вільного володіння навичками ХХІ століття. [2]

Для прикладу, у галузі медицини будуть створенні такі професії як клінічний біоінформатик^[1], архітектор медичного обладнання^[2], ІТ-медик^[3], тканинний менеджер^[4] та ін. [1] У інших галузях людської діяльності фактично зберігатимуться такі самі тенденції.

На такі стрімкі зміни у сучасному світі наша країна відповіла концепцією Нової української школи (НУШ). [3] Перехід від старої моделі освітнього простору до нової почався у 2016 році і має завершитися у 2029 році. Тому у цей час як ніколи актуальними є тестові програми які дозволяють швидко визначити зону незнання у учня або фахівця певної професії.Існує багато різних видів тестів, але жоден з них не гарантує що результати опитування будуть об’ктивні та пробіли у знаннях будуть швидко знайдені. Для цього потрібно або велика кількість питань що не зручно, або спеціальний алгоритм, який ми пропонуємо.Також пропонується програма, яка реалізує цей алгоритм.

Алгоритм являється оригінальним і будь яке тиражування його заборонено без дозволу редакції та авторів. Актуальність: на даний час існує багато видів тестування та перевірок знань учнів, але вони потребують багато часу через велику кількість питань. Тому є привід створити програмний продукт, який би скоротив час тестування - при великій кількості питань задавав би тільки найпотрібніші.

Мета роботи: створення програмного продукту, який за найкоротший час буде визначати область незнання учня, оцінюючи знання, використовуючи оригінальний алгоритм пошуку області незнання

Педагогі́чне тестува́ння — це вид педагогічного діагностування, науково обґрунтована форма процесу вимірювання знань учнів, що базується на застосуванні педагогічних тестів.Основні поняття і визначенняКласичним у педагогіці є визначення К. Інгекампа: «Тестування — це метод педагогічної діагностики, за допомогою якого вибір поведінки, що презентує передумови чи результати навчального процесу, повинен максимально відповідати принципам зіставлення, об'єктивності, надійності та валідності вимірів, повинен пройти опрацювання й інтерпретацію й бути прийнятним для застосування в педагогічній практиці».

Верифікація — процес оцінки системи і її компонентів з метою співставлення результатів поточного етапу розробки, початково сформованим умовам. Тобто, виконання заданих завдань, цілей, строків по розробці тесту та відповідність стандартам.

Валідація — це процес перевірки тестового програмного забезпечення на відповідність визначеним бізнес-вимогам та потребам користувачів.

Педагогічний тест — це інструмент, що призначений для вимірювання ступеня навченості учня, який складається з системи тестових завдань, стандартизованої процедури проведення, обробки та аналізу результатів.

Тестологія — теорія і методика створення та використання тестів як об'єктивних і стандартизованих вимірювань, що легко піддаються кількісному оцінюванню, статистичній обробці та порівняльному аналізу.

Об'єкт тестування

Особливе значення для педагогічного діагностування має об'єкт тестування в рамках організації і здійснення моніторингу в освіті. В ході діагностування активно застосовуються тести дидактичні, тести психологічні, тести досягнень, тести здатності до навчання, тести здібностей. Наприклад, за допомогою тестів досягнень і дидактичних тестів здійснюються: діагностування успішності учнів школи за чверть, півріччя тощо; діагностування якості знань учнів за предметами за навчальний період; діагностування результатів діяльності педагогів школи; діагностування успішності класу; діагностування динаміки успішності учня.

Вимоги до тестування

Важливими критеріями методів визначення (вимірювання) навченості є дієвість (валідність), надійність та ефективність їх результатів. Саме цими критеріями користуються більшість вчених-тестологів.

Валідність тестування

Валідність методу — це комплексна характеристика, яка визначається як параметрами засобу та процедури вимірювання, так і властивостями ознаки, яка досліджується. Отже, валідність методу — це відповідність того, що вимірюється даним методом, тому, що потрібно вимірювати. За цим критерієм встановлюється сфера дійсності, для якої метод дає статистично вірогідні результати. Якщо мова йде про тестування діяльності певного рівня, то кваліфікаційні завдання, що пропонуються у тесті, повинні відповідати саме такому рівню складності, тобто їх не можна виконати засобами діяльності нижчого рівня. При цьому говорять про функціональну валідність тесту.

Надійність методу вимірювання — це міра стійкості результатів, що впливає на точність, з якою можна виміряти ту чи іншу конкретну ознаку. Перевірка надійності методу стосується насамперед відновлення результатів при повторних вимірах.

Ступінь надійності методу залежить від об'єктивності методу, параметрів засобу вимірювання, стабільності характеристики, яку вимірюють.

Під надійністю контрольного завдання розуміють ступінь точності, з якою може бути визначена та чи інша ознака. Тобто визначено, наскільки можна довіряти результатам даного тесту. Про надійність тестів іноді роблять висновки за такою ознакою: якщо в усіх випадках перевірки тесту чи його варіантів виявиться, що учні в розподілі за показниками успішності займуть ті ж місця, то такий тест можна вважати надійним.

Надійність тесту залежить від кількості тестових завдань. Тому для достатньої надійності підсумкового контролю достатньо великих розділів курсу навчання тест має містити не менше як 40 завдань.

Ефективність тестування

Аванесов В. С. вважає, що в міру становлення нової теорії тестів починає відчуватись необхідність розширення кількості критеріїв хоча б до трьох. В якості третього педагог пропонує критерій ефективності.

Ефективність — порівняльний критерій, що дозволяє порівняти тести. Ефективним можна назвати тест, за допомогою якого краще, ніж за допомогою інших тестів, вимірюються знання студентів потрібного рівня підготовки, з меншим числом завдань, якісніше, швидше, дешевше, і все це – по можливості одночасно.

Якщо порівняти поняття ефективність із поняттями надійність і валідність, то найістотніша відмінність нового поняття від двох традиційних полягає у переході від середнього показника до диференційованого. Достатньо пригадати, що надійність стосується тесту, який складається із фіксованої кількості завдань, що пред'являються всім випробовуваним; тільки тоді можна знайти коефіцієнт надійності тесту, як середню міру точності вимірювання. Аналогічно знаходиться і валідність тесту. Ефективний же тест, навпаки, допускає відхід від усереднювання і від фіксованої для всіх випробовуваних кількості завдань.

Особливістю ефективних тестів, на думку Пола Клайна, є дискримінативність. Досягнення задовільного розподілу показників тестових запитань є однією з цілей автора тестів.

До ефективних тестів зазвичай висуваються дві суттєві, вимоги — рівномірність кількісного розподілу за складністю множини тестових завдань в усьому діапазоні вимірювань.

Дискримінативність — це здатність окремих завдань тесту і тесту в цілому диференціювати обстежуваних відносно максимального і мінімального результатів тесту. Дискримінативність вимірюється показником дельта Фергюсона і набуває максимального значення при рівномірному (прямокутному) розподілі показників, у яких якнайповніше реалізовані усі можливі прояви вимірюваної властивості. Коефіцієнт Фергюсона — це відношення між показником дискримінативності, отриманими для деякого тесту і максимальним значенням дискримінативності, яку може забезпечити такий тест. [4]

За допомогою ретельного конструювання тесту можна забезпечити відповідний рівень дискримінативності, а це саме те, в чому тести виграють у порівнянні з іншими формами випробувань.

Складність завдання тесту – характеристика завдання, що відображає статистичний рівень вирішуваності. Показником складності тестового завдання є частка випробуваних, які розв’язали або не розв’язали дане завдання. Наприклад, якщо лише 20% випробуваних виконали завдання, його можна вважати складним для даної категорії, якщо 80% — легким.

Добір завдань за показниками складності важливий для успішного використання тестів. Так при доборі надто складних тестових завдань валідність і надійність тесту різко зменшується. Надто прості тестові завдання призведуть до одноманітності тесту і його неефективності.

Тестові завдання та їх види

Тестове завдання — складова частина педагогічного тесту, що відповідає вимогам технологічності, форми, змісту і, крім цього, статистичним вимогам:

• означеної складності;
• достатньої роздільної здатності.

Тестові завдання можна розділити на дві групи:

• закриті:
  • завдання з множиною варіантів;
  • завдання альтернативних відповідей;
  • завдання множинного вибору;
  • завдання на встановлення відповідності;
  • завдання на встановлення правильної послідовності.
• відкриті:
  • завдання вільного викладу;
  • задання-доповнення.

Функції педагогічного тестування

Тестування у педагогіці виконує три основні взаємопов'язані функції: діагностичну, навчальну і виховну:

• Діагностична функція полягає у виявленні рівня знань, умінь, навичок учня. Це основна і найочевидніша функція тестування. За об'єктивністю, широтою і швидкістю діагностування, тестування перевершує всі інші форми педагогічного контролю.
• Навчальна функція тестування полягає в мотивуванні учня до активізації роботи із засвоєння навчального матеріалу. Для підсилення навчальної функції тестування можуть бути використані додаткові заходи стимулювання учнів, такі як: роздача викладачем зразкового переліку питань для самостійної підготовки, наявність в самому тесті навідних запитань і підказок, спільний розбір результатів тесту .
• Виховна функція проявляється в періодичності і неминучості тестового контролю. Це дисциплінує, організує і спрямовує діяльність учнів, допомагає виявити і усунути прогалини у знаннях, формує бажання розвинути свої здібності.

Види педагогічних тестів

Тести можна розділити на дві категорії — традиційні і адаптивні тести.

Традиційний тест

Традиційний тест містить список запитань і різні варіанти відповідей. Кожне запитання оцінюється у певну кількість балів, що має назву «вага запитання». Результат традиційного тесту залежить від кількості питань, на які було дано правильну відповідь та суми набраних балів.

Адаптивний тест

Усі кандидати розпочинають тестування з питання легкого або середнього за складністю. Хто відповів правильно отримує наступне запитання, вищої складності, якщо відповідь була невірною, рівень складності наступного питання буде нижчим. Процес триває до тих пір, поки система тестування не визначить рівень знань кандидата.

Переваги і недоліки

У порівнянні з іншими формами контролю знань тестування має свої переваги і недоліки.

Переваги тестування

• Тестування є якіснішим і об'єктивнішим способом оцінювання, його об'єктивність досягається шляхом стандартизації процедури проведення, перевірки показників якості завдань і тестів у цілому.
• Тестування — справедливіший метод, який ставить усіх учнів в однакові умови, як у процесі контролю, так і в процесі оцінювання, практично усуваючи суб'єктивізм викладача. За даними англійської асоціації NEAB, що займається підсумковою атестацією учнів Великобританії, тестування дозволяє знизити число апеляцій більше ніж у три рази, зробити процедуру оцінювання однаковою для всіх учнів незалежно від місця проживання, типу і виду навчального закладу, де навчаються учні.
• Тести — це об'ємніший інструмент, оскільки тестування може включати в себе завдання по усіх темах курсу, тоді як на усний екзамен зазвичай виноситься 2-4 теми, а на письмовий — 3-5. Це дозволяє діагностувати знання учня по усьому курсу, виключаючи елемент випадковості при витягування екзаменаційного білета. За допомогою тестування можна встановити рівень знань учня по дисципліні у цілому і по окремих її розділах.
• Тест є точнішим інструментом, так, наприклад, шкала оцінювання тесту з 20 запитань містить 20 поділок, у той же час як звична шкала оцінювання знань — лише 4.
• Тестування є ефективнішим з економічних міркувань. Основні затрати при тестування припадають на розробку якісного інструментарію, тобто мають одноразовий характер. Затрати ж на проведення тесту значно нижчі, ніж при письмовому чи усному контролі. Проведення тестування і контроль результатів в групі з 30 осіб забирає півтори-дві години, усний або письмовий екзамен — не менше чотирьох годин.
• Тестування — це найбільш м'який інструмент, вони ставлять всіх учнів в однакові умови, використовуючи єдину процедуру і єдині критерії оцінки, що приводить до зниження передекзаменаційних нервових напружень.
• Етапи розробки тестової програми. Здебільшого у кожній моделі Життєвого циклу Розробки Програмного Забезпечення виділяють шість фаз :
• Розробка та аналіз вимог;
• Проектування;
• Впровадження (реалізація);
• Тестування;
• Розгортання;
• Технічне обслуговування.

Недоліки тестування.Розробка якісного тестового інструментарію — тривалий, трудомісткий і затратний процес. Стандартні набори тестів для більшості дисциплін ще не розроблені, а розроблені зазвичай мають низьку якість.

• Дані, що отримує викладач в результаті тестування, хоча і включають інформацію про недостатність підготовки по конкретних розділах, але не дозволяють судити про причини цих недоліків.
• Тест не дозволяє перевіряти і оцінювати високі, продуктивні рівні знань, пов'язані з творчістю, тобто імовірнісні, абстрактні і методологічні знання.
• Широта охоплення тем у тестуванні має і зворотний бік. Учень при тестуванні, на відміну від усного або письмового іспиту, не має достатньо часу для скільки-небудь глибокого аналізу теми.
• Забезпечення об'єктивності і справедливості тесту вимагає прийняття спеціальних заходів по забезпеченню конфіденційності тестових завдань. При повторному застосуванні тесту бажано внесення змін до завдань.
• У тестуванні присутній елемент випадковості. Наприклад, учень, що не відповів на просте запитання, може дати правильну відповідь на складніше. Причиною цього може бути, як випадкова помилка у першому випадку, так і вгадування відповіді у другому. Це спотворює результати тесту і призводить до необхідності врахування ймовірнісної складової при їх аналізі. [4]

Даний тест був перевірений учнями 10-х та 11-х класів сзш №304 та показав ліпші результати, аніж гетерогенний вид тестування, Загальний вигляд тестуючої програми представлений на малюнку №1

Запропанований тест знайшов 64% незнань порівняно з іншими тестами 2%-усне опитування класу,13,8% - тест на бумажному носії, 20,2%- традиційний тест на ПК з чотирма варіантами відповіді.

Початок тестування. Малюнок №1.

Вигляд програми при додаванні нової теми представлений у малюнку №2

Малюнок №2

Приклад опитування представлен на   малалюнку. №3

Результат роботи програми представлений на малюнку 4.

Опис принципу роботи програми.Генератор випадкових чисел RND вибирає ключове питання і при правильній відповіді на нього переходить на інше ключове питання. При невірній відповіді - опитує по всім питанням теми.

В ході виконання практичної частини було створено автоматизовану програму, за допомогою якої можливо використовувати мій вид тестування, який відрізняється від інших кількістю інформації та часом на виявлення області незнання.

Цей вид тестування можна описати так: при наявності деякої кількості тем та великої кількості питань в цих темах можна скоротити час тестування – не задавати кожне питання кожної теми, а опитувати по ключовому питанню в темах; при опитуванні учня задавати йому ключове питання, якщо учень відповів- переходити до наступної теми, якщо ні- опитувати всіма питанням теми.

Програма створена до використання в роботизованих системах, які використовуються для швидкого опитування та прийняття рішень по виявленню області незнання.

Створений у програмі тест обов'язково треба протестувати.

Тестування програмного забезпечення, як ремонт у будинку — процес нескінченний. Цей процес можливо лише свідомо зупинити. Тестування може бути зупинено, коли виконується одна або декілька з наступних умов:

1. Після виконання тестового сценарію — коли повний цикл тест-кейсів пройдено і останні виправлення внесені, помилки які залишаються «висіти» у баг-трекінговій системі некритичні і узгоджені зі значенням допустимого відсотка.
2. Після завершення кінцевого терміну перевірки (дедлайну) — за умови, що у системі не залишилося нічого більше пріоритетного для перевірки.
3. Програма настільки «забагована» серйозними недоліками, що подальше тестуванняпросто не має жодного сенсу.
4. Ми зупиняємося, коли нам щось нестерпно заважає! Немає потрібної інформації, в системі є блокуючий баг, і ми не можемо дістатися до тієї області, яку хочемо протестувати. Ми не маємо потрібного устаткування або необхідних інструментів. Нам не вистачає досвіду, знань, навичок, щоб виконати певні спеціалізовані тести.
5. Основні баги знайдені, шукати далі економічно не вигідно. Проте іноді трапляється ситуація: бізнес-причини для релізу настільки важливі, що жодна з уявних проблем не скасує релізу, тому що б ми не знайшли, це не має жодного значення.
6. На основі рішення зацікавлених сторін.
7. Виходячи з коефіцієнта охоплення коду — тестування може бути зупинене, коли охоплення автоматичного коду досягає певного порогового значення з достатніми прохідними показниками, без критичних помилок.
8. Quality Assurance (Забезпечення Якості) — це технологічний підхід, який перевіряє, чи є процес розробки продукту правильним та відповідає певним стандартам. Згідно цього підходу Quality Assurance — це система запобіжних заходів, визначити слабкість процесу побудови програмного забезпечення. Quality Assurance включає в себе такі заходи, як огляд документації, побудова тест дизайну: планів та розробка тестових сценаріїв, покрокова перевірка тестів, огляди, інспекція, додатковий аналіз тощо.
9. Quality Control (Контроль якості) — це продуктовий підхід. Порівнюючи з попереднім він є більш вужчим. Перевіряє, чи розроблений продукт відповідає всім зазначеним вимогам — тобто банальна перевірка на баги, дефекти. Quality Control (Контроль якості) передбачає різні типи тестування, такі як функціональне тестування, дослідницьке тестування, тестування продуктивності, usability тестування та ін.
10. Тест-план у пунктах повинен відповідати на питання:

• Які знання треба тестувати?
• Що з них будемо тестувати?
• Ключові питання до тем?
• Кого тестуємо  тестувати?
• Критерії початку тестування.
• Критерії закінчення тестування.

Отримані результати: створено програмний продукт, який значно покращив якість проведення тестування через впровадження алгоритму пошуку області незнання: групу питань вибирає генератор випадкових чисел, після невірної відповіді питання задаються по цій же групі, при вірній відповіді- тест переходить на іншу групу питань. Таким чином зменшується кількість питань, зменшується навантаження на учнів шляхом зниження кількості часу на опрацювання питань. Програмне забезпечення було опробоване у 304 школі м. Києва при проведенні тестування в 10-х класах.

Можливості удосконалення програмного забезпечення: під час роботи над проектом розглянуто можливість удосконалення програмного продукту, а саме:

Створення бази готових тестів та написання додаткових програм для пояснення роботи з тестами.

В даний час існує велика кількість видів тестів і способів тестування, але не існує такого, який би при скороченні часу не псував якості результату. Метою статті є створення автоматизованої програми, за допомогою якої можливо використовувати мій вид тестування, який відрізняється від інших кількістю інформації та часом на виявлення області незнання.Цей вид тестування можна описати так: при наявності деякої кількості тем та великої кількості питань в цих темах можна скоротити час тестування – не задавати кожне питання кожної теми, а опитувати по ключовому питанню в темах; при опитуванні учня задавати йому ключове питання, якщо учень відповів- переходити до наступної теми, якщо ні- опитувати всіма питанням теми.Програма створена до використання в роботизованих системах, які використовуються для швидкого опитування та прийняття рішень по виявленню області незнання.

Зауважимо, що з середини 50-х рр. XX ст. педагогічне вимірювання та педагогічне тестування відокремилися від психологічних досліджень і сформувалися в окрему науку — тестологію, яка має свої закони і правила, що дають можливість визначати та науково обґрунтовувати показники якості тесту. В даній роботі я пропоную працюючу удосконалену модель тесту. [5]

Висновки: проведення тестування за допомогою програми «Пошук області незнання» є дуже вдалим кроком для вирішення ситуації, яка склалася в українських школах. Перевірка теоретичних знань учнів через недоліки в методиці залишається на незадовільному рівні і потребує постійних моніторингів, які дуже громіські. Програма «Пошук області незнання» дає можливість оцінювати учнів значно швидше, ніж існуючі види тестування. Програмний продукт був вдало протестований у спеціалізованій школі №304. На базі програми «Пошук області незнання» успішно проведено 20 тестів для 10 класів. Це підтверджує те, що розроблена програма дає можливість успішно тестувати учнів у школах, а система пошуку області незнання є повністю працездатною.

На думку колег, проект виявився вдалим. Написана програма виявилася цілком працездатною. Проведені тестування програми, яке показало, що такий вид тестів виявився зручним в плані часу. Учні не мали відповідати на кожне питання кожної теми, бо це не необхідно при знанні відповіді на найголовніше питання теми. Якщо ж учень знав тему, але не відповів на головне питання, тема зараховувалась при декількох правильних відповідях поспіль, або якщо учень відповів на більшість питань в темі правильно. Цей вид тестування значно заощадив час учнів та покращив якість тестування..

Список використаної літератури

x

x6.Вікіпедія. Вільна енциклопедія (http://uk.wikipedia.org/wiki/Педагогічне_тестування)

7.http://ua-referat.com/Педагогічні_тести_Терміни_та_визначення

8.http://www.mindmeister.com/346004803/_

9.http://www.znannya.org/?view=concept:685

10.http://www.znannya.org/?view=concept:791

^[1] Спеціаліст, який у разі нестандартного перебігу хвороби будує комп'ютерну модель біохімічних процесів хвороби, щоб зрозуміти першопричини захворювання (виявляє порушення на клітинному і субклітинному рівнях).

^[2] Спеціаліст в галузі інженерної та комп'ютерної графіки, матеріалознавства, опору матеріалів, деталей машин, електротехніки, володіє просторовим мисленням, розуміє анатомію і фізіологію людини, розбирається в біосумісності матеріалів і приладів, є експертом в галузі медичної та технічної безпеки.

^[3] Спеціаліст з гарним знанням ІТ-технологій, створює бази фізіологічних даних і управляє ними, створює програмне забезпечення для лікувального і діагностичного обладнання.

^[4] Спеціаліст, який розробляє технологічний процес і підбирає матеріали і умови для формування конкретної тканини або органу. Споживачем його праці є хірург-трансплантолог.