Велике інтервʼю з директоркою УЦОЯО про успіхи й хиби НМТ-2023 та плани на НМТ-2024

Основна сесія НМТ-2023 закінчилася ще 23 червня, однак обговорення щодо тестування і досі активно ведуться в соцмережах.

Цьогоріч НМТ супроводжувало багато труднощів, як-от численні повітряні тривоги та хакерські атаки, які сповільнювали систему. Також раніше розповідали, що це тестування “стало безпрецедентним щодо кількості виявів недоброчесності серед абітурієнтів та абітурієнток”.

Водночас зауваження щодо різної складності тестових форм в Українському центрі оцінювання якості освіти вважають несправедливими, як і твердження про те, що за кордоном інструктори тимчасових екзаменаційних центрів (ТЕЦ) менше стежили за учасниками.

В інтерв’ю “Новій українській школі” директорка УЦОЯО Тетяна Вакуленко поділилася першими підсумками основної сесії НМТ-2023 та відповіла на найбільш популярні питання, які хвилюють абітурієнтів та їхніх батьків.

У новому матеріалі читайте:

• як в УЦОЯО оцінюють проведення НМТ-2023;
• які зауваження щодо проведення тестування є справедливими, а які – ні;
• з якими труднощами зіштовхувалися вступники в Україні та за кордоном;
• які способи винаходили абітурієнти, аби обманути систему, та яке покарання на них чекало;
• чи публікуватимуть у відкритому доступі тестові форми за 2023 рік;
• чому абітурієнти не можуть ознайомитися зі своїми помилками та подати апеляцію на результат;
• які уроки винесли з організації основної сесії НМТ цьогоріч.

Далі – пряма мова.

“ЧЕРЕЗ ПОВІТРЯНІ ТРИВОГИ НА ДЕЯКИХ ЗМІНАХ ТЕСТУВАННЯ ТРИВАЛО ДО 21:30”: ЯКІ ТРУДНОЩІ ВИНИКАЛИ ПІД ЧАС НМТ-2023

• Як ви оцінюєте організацію і проведення основної сесії НМТ у 2023 році?

Безперечно, це була досить складна сесія і через численні повітряні тривоги, які переривали тестування, і зависання системи, і хакерські атаки. Але основна сесія НМТ таки відбулася і 260 381 учасник уже отримав свої результати та може далі вступати до вишів.

• У мережі виникло чимало обговорень та зауважень щодо проведення НМТ-2023. Які помилки насправді були, а які зауваження – несправедливі?

Зауваження щодо технічних проблем під час тестування – справедливі. Ми зіштовхнулися з великою кількістю хакерських атак, більшість із яких була із території росії. Зловмисники намагалися перевантажити нашу систему тестування, тому вона підвисала.
Також у перші дні тестування дійсно були випадки списування. Деякі з учасників намагалися користуватися мобільними телефонами чи іншими додатковими ресурсами. Інструктори в аудиторіях активніше із цим боролися і вже до середини сесії було значно менше абітурієнтів, яких вилучали з тимчасових екзаменаційних центрів (ТЕЦ) за списування.

Водночас несправедливими є нарікання на складність тестових форм. Дехто стверджує, що тестові форми були різні за складністю і наводять приклад якогось одного завдання, мовляв, воно в когось було простішим.

Тому варто наголосити, що тестова форма оцінюється не за складністю конкретного завдання, а за сукупністю всіх завдань разом. Тож якщо в тестовій формі було якесь доволі просте завдання, то це означає, що інше завдання в тесті компенсувало складність. Те, що ми бачимо в реальній статистиці, підтверджує, що всі тести в різних варіантах були ідентичні за складністю.

Також є учасники, які зауважують, що в закордонних ТЕЦ інспектори менше стежили за учасниками й там можна було списувати. З матеріалів екзаменаційних центрів, відгуків реальних учасників та самих педагогів ми знаємо, що це не правда. І навіть були випадки, коли, на жаль, учасників вилучали із центрів саме через порушення.

Тож персонал тимчасових екзаменаційних центрів за кордоном зупиняв будь-які спроби використання сторонніх додаткових матеріалів і технічних засобів.

Усі фахівці, які залучаються до роботи в ТЕЦ як в Україні, так і за кордоном, пройшли належне навчання щодо реагування на такі випадки. Також їх упродовж усього періоду тестування супроводжують фахівці регіональних центрів оцінювання якості освіти.

• Які найбільші труднощі виникали під час проведення НМТ в Україні?

Звісно, це повітряні тривоги. Цьогоріч під час основної сесії їх було дуже багато, особливо в східних та південних регіонах. Були зміни, коли лунало й по декілька тривог під час тестування. Учасники по кілька разів переривали роботу і проходили в укриття. Тому тестування в деяких абітурієнтів могло тривати не три години, як заплановано, а п’ять і більше. У нас навіть були ситуації, коли учасники працювали над тестами до 21:30, тому що не хотіли йти на додаткову сесію.

У таких випадках персонал тимчасових екзаменаційних тестів ішов назустріч і залишався впродовж тривалого часу разом з учасниками для завершення тестування. Адже зрозуміло, що для прифронтових регіонів та територій, де ведуться активні бойові дії, питання логістики дуже складне. Також ніхто не дає гарантій, що й на додатковій сесії не буде повітряних тривог. Тому часто працівники ТЕЦ йшли назустріч і працювали до останнього учасника.

Тож повітряні тривоги – це найбільша перепона для того, аби тестування відбувалося як належно. Коли учасники повертаються з укриттів після закінчення тривоги, їм доволі складно сконцентруватися, зібрати себе, побороти хвилювання і надати максимальну кількість правильних відповідей із трьох предметів.

На жаль, понад 500 осіб через повітряні тривоги не змогли пройти тестування під час основної сесії. Усі вони братимуть участь у додатковій. Я і мої колеги сподіваємося, що на цей раз тестування все ж таки відбудеться і всі учасники отримають свої результати.

• Чи можливе проведення НМТ одразу в укриттях, щоби на випадок повітряної тривоги учасники не переривали свою роботу?

Щоби обладнати в укриттях ТЕЦ, потрібні неабиякі зусилля організаторів на місцях. Адже ми говоримо не просто про укриття, а про те, що це місце має бути обладнане відповідною комп’ютерною технікою або техніка має бути туди перенесена разом з елементами живлення та безперебійним інтернетом.

Також приміщення має бути сухим та комфортним для перебування впродовж тривалого часу. Адже наші учасники перебувають у ТЕЦ до чотирьох годин (з урахуванням часу на інструктажі та саме тестування). Також мають бути обладнані й туалетні кімнати.

Одночасно ми тестуємо 15 000 учасників, тому наразі дуже складно організувати все тестування в укриттях у необхідній кількості.

Однак і цього, і минулого року були випадки, коли ТЕЦ розташовували в захисних спорудах, наприклад, у Запоріжжі. Це просто фантастична, злагоджена робота і представників закладів освіти, й обласної військової адміністрації, і департаменту освіти, які сприяли тому, щоби такі пункти тестування функціонували.

• А з якими труднощами зіштовхнулися абітурієнти за кордоном?

Явка учасників тестування в Україні виявилася вищою, ніж за кордоном. Загалом серед вступників спостерігалася складність із логістикою. Тимчасові екзаменаційні центри працювали в 30 країнах, часто тестування відбувалося в столицях або інших великих містах. Однак не всі учасники живуть там, тож їм потрібно було доїжджати. Іноді навіть з іншого куточка країни.

Звісно, ми завчасно просили учасників спланувати свій маршрут та розібратися в ньому. Але потрібно враховувати, що наші українські вступники не є місцевими, вони часто не знають мову країни перебування, тому їм може бути складно знайти ТЕЦ та вчасно прибути для проходження тестування.

РЕКОРДНА КІЛЬКІСТЬ СПИСУВАННЯ ТА ВІДСУТНЯ МОЖЛИВІСТЬ ДЛЯ ПЕРЕГЛЯДУ ПОМИЛОК: ІНШІ ЗАПИТАННЯ ПРО НМТ

• Раніше повідомляли, що цього року під час НМТ була рекордна кількість випадків списування. На вашу думку, чому так сталося і які заходи провели щодо учасників, які намагалися обійти систему?

Так, дійсно були такі випадки. Загалом за час основної сесії ми нарахували 90 учасників, яких виключили з тимчасових екзаменаційних центрів за порушення.

Основною з причин було саме списування через:

• користування телефонами (у комп’ютерах та ноутбуках була заблокована можливість виходити в мережу);
• дзвінки до вчителів;
• нотатки на ногах, руках та одязі;
• передачу права на тестування сторонній особі (ред. 12 червня під час першої зміни НМТ з’явилося відео про те, як стороння людина виконувала вдома завдання НМТ замість вступника, який у цей час був у ТЕЦ).

Усіх порушників наші співробітники вирахували до завершення тестування і 90 учасникам анулювали результати. Це означає, що вони не зможуть узяти участь у додатковій сесії та вступити цього року до вишу принаймні якщо в них немає результатів минулого року.

Загалом із понад 260 000 учасників це невеликий відсоток тих, хто списував. Але кожна така ситуація створює середовище, яке нібито натякає учасникам, що так можна. Водночас порушення правил є надзвичайно ризикованим, адже інструктори все фіксують і учасники втрачають право на вступ у рік тестування. Потім до нас звертаються батьки, кажуть, що ми позбавляємо дітей вступу, що це дуже жорстоко, це всього лиш одна помилка.

Далі все це переходить у площину особистих історій і кожна з них є важливою для працівників УЦОЯО. Кожну історію ми намагаємося сприймати особисто й це дуже складно. Часом батьки й учасники пояснюють, що телефон був у дитини випадково, мовляв, забула покласти у відведене місце. І десь я можу припустити, що є вступники, які дійсно випадково можуть мати при собі телефон, адже ми всі звикли до гаджетів.

Але оскільки є й інший бік, як-от свідоме порушення процедур, списування, намагання передавати тестові завдання в мережу іншим учасникам, вчителям тощо, то, звичайно, такі ситуації розглядаються організаторами виключно як порушення правил, яке обов’язково призведе до анулювання результату.

• Чимало учасників нарікає на технічні проблеми під час виконання тесту. Скажіть, у чому причина та як будете це виправляти?

У нас було передбачено, що одночасно в тестуванні може брати участь 15 000 учасників у межах однієї зміни. У деякі зміни ми отримували значно більшу кількість запитів на сторінку, наприклад, в одну зі змін це становило 140 000 одночасних запитів. У такий спосіб хакери намагалися перенавантажити наш сервер численними запитами. Тому були учасники, які мали труднощі з входом до системи й збереженням результатів.

Коли система підвисала, усім учасникам додавали час для проходження іспиту. Але якщо ситуація була вже занадто критичною, то вступники могли взяти участь у додатковій сесії оцінювання. Для цього вони могли звернутися до регіонального центру із заявою про участь упродовж трьох днів із дня проведення тестування основної сесії.

• Також деякі учасники скаржилися, що нібито після повернення з укриттів попередні відповіді в тесті не зберігались. Чи справді це так?

Насправді деяким учасникам так могло здатися. Коли учасники поверталися до попередньої сторінки, дійсно могли зникати крапки на відповідях (ідентифікатори відповідей). Але відповідь насправді була збережена.

Спеціально цього року ми додали панель, яка чітко фіксувала надані відповіді й допомагала учасникам розуміти, які відповіді були збережені, а які – ні. Після вибору кожного з варіантів потрібно було додатково натиснути кнопку “Зберегти відповідь”. Деякі учасники цього не робили, тому система їх попереджала про це та нагадувала.

Також, коли учасники хотіли завершити роботу, то обов’язково отримували повідомлення про те, на які завдання ще не надали відповіді. Тоді можна було повернутися до тих завдань і завершити їх. Якщо в повідомленні було вказано, що на всі завдання відповідь надано, то ці відповіді були збережені.

• Якщо й під час додаткової сесії, яка триває з 11 до 24 липня, також будуть технічні проблеми, що робити учасникам у такому випадку?

Ми разом із фахівцями тимчасових екзаменаційних центрів намагаємося зробити все, щоб у межах додаткової сесії всі учасники мали можливість пройти оцінювання. Якщо ж ми матимемо випадки, коли й під час додаткової сесії будуть якісь проблеми пов’язані з технічними показниками чи повітряною тривогою, то будемо їх вирішувати, коли проаналізуємо результати цієї сесії. Минулого року такого не було й ми сподіваємося, що цього року ми також зможемо цього уникнути. У будь-якому разі в додатковій сесії бере участь значно менша кількість вступників, ніж в основній, тому сподіваюся, попри можливі труднощі, вони зможуть пройти оцінювання.

• Чому вступники не можуть ознайомитися зі своїми помилками, а всі завдання НМТ-2023 не публікуватимуть у вільному доступі?

Дійсно, під час отримання результатів учасники можуть бачити лише свої бали. Якби учасники отримали свої відповіді або помилки одразу після завершення тестування, це могло б створити неконкурентні умови участі в оцінюванні.

Наприклад, хтось зміг би за годину пройти тестування, отримати всі свої помилки й далі намагатися передати цю інформацію. Це могло б погано вплинути на результат інших учасників.

Щодо публікації завдань, то, як і минулого року, ми не публікуватимемо всі завдання НМТ-2023. На це є декілька аргументів:

• тестування НМТ не є навчальним чи тренувальним тестом. Це вступний тест, основна мета якого – розподіл учасників оцінювань;
• наразі в нас є 25 варіантів тестів, на противагу двом тестовим зошитам, які були раніше на ЗНО і які ми публікували. Усе тому, що зараз учасники проходять тестування не одночасно (через обмежену пропускну здатність платформи є певні обмеження щодо кількості одночасних учасників).

Щоби розробити ці варіанти, потрібен час і ресурси. Уже другий рік поспіль ми проводимо велику кількість змін тестування. Це означає, що ми маємо за рік розробити в рази більше тестових форм, аніж раніше. Та ресурсів, насамперед людських, більше в нас не стало. А ці тестові форми, які не потрапили в мережу і які не оприлюднюватимуться, ми хочемо використовувати в наступні роки.

Якби ми оприлюднили всі 25 варіантів, це означало би, що до вересня ми вже мали б велику кількість тренувальників із цими тестовими формами й учасники витрачали свій час, лише тренуючись на них, але не навчаючись розв’язувати тестові завдання;

• коли ж учасники знають, що завдання будуть іншими, то вони намагаються зрозуміти хід розв’язання того чи іншого завдання, чому вибір є саме таким. Якщо ж це будуть ті самі завдання, то все перетвориться лише на запам’ятовування правильної відповіді для її пізнішого відтворення в межах наступних тестів.

Тому цьогоріч після оприлюднення звіту про результати НМТ-2023, ми опублікуємо одну розгорнуту тестову форму, де також покажемо статистичні характеристики кожного тестового завдання. Це дуже важливий інструмент насамперед для педагогів, тому що така характеристика, як-от складність тестового завдання, показує, який відсоток учнів правильно розв’язав те чи інше завдання. Тоді педагоги можуть оцінити, які теми виявилися складними для учнів та що потрібно доопрацювати.

Наприклад, часто вступники допускають помилки в темах, які не стосуються навчального матеріалу останніх років, а вивчались у 6–7 класах.

Також хочемо додати ще одну тестову форму для закріплення результату. Першу тестову форму можна використати для первинної діагностики (у межах 10–11 класу). Потім, попрацювавши з учнями та надолуживши певні теми, пройти ще один тест і подивитися, чи стали результати кращими.

• На вашу думку, чому цьогоріч зменшилася кількість учасників, які отримали 200 балів з одного предмета на НМТ? Наприклад, у 2022 році майже 6 000 учасників набрали 200 балів із НМТ, а цьогоріч – 3 685.

Не можна порівнювати результати цьогорічного НМТ із минулими роками. Адже цьогоріч, порівняно з 2022 роком, у нас збільшилася тривалість тестування і кількість завдань. Якщо минулого року учасники мали виконати максимально 20 тестових завдань, то цього року в середньому на різних предметах їх було 30. Очевидно, що є різна ймовірність припуститися помилки, виконуючи 20 та 30 завдань, навіть якщо тестові форми абсолютно аналогічні за складністю. Саме тому маємо іншу кількість учасників, які отримали 200 балів з одного предмета.

Так само не можна порівнювати результати НМТ із зовнішнім незалежним оцінюванням, тому що під час ЗНО на кожен предмет виділяли до трьох годин, були завдання з наданням розгорнутої форми відповіді, загальна кількість завдань у тестах була більшою. Тому порівнювати тут неможливо.

Цьогоріч 200-бальників очікувано більше, ніж у класичному ЗНО, тому що це різна тестова форма, й очікувано менше, ніж у минулорічному НМТ, тому що більше завдань.

Але, звичайно, нам хотілося б, щоб тестові форми були наближеними до тих, які ми використовували в класичному ЗНО. Тому що там були ті формати завдань, які є важливими для педагогічної складової та закладів освіти, адже учні також вчаться для того, щоб висловлювати свою думку, критично аналізувати зміст інформації тощо. Усі ці компетентності важко проявити повною мірою на коротких тестових формах.

Наприклад, раніше з математики були завдання, які передбачали аналіз екзаменаторами саме ходу розв’язання. І це є важливим джерелом інформації для освітян, адже можна побачити, на якому етапі розв’язання сталися помилки та надати рекомендації, як їх уникнути.

Також під час написання власного висловлювання вступники аргументують певну думку, наводять переконливі приклади й взагалі формують своє бачення. На тестових завданнях це дуже складно зробити, тому, безперечно, хотілося б, щоб завдання із відкритою формою відповіді теж були.

• У яких випадках можна подати апеляцію і в який термін?

Учасники НМТ можуть подавати апеляційні заяви щодо:

• порушення процедури проведення НМТ у тимчасовому екзаменаційному центрі (ТЕЦ);
• відмови в реєстрації для участі в НМТ;
• недопуску до участі в додаткових сесіях НМТ.

Їх опрацьовують регламентні комісії при регіональних центрах оцінювання якості освіти та апеляційна комісія при УЦОЯО. Остання також вивчає ситуації, пов’язані з оскарженням рішень регіональних комісій.

Наприклад, щодо участі в додатковій сесії: учасник пропустив основну сесію і подав до регіонального центру заяву щодо участі в додатковій. Однак регламентна комісія при регіональному центрі, зваживши обставини, не визнала їх поважними (як-от запізнення) і відмовила в участі.

Тоді учасник може звернутися до апеляційної комісії при УЦОЯО, щоби пояснити докладніше всі обставини. Якщо учасник/ця запізнився/лась, бо, наприклад, був/ла в лікаря і тепер має довідку-підтвердження (якщо на момент подачі заяви до регіональної комісії її не було), то рішення можуть ухвалити на користь учасника/учасниці.

Також апеляційна комісія вивчає всі обставини, пов’язані з порушеннями процедури проходження тестів як із боку учасників, так і з боку організаторів.

У тимчасовому екзаменаційному центрі учасники можуть написати заяву про порушення процедури оцінювання, а впродовж трьох днів із дня проходження НМТ до регіональних центрів мають звернутися ті вступники, які пропустили тестування з поважних причин.

Знаю, що багато учасників обурювалися щодо того, що в нас немає апеляції на результат, як це було на ЗНО. Однак потрібно враховувати, що апеляцію під час ЗНО можна було подавати лише щодо завдань із відкритою формою відповіді, де була можливість суб’єктивного оцінювання.

На завдання, які передбачають автоматизовану перевірку відповіді, у нас і раніше не було передбачено жодної процедури апеляції.

Однак, якщо ми знаходили помилку в самому завданні, то, звісно, ми зараховували це завдання як правильне й без апеляцій. Наприклад, цьогоріч була помилка в тесті з математики, який учасники виконували 9 червня під час 2 зміни. В одному із завдань неправильно ввели математичний знак. Як наслідок, правильними виявилися одразу два варіанти відповіді. Тому ті учасники, які надали одну з можливих двох правильних відповідей на це завдання, отримають свій бал.

• Які уроки можемо винести з організації НМТ-2023 та що плануєте вдосконалити в наступному році?

Поки зарано озвучувати якісь глобальні висновки, адже ми ще перебуваємо в процесі тестувань (додаткова сесія НМТ, тестування для вступників у магістратуру та додаткові сесії для них). Тому ми докладаємо всіх зусиль для аналізу накопиченого за 2023 рік досвіду й формування відповідних висновків.

Але УЦОЯО гнучко реагує на виклики. Наприклад, ті ж самі технічні проблеми у вступників у магістратуру вже майже не з’являються, бо розробники тестової платформи змогли знайти способи розвʼязати це питання.

Однак уже за результатами основної сесії НМТ зрозуміло, що:

• потрібно працювати над подальшим удосконаленням платформи для тестування, щоб ймовірність технічних проблем дорівнювала нулю;
• консультування інструкторів ТЕЦ щодо роботи в центрах та попередження недоброчесності варто розпочинати ще раніше. Ще більше розповідати та показувати, як можна виявити списування, що із цим робити тощо;
• проведення тестувань у таку велику кількість змін досить виснажливе для організаторів та педагогів, які майже цілодобово працюють упродовж декількох тижнів.

Наприклад, інструктори починають свою роботу о 8:00, а завершують о 18:00. Якщо ж були повітряні тривоги, то в кращому випадку зміна триває до 19:00, але були й випадки роботи до 22:00. Це теж є викликом. Тому нам би хотілося зменшити кількість змін тестування, але це можливо лише через розширення потужності платформи, а також збільшення кількості комп’ютерних робочих місць у регіонах.

Проведення НМТ надзвичайно складна робота і я хочу подякувати всім обласним військовим адміністраціям, департаментам освіти, педагогам-інструкторам, які допомагають організовувати тестування і цілодобово працюють навіть у свої відпустки. Це приклад великої відданості професії.

Тож важливим завданням є пошук спроб зменшити навантаження на людей, однак зараз є обмеження щодо техніки та потужності системи. Тож ми надалі намагатимемося розв’язувати ці проблеми.

Ірина Троян, “Нова українська школа”

Титульне фото: “Смарт освіта”