На питання журналу «Акредитація в освіті» відповів генеральний директор Науково-дослідного Інституту моніторингу якості освіти, доктор технічних наук, професор Володимир які наводнили.

- Володимире Григоровичу, до яких висновків ви прийшли, аналізуючи підсумки моніторингу ефективності діяльності вузів 2017 роки?

- Висновки, як то кажуть, невтішні.

По-перше, вимальовується безстороння статистика. Цього року моніторинг проводився в п'ятий раз. За цей час, з 2013 року по 2017-й, російська система вищої освіти втратила близько тисячі вузів та філій. Виходить, виключаючи вихідні і свята, в середньому кожен робочий день Рособрнадзор закривав одну освітню організацію. Такого процесу ніколи в історії не було. Треба сказати, не тільки в Росії, а взагалі ніде.

По-друге, «інформаційний шум» (величезна кількість даних), постійні зміни правил гри і методик розрахунку не дозволяють освітнім організаціям оперативно моделювати і прогнозувати свої показники.

- В такому разі має сенс робити якісь прогнози?

- Вважаю, що все-таки так. Треба бути хоч якось морально готовим до не дуже передбачуваною реальності.

Більш того, нами створено таке програмне забезпечення, яке дозволяє з певним ступенем імовірності моделювати майбутні ситуації. Але спочатку - не про це. Давайте подивимося на технологічний ланцюжок складання рейтингу.

Будь-яке рейтингове агентство має вирішити чотири завдання:

- формування показників;

- збір даних по позначених показниками;

- верифікація даних;

- розрахунки, побудова рейтингу.

Три завдання з чотирьох вирішило профільне міністерство. Перше, формулювання показників - це дуже важливо. По суті, це завдання вектора розвитку системи, системи поглядів на розвиток освіти в країні. Друге, дуже складне завдання - зібрати дані. Це може робитися за відкритими джерелами або шляхом спеціалізованого збору. Завдання вирішується, але як показав досвід, є величезна кількість невідповідностей. Третє, проводиться верифікація даних. Ну і, нарешті, всі розрахунки зводяться до поділу на «ефективні» і «неефективні» вузи.

- Досить грубий поділ.

- Дуже грубе. Адже що виходить? Є вузи, легко подолали всі порогові знамення, є подолали з великими труднощами, є майже подолали і є не подолали майже за всіма показниками. У зв'язку з цим виникає завдання - описати більш тонкий інструмент розподілу на групи або. інакше кажучи, ліги, а не валити все в одну купу.

- За результатами моніторингу ефективності 2016 роки ви побудували таблицю семи ліг. Складався чи подібний рейтинг за результатами 2017 роки?

- Так, ми продовжили цю роботу, удосконалили методику, і 7 ліг виявилося недостатньо, зробили 10.

Поясню. Публікація «Сім відтінків моніторингу» 1 викликала величезний інтерес, було багато дзвінків, звернень. Особливо по формуванню останньої, 7-ї ліги, куди потрапили всі «неефективні» вузи. Вона виявилася дуже великою: від тих вузів, які «трохи не дотягли до ефективних», до тих, хто дійсно дуже погано виглядає. Тому постало завдання розширити кількість ліг. Хочу підкреслити, що вибір кількості ліг - це справа розробників. Поки ми зупинилися на 10. Подивимося, як цей механізм буде працювати.

- Що нового в цьому році в порівнянні з минулим?

- По-перше, була вдосконалена методика за рахунок збільшення кількості ліг і введення додаткових параметрів, які необхідні для розрахунку. По-друге, були зроблені розрахунки не тільки за новими даними за 2017 рік. але і «розрахунки назад» за всі п'ять років проведення моніторингу. Це дозволяє аналізувати розвиток системи освіти.

Нагадаю, що в основу лягла методика державної акредитації для визначення порогових значень '. Правда, коли двадцять років тому вона створювалася, як порогового значення пропонувалася нижня квартиль, яка по кожному акредитаційної показником ділила вузи на 75% кращих і 25% гірших. У моніторингу в якості порогового значення була взята медіана, що розділила вузи навпіл: на 50% кращих і 50% гірших. За кожним показником моніторингу ефективності вуз потрапляє в одну з чотирьох груп: А - 25% кращих. В - якщо входить в 50% кращих, але не входить в область А, С - якщо значення показника вище порогового, але не входить ні в область А. ні в область В. і. нарешті, й - якщо значення показника нижче порогового. Плюс в цьому році ми додали оцінку Е - значення показника нижче нижньої квартили і не входить в область О.

Кожна освітня організація отримала за показниками моніторингу певний набір оцінок. Вручну це зробити надзвичайно важко, тому було створено спеціальне програмне забезпечення.

Воно отримало назву LiftUp. розміщено на сайті msd-nica.ru , І будь-хто може ним скористатися. Причому не тільки для аналізу поточного стану і зіставлення з попередніми результатами, але і для прогнозу і моделювання майбутніх результатів моніторингу ефективності.

- Що ж показують результати? Переміщаються чи освітні організації по лігам?

- Дивовижний результат: у 2017 році тільки Російський державний університет нафти і газу (національний дослідницький університет) ім. І М. Губкіна отримав всі оцінки «А» і виявився єдиним вузом першої ліги. До речі сказати, він займає ці лідируючі позиції вже третій рік поспіль.

В цілому зміни, що відбулися можна відстежити на сайті msd-nica.ru, де повна версія рейтингу за результатами моніторингу ефективності представлена ​​в формі таблиці ліг.

Якщо ми подивимося розподіл вузів по лігам, то побачимо, що воно близьке до нормального. Тобто в 1-2-й і 9-10-й лігах досить мало вузів. а основна маса зосереджена в 4-6-й лігах. Ми зробили таблиці, в яких наведено, як протягом п'яти років змінювалося кількість вузів по лігам. Однозначної порівняння тут не відбувається. Спостерігається ось такий ефект: кількість вузів, по яких є дані на сайті міністерства, різне. У перший рік було оброблено тисяча вісімсот сімдесят чотири освітні організації, потім кількість падає, і це було б цілком обгрунтовано, оскільки кількість вузів і їхніх філій скорочується. але ось чомусь в 2016 році відбувся сплеск - кількість оброблених організацій збільшилася, а в 2017 році знову впало. Тому, мабуть, тут має сенс говорити не про кількісний порівнянні, а про процентне співвідношення.

Погана новина полягає в тому. що стало менше лідерів, але хороша новина - зменшилася кількість тих, що відстають. Різко зменшилася кількість вузів і філій, що знаходяться в "червоній зоні». Це ліги 8-10. Багато є тому причин. Одна з них. що їх просто, дійсно, стало менше - слабкі вузи та філії закриті. По-друге, частина результатів була не оброблена. Ну і треба сказати, що все-таки система реагує. П'ять років моніторинг проводиться. Вузи підлаштовуються під ті правила, які є сьогодні, і підтягують свої показники - цілком закономірний процес. Але. на жаль. не можна сказати, що він йде рівно по роках. Багато, звичайно, залежить від правил гри, вони з року в рік змінюються. Але разом з тим. правила однакові для всіх, тому всі знаходяться в однакових умовах.

На сайті msd-nica.ru представлена ​​також додаткова можливість проаналізувати інформацію не тільки по лігам, але і по суб'єктах федерації. І можна подивитися динаміку конкретного вузу по роках, порівнявши його, припустимо, не тільки з регіональними конкурентами або по федеральному округу, а й за профілем: наприклад, медичні з медичними.

- Цікаво, які показники виявилися надзвичайно складними в цьому році?

- На першому місці по невиконанню очікувано показник - Працевлаштування »: він нижчий порогового значення у кожній другій організації. Але. схоже, проблема не на боці вузів. Взяти хоча б дані, представлені по працевлаштуванню випускників Московського державного університету ім. М.В. Ломоносова. Не може бути, щоб вони були нульові, а в таблиці саме так.

Розмовляла Катерина Сіндеева.

Фрагмент статті з журналу "Акредитація в освіті" №6 (98) 2017 р

Методика рейтингу:

По кожному з безлічі значень показників ефективності вузів (з урахуванням специфіки) проводиться ранжування в порядку убування значень показника.
Виділяються 5 областей (A, B, C, D, E). Для кожної області присвоюється вага:
• Область A - значення показника вище значення 1-ої квартили. вага +5
• Область B - значення показника вище порогового і вище медіани, але не входить в область A. Вага +3
• Область C - значення показника вище порогового, але не входить в область A і B. Вага +2
• Область D - значення показника нижче порогового, але вище 3-ої квартили. вага 0
• Область E - значення показника нижче порогового і не входить в область D. Вага -1
На основі попадання значень показників в області обчислюється індекс J, як сума ваг приналежності до областям.
Якщо значення показника вище порогового, то він позначається, інакше значком
Якщо ВНЗ виконав 4 і більше показників (ефективний), то він позначається, інакше значком

Всього виділяється 10 ліг:
• Ліга 1: Ефективні ВНЗ у яких J = 35
• Ліга 2: Ефективні ВНЗ у яких 29 <= J <= 34
• Ліга 3: Ефективні ВНЗ у яких 22 <= J <= 28
• Ліга 4: Ефективні ВНЗ у яких 18 <= J <= 21
• Ліга 5: Ефективні ВНЗ у яких 13 <= J <= 17
• Ліга 6: Ефективні ВНЗ у яких 9 <= J <= 12
• Ліга 7: Ефективні ВНЗ у яких 0 <= J <= 8
• Ліга 8: ВНЗ, які виконали менше 4-x показників і 4 <= J <= 13
• Ліга 9: ВНЗ, які виконали менше 4-x показників і 1 <= J <= 3
• Ліга 10: ВНЗ, які виконали менше 4-x показників і J <= 0

Переглянути рейтинг

Повна версія публікації у вкладенні