1. загальні положення
2. Визначення ситуації оцінювання якості ВНЗ
3. «Дерево показників»

В указі Президента РФ від 7 травня 2012 року «Про заходи щодо реалізації державної політики в галузі освіти і науки» одним з пунктів наказано «до 1 квітня 2013 року забезпечити формування незалежної системи оцінки якості роботи організацій, що надають соціальні послуги, включаючи визначення критеріїв ефективності роботи таких організацій і введення публічних рейтингів їх діяльності ».

Сьогодні автори статті під рубрикою «Дискусія» представляють власну розробку оцінювання якості освітніх організацій вищої освіти на основі методів кваліметрії, а також ініціюють формування національного рейтингу - Російського рейтингу вузів.

загальні положення

Відповідно до директив Міністерства освіти та науки РФ 1., а також стосовно до практики побудови більшості зарубіжних і вітчизняних методик рейтингування вишів, якість функціонування вищих навчальних закладів може бути представлено у вигляді «дерева», на першому рівні якого знаходяться три компоненти (складні властивості) - як показано на малюнку 1.

Необхідно відзначити, що в переважній більшості випадків вітчизняні та зарубіжні розробники подібних методик (зазвичай званих методиками рейтингування вишів) застосовують такі алгоритми кількісного оцінювання якості функціонування вищих навчальних заведеній2, які дозволяють будь-яку сукупність однорідних вузів (однорідних за спрямованістю навчання; за характером фінансування діяльності; по ведучому - освітньому або дослідному - направленню їх діяльності та ін.) проранжувати так, що вузи з пов ой сукупності можна зіставити між собою в шкалі рангів (шкалою порядку) з метою з'ясувати, який з них краще або гірше інших. Але не наскільки і тим більше у скільки разів краще або гірше (таке зіставлення забезпечує тільки шкала відносин).

Зрозуміло, що вимір (оцінювання) якості вузу в шкалі відносин дає більшу і точнішу інформацію, ніж вимір в шкалі рангів. Не дивно, що автори цієї статті для своїх досліджень з рейтингування вишів віддали перевагу саме шкалу відносин. Зробимо ще одне важливе зауваження. Як відомо, методологію і проблематику кількісного оцінювання якості об'єктів будь-якої природи (в тому числі і в сфері педагогіки, а це значить - і при рейтингуванні ВНЗ) вивчає наукова дисципліна квалиметрия. Тому тут і надалі будемо діяти відповідно до розробленого в теоретичної кваліметрії алгоритмом рейтингування якості функціонування вузу (зрозуміло, з урахуванням прийнятої вище шкали відносин).

Стосовно до вітчизняних ВНЗ це рейтингування має статус національного (на відміну від глобального, що дозволяє порівнювати не тільки вітчизняні, а й зарубіжні вузи3). З урахуванням сказаного природним є запропонувати йому назву Російський рейтинг вузів (РРВ).

Основні положення РРВ визначаються прийнятим в кваліметрії алгоритмом проведення кваліметріческого аналізу.

Визначення ситуації оцінювання якості ВНЗ

Коли це не суперечить принциповим засадам кваліметрії, тут і надалі будуть застосовуватися основні терміни з цієї області знання. Зокрема, терміни «ранжування», «рейтинг», «рейтингування» використовуються в наступній трактуванні.

Ранжування (ранжування) - 1) процес упорядкування (за зростанням або спаданням деякої ознаки) сукупності об'ектов4 вищої освіти (предметів або процесів) з метою отримання інформації про місця, що займає об'єктом за цією ознакою серед інших об'єктів сукупності; 2) результат упорядкування об'єктів по зростанням або за спаданням деякої ознаки.

Рейтінг5 вузу - місце, займане вузом в упорядкованому по спадаючій (глобальному, національному, регіональному, галузевому або ін.) Ранжируваному списку. Причому його порядковий номер несе кількісну інформацію про якість (або про властивості, які складають якість) вузу в порівнянні з іншими вузами списку. Ця інформація найчастіше буває виражена в шкалі порядку (в шкалі рангів), а при виконанні деяких умов - навіть і в шкалі відносин.

Рейтингування - процес обчислення рейтингу ВНЗ. Отже, основні характеристики, що визначають ситуацію оцінювання вузу, вказані в таблиці 1.

збільшити зображення

Зазвичай у світовій практиці використовуються три основні форми аналізу функціонування вузів:

• одномірний ранжування - має на меті одержання агрегованого показника освітньої і дослідницької діяльності вузу;
• багатовимірне ранжування - не з'єднує оцінку освітньої і дослідницької діяльності вузів в одному агрегированном показнику;
• класифікація - система розподілу вузів за групами на основі їх характеристик: наприклад, за спрямованістю навчання (медичні, сільськогосподарські, будівельні тощо).

З урахуванням обмежень обсягу матеріалу, що викладається тут і надалі всі необхідні пояснення будуть даватися в основному стосовно до вибраного для прикладу державному вузу інженерної спрямованості, оцінюваного за принципами одновимірного ранжирування. Адаптація викладається далі методології стосовно до інших видів вузів або до інших форм ранжування не повинна викликати у читача серйозних труднощів.

Як уже зазначалося, описувана технологія аналізу якості функціонування вузу в значній мірі спирається на механізм ранжирування. У свою чергу роботу цього механізму стосовно до задачі рейтингування вишів бажано (як наслідок загальної тенденції зближення зі світовою спільнотою) детермінувати узгодженням з міжнародною практикою. У зв'язку з цим відзначимо, що приводиться в подальшому матеріал, за невеликим винятком, відповідає духу і букві прийнятих світовою спільнотою дв ух основополага чих док ументов в області рейтингування вишів.

1. Берлінські принципи ранжирування вищих навчальних закладів. Прийнято на конференції IREG-2 в 2006 році. Визначають вимоги, яким повинні задовольняти при рейтингуванні ВНЗ дії з постановки цілей і завдань, вибору методології, визначення «ваг» критеріїв, збирання й опрацювання даних, а також визначення форми представлення результатів. Дотримання цих принципів забезпечує «хороше ранжування».

2. Критерії оцінки методологій рейтингування «Правила аудиту рейтингів» (IREG Ranking Audit Rules). Прийнято в травні 2011 року виконавчим комітетом Наглядової ради Міжнародної експертної групи з визначення рейтингів університетів (IREG) спільно з Організацією економічного співробітництва та розвитку, ЮНЕСКО та Світовим банком7.

Широка популярність і популярність цих двох документів призвели до того, що засновані на них рейтинги, незважаючи на безперервну хвилю критики, розглядаються більшістю університетів як один з інструментів входження в глобальний простір вищої освіти та, на думку деяких сучасних дослідників, набувають характеру «нав'язливої ​​ідеї» для міжнародного університетського співтовариства. Вже до теперішнього часу існує як мінімум 50 національних рейтингів, зареєстрованих Обсерваторією по академічному ранжирування і вдосконалення, а також не менше 7 глобальних рейтингів. І їх кількість постійно збільшується. Взагалі, рейтинги дуже популярні у широкого кола користувачів. Університети інвестують значну кількість часу для участі в рейтингах, розглядаючи їх як один з інструментів маркетингової політики, підвищення конкурентоспроможності.

А ряд провідних російських університетів навіть поставив в якості цілей реалізації програм свого розвитку входження в міжнародні рейтинги. Хоча при цьому, згідно з даними Європейської асоціації університетів, міжнародні (глобальні) рейтинги в даний час охоплюють не більше 3 відсотків університетів світу (близько 17 тис.).

Але повернемося до теми створення Російського рейтингу вузів (РРВ). Головні принципи його методології розроблені на основі критичного аналізу 19 зарубіжних та міжнародних методологій рейтингування з урахуванням специфіки нашої країни. Дана методологія повинна забезпечити:

• надійну інформацію про якість діяльності вузу і положенні того чи іншого з них серед інших національних вузів;
• облік різноманіття російської системи вищої освіти і її функцій;
• інформаційну підтримку різних споживачів освітніх послуг, що дозволяє через уявлення легко інтерпретується інформації орієнтуватися в широкому розмаїтті вузів і пропонованих ними послуг;
• сприяння інтеграції вузів в глобальний освітній та дослідницький простір, оскільки положення в рейтингу є важливим сигналом їх конкурентоспроможності;
• функціонування РРВ як джерела надійних даних для глобальних і регіональних рейтингів.

Ключові характеристики створення і функціонування РРВ викладені нижче в основних положеннях методології РРВ.

Основні положення методології РРВ

1. Тип рейтингу: національний.
2. Мета рейтингу: служити моделлю при створенні інших російських національних типів рейтингів. Завдання рейтингу: надавати вихідну інформацію при створенні інших національних типів рейтингів.
3. Цільові групи: основні споживачі (абітурієнти, учні, батьки, викладачі вузів), широка аудиторія (інші вузи, роботодавці, ЗМІ, окремі міністерства та відомства, НВО і НКО, експертне співтовариство).
4. Статус: заснований і проводиться державними структурами.
5. Періодичність: щорічна.
6. Об'єкт рейтингування: всі вузи РФ, в перспективі - вузи, що входять в глобальний список TOP-500.
7. Активність участі вузів у рейтингуванні: в перші п'ять років - 50 відсотків вузів країни, в подальшому - 90 відсотків.
8. Предметні області рейтингу (наприклад): інженерні вузи.
9. Регіони охоплення: усі регіони РФ.
10. Рівні освіти, які поставлені рейтингом: бакалаврат / специалитет, магістратура, аспірантура, докторантура.
11. Методологія побудови рейтингу: визначення ситуації оцінювання, побудова «дерева властивостей», визначення «ваг властивостей», визначення абсолютних і відносних значень показників властивостей, згортка показників і формування рейтингів.
12. Результат рейтингування: ранжируваних список вузів.
13. Ключові проблеми, пов'язані з використанням: специфічні проблеми кваліметрії.
14. Місце російських вузів в міжнародних (глобальних) рейтингах: визначається тільки після появи російських глобальних рейтингів.
15. Репутація рейтингу: ефективний і привабливий показник якості вузу для користувачів, що не надто часом і ресурсами для пошуку докладної інформації про діяльність вузу; визначається тільки після накопичення досвіду застосування РРВ.

Після визначення ситуації оцінювання можна переходити до ключового розділу статті - конструювання «дерева показників».

«Дерево показників»

На початку статті зазначалося, що її мета - правильний вибір тих показників РРВ, які дають інформацію про освітню компоненті функціонування вузу.

Найчастіше в процесі рейтингування ці показники бувають представлені у вигляді одного або декількох невпорядкованих списків, що відображають освітню діяльність вузу з різним ступенем повноти (в залежності від того, яка організація складає рейтинг).

На відміну від цього, в методології кваліметрії, покладеної в основу РРВ прийнятий інший принцип формування враховуються показників. А саме:

• по-перше, всі показники представлені не у вигляді певного (хоча б і ранжированного) списку, а у вигляді деякої впорядкованої ієрархічної структури, званої в теорії графів «дерево»;
• по-друге, всі показники, крім звичайних вимог, передбачених Берлінських принципів, повинні задовольняти ще трьом вимогам:

a) завжди бути представлені у вигляді «дерева»;

б) іноді (коли допустимо мати рейтинг, обчислений в шкалі рангів, а не в шкалі відносин) мати структуру у вигляді неповного (замість повного) «дерева»;

в) або допускати немонотонну залежність між абсолютними і відносними показниками.

На схемі буде показано таке «дерево», синтезоване на основі врахування досвіду побудови одновимірних ранжировок вузів, розроблених найвідомішими в світі глобальними та національними організаціями. Але потрібно мати на увазі, що велика частина показників, які використовуються в цих шести глобальних системах ранжування, оцінюють в основному дослідницьку діяльність вузів. Автори вважають такий підхід принципово неправильним - хоча б тому, що в РРВ оцінюється навчальний заклад, а не науково-дослідна установа.

Відзначимо, що «дерево» має відображати і потреби різних цільових груп, що задовольняються вузом. Тому тут повинна відображатися інформація і про результати вкладень в освіту (можливість працевлаштування випускників вузу або отримання ними спеціальних знань або навичок; наявність відомих в академічному середовищі викладачів і наукових співробітників або можливість отримання додаткових доходів). Якісні ранжирування також повинні надавати інформацію про умови споживання послуг (наявність спортмайданчиків і спортивних залів, студентського гуртожитку, підприємств харчування і медицини). Оскільки для позначення елементів «дерева» в різних джерелах застосовуються неоднакові терміни-синоніми (наприклад, параметр, індикатор, властивість, показник і ін.), Тут і надалі, як це прийнято в кваліметрії, буде використовуватися термін «властивість». І, нарешті, кожне з цих властивостей має задовольняти вимогам релевантності8 і валідності9.

Для зручності «дерево» РРВ представлено як правосторонній спрямоване в нестрогой графовой формі (див. Рисунок 2).

PS Решта операції РРВ будуть описані в наступних статтях цієї серії публікацій.

1. У даній статті аналізуються три з чотирьох компонент, запропонованих експертами Міністерства освіти та науки (оскільки «Фінансово-економічна діяльність» вже входить до складу інших компонент).
2. Терміном «вузи» будуть позначатися університети, інститути, вищі школи і аналогічні їм коледжі.
3. Розробка глобального рейтингу для вітчизняних вузів передбачена в найближчому майбутньому.
4. Найчастіше, за відсутності іншої домовленості, об'єктом є вуз.
5. У західній літературі іноді замість цього застосовується термін «таблиця ліг».
6. Фізичний знос відноситься тільки до матеріальних об'єктів.
7. IREG-Ranking Audit. Purpose, Criteria and Procedure // IREG Observatory on Academic Ranking and Excellence. 2011. URL: http://www.ireg-observatory.org/pdf/IREG_audit.pdf (date of access: 15.12.2011).
8. Релевантність (індикатора, показника) - відносна значимість індикатора згідно з експертною оцінкою і думку зацікавлених осіб.
9. Валідність (від франц. Valide - законний, дійсний) - правильність моделей і методів, а також процесів застосування моделей і методів, перевірена найчастіше на основі експертного аналізу.