Киркпатрик оценка эффективности обучения. Современные проблемы науки и образования

дипломная работа

1.6 Модель оценки эффективности обучения Д. Киркпатрика

Как уже неоднократно упоминалось выше, проблема оценки эффективности обучения все еще остается актуальной для многих компаний, занимающихся развитием своего персонала.

Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, еще в конце 1950-х годах, он сформулировал ныне известные 4 уровня оценки эффективности, однако его модель оценки тренингов остается одной из базовых, а его книги - наиболее цитируемыми. Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

1. Определение потребностей.

2. Постановка целей.

3. Определение предметного содержания.

4. Выбор участников обучения.

5. Формирование оптимального расписания.

6. Подбор соответствующего помещения.

7. Подбор соответствующих преподавателей.

8. Подготовка аудиовизуальных средств.

9. Координация программы.

10. Оценка программы.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности.

Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения. Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию» .

· Уровень 1 - Реакция (Reaction)

· Уровень 2 - Научение (Learning)

· Уровень 3 - Поведение (Behavior)

· Уровень 4 - Результаты (Results)

1. Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Зачастую руководство определяет необходимость участия в какой-либо образовательной программе. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.

· Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.

· Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. Позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

2. Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

3. Поведение

На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. В этих случаях кроме оценки реакции и научения рекомендуется проверить наличие следующих условий:

· Желание участников изменить поведение.

· Наличие у участников знаний о том, что и как делать.

· Наличие соответствующего социально-психологического климата.

· Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ.

4. Результаты

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Результаты не следует измерять в деньгах.

По мнению Киркпатрика, оценка на этом уровне - самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

· если возможно, использовать контрольную группу (не проходившую обучение),

· проводить оценку через некоторое время, чтобы результаты стали заметны,

· проводить оценку до и после программы (если это возможно),

· провести оценку несколько раз в ходе программы,

· сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

К принципиальным недостаткам данного подхода относится тот факт, что выделенные информационные блоки не связаны между собой, кроме этого отсутствуют механизмы обратной связи, позволяющие управлять процессом генерации и передачи знаний.. Остальные трудности связаны с неразработанностью процедурного уровня сбора информации и ее обработки. Вследствие этого:

1) обобщенные числовые характеристики объективно не отражают состояния и отношения в измеряемой эмпирической системе;

2) используемые измерительные техники не обладают свойствами валидности, чувствительности и надежности;

3) не учитывается влияние внешних факторов;

4) не ясно, как выделить «чистый эффект» от обучения».

1

Данная статья посвящена сравнительному анализу различных моделей эффективности обучения персонала, включая наиболее распространённые модели: Киркпатрика, Берна, Стаффлбима и Филлипса. Рассматриваемые модели изучены на основе вторичной информации, включая исследование, выполненное британской компанией Embrion, а также исследование американской компании ASTD с качественной точки зрения: проанализирован состав, особенности, ограничения и преимущества с недостатками каждой из них. Результаты сравнения верифицированы с помощью выполненного авторами экспертного опроса, касающегося точности и распространённости каждого из подхода к оценке эффективности обучения.. На базе полученных результатов сделаны выводы относительно применимости каждой из моделей в практике российских компаний. Кроме того авторами предложены некоторые рекомендации относительно использования этих подходов для получения большего экономического эффекта.

модель Филиппса

модель Берна

модель Стаффлбима

модель Киркпатрика

развитие персонала

оценка эффективности обучения

1. Киркпатрик Д.Л., Киркпатрик Д.Д. «Четыре ступеньки к успешному тренингу: практическое руководство по оценке эффективности обучения» Москва 2008г. С. 50-51.

2. Миронов В. Оценка обучения по Киркпатрику: проверка временем [Электронный ресурс]. – Режим доступа: http://www.top-personal.ru/issue.html?2185 (дата обращения: -01.12.14).

3. Опарина Н.Н. Оценка эффективности обучения и развития топ-менеджеров [Электронный ресурс]. – Режим доступа: http://istina.msu.ru/media/publications/articles/e4f/7fc/422942/Otsenka_effektivnosti.pdf (дата обращения: 10.11.14).

4. Скиба Е. Тема марта 06: оценка эффективности обучения. Дайджест по девяти основным моделям оценки [Электронный ресурс]. – Режим доступа: http://www.trainings.ru/library/articles/?id=6328 (дата обращения: 5.12.14).

5. Casebourne I., Downes A. Evaluation of learning –a family affair? [Электронный ресурс]. – Режим доступа: http://epiclearninggroup.com/uk/files/2013/10/WP_Evaluation_of_-learning.pdf (дата обращения: 22.11.14).

6. Passmore J., Velez M.J. SOAP- M: A training evaluation model for HR // Industrial & Commercial Training, 2012. Vol.6, № 44. P. 315-326.

7. Topno Н. Evaluation of Training and Development: An Analysis of Various Models // Journal of Business and Management, 2012. Vol. 5, № 2. P. 16-22.

В современных условиях глобализации, ожесточения конкуренции на национальных и международных рынках, одним из факторов повышения конкурентоспособности является повышение качества персонала организации. Однако, общая сумма вложений в переподготовку персонала, или различные тренинги, направленные на развитие необходимых фирме качеств отдельного сотрудника, не может служить точной оценкой полученного эффекта. Таким образом, существенную часть проблемы составляет вопрос, как оценить эффективность вложений в развитие персонала. С этой целью были разработаны отдельные модели оценки эффективности обучения, которые в основном использовали подход Киркпатрика (Kirkpatrick).

Модель Киркпатрика

Без оценки эффективности обучения невозможно выстроить систему обучения и развития, которая обеспечивает необходимые бизнес-результаты. В 1954 году Дональд Киркпатрик (Donald Kirkpatrick) защитил кандидатскую диссертацию в Университете штата Висконсин (США) по теме «Оценка эффективности управления программами» . Он предложил краткую формулу для описания цикла обучения: реакция — обучение — поведение — результаты (см. Рис.1). Эта схема необходима для эффективного обучения персонала компании, а также для получения необходимого бизнес-результата.

Рис.1 Модель Киркпатрика

Первый уровень обучения - реакция. Реакция позволяет узнать, что клиенты думают о программе, на основании ответов, тренеру необходимо внести некоторые изменения в программу, чтобы ее улучшить. Оценка первого уровня, «Реакция» очень важна, тренеру необходимо знать мнение участников о своей программе, а также слушатели должны быть уверенны, что их мнение для тренера небезразлично.

Второй уровень: полученные знания. Хорошо, если участник довольны тренингом, но это вовсе не значит, что они чему-то научились. Для оценки полученных знаний используются тесты на знание изученного материала, а также используются листы проверки умений. Тестирование заключается в следующем: через некоторое время после завершения курса участников приглашают на беседу с опытным коллегой или с супервайзером, чтобы выяснить, какие знания из тренинга они усвоили.

Третий уровень: поведение. Киркпатрик определяет этот уровень как самый важный и сложный. Именно на этом уровне происходит оценка того, как изменилось поведение участников в результате обучения, насколько полученные знания и навыки применяются на рабочем месте.

Четвертый уровень: результаты.

Главное в оценке четвертого уровня представлять себе конечный результат. Задача тренера - реализовать ожидание заинтересованных лиц, т.е. окупаемость.

Метод Дональда Киркпатрика показывает нам, как сделать из процесса обучения эффективный бизнес - инструмент, и встроить отдельно взятый тренинг в организацию, сделать обучение именно корпоративным. Подробно рассказывается, как планировать, как

ставить цели, как аргументировать руководителям необходимость обучения, и, что очень важно, как исключить ненужное обучение, если с его помощью заявленные проблемы не решаются.

На практике, однако, используются не все четыре уровня, а чаще всего только два, в порядке убывания важности (по материалам исследования проведённого ASTD - American Society for Training and Development) (см. Рис. 2).

Рис.2 Использование организациями уровней модели Киркпатрика

Таким образом, к оценке эффективности процесса обучения необходимо подходить с позиций финансового менеджмента и количественно оценивать результаты от такого инвестирования. Решение данной задачи было предложено в 1997 году Джеком Филипсом.

Модель Джека Филлипса (Jack Phillips)

В начале 90-х годов известный эксперт в области управления персоналом Джек Филлипс разработал методику оценки эффективности инвестиций в обучение сотрудников. В своей работе, изданной в 1975 г., Киркпатрик высказал неожиданную мысль: «Ни в коем случае не вздумайте переводить четвертый уровень (бизнес-результат) в деньги. Это не нужно, вы не сможете». А в 1991 г. уже другой человек, Джек Филипс, не только заявил, что это возможно, но и предложил алгоритм расчета . К уже названым четырем уровням добавился еще один - возврат на инвестиции, или расчет соотношения прибыли от проекта и затрат на него.

Этот показатель позволяет оценить эффективность обучения. Методики Филлипса хорошо работают в компаниях с регулярным менеджментом.

ROI помогает получить целый ряд выгод, в частности, руководителям компаний: оценить финансовую эффективность инвестиций в сотрудников; получить понятный и надежный инструмент определения результативности мероприятий по работе с персоналом; сделать измеримым "человеческий фактор" и его влияние на бизнес-результат компании. В первую очередь модель ROI необходима для расчета возврата инвестиций в человеческие ресурсы и в кадровые программы, когда руководство инвестирует в людей им необходимо понимать какова отдача от этих инвестиций.

Модель Стаффлбима (Stufflebeam) (CIPP)

Аббревиатура Стаффлбима (см Рис. 3) расшифровывается следующим образом:

Рис. 3 Модель Стаффлбима (Stufflebeam) (CIPP)

Модель позволяет оценить как результаты, так и сам процесс обучения и развития. Поэтому для длительных модульных программ обучения топ - менеджеров данная модель может быть успешно применена.

Модель Берна (Bern) (CIRO)

Сходна с моделью Стаффлбима схема CIPO (см. Рис. 4), разработанная Берном. Модель включает следующие этапы оценки :

Рис. 4 Модель Берна (Bern) (CIRO)

Данная модель также может применяться для оценки эффективности обучения топ-менеджеров, в особенности в условиях запуска модульных долгосрочных программ.

Преимущества и недостатки эффективных моделей обучения

	Преимущества	Недостатки
Киркпатрик	Наличие четырех уровней оценки: по реакции участников, по результатам выходного контроля, по изменению в производственном поведении и по изменениям в бизнес показателях компании. Возможность выбора для оценки эффективности обучения топ менеджера.	Сложность измерения третьего уровня, неготовность топ-менеджеров проходить процедуру оценки или работать с коучами. Отказ от оценки по финансовым показателям.
	Развитие модели Киркпатрика. Введение пятого уровня оценки эффективности обучения и развития. Возможность использовать финансовый показатель возврата на инвестиции в обучение и развитие.	Расчёт возврата на инвестиции возможен только при условии ведения полноценного управленческого финансового учёта в организации. В основном применяется для расчёта эффективности тех программ, которые являются длительными, дорогостоящими и комплексными.
Стаффлбим	Возможность оценивать, как процесс так, и результаты обучения и развития в тесной связи с целями компании.	Нечеткость методик и процедуры оценки результатов обучения и развития топ-менеджеров.
	Развитие модели Стаффлбима и частично Киркпатрика. Постановка целей, определение возможностей, выявление мнения участников об обучении и развитии, оценка результатов.		Сложность поддержания постоянной процедуры оценки эффективности обучения и развития топ-менеджеров, применение для долгосрочных программ.

В таблице представлено сравнение наиболее популярных моделей и методик оценки эффективности развития и обучения персонала с точки зрения достоинств и недостатков, включая финансовые, сложность вычисления, и так далее.

Стоит отметить, что на сегодня не существует идеальной модели эффективного обучения, которая включала бы в себя все необходимые параметры оценки. Каждая из представленных моделей имеет свои плюсы и свои минусу, которые наглядно представлены выше.

Авторами был проведен опрос 7 экспертов в области HR по наиболее точным моделям оценки эффективности обучения (каждый эксперт должен был выбрать наиболее точные модели, по его мнению, из предлагаемого списка). Данные опроса представлены ниже (см. Рис. 5):

Рис 5. Результаты опроса о точности моделей обучения

Данный опрос показал, что наиболее точными моделями обучения являются модель Киркпатрика и модель Филлипса, а наименее точными - являются модель Стаффлбима и модель Берна.

Заключение

В заключение можно сказать о необходимости учитывать разницу между западной культурой обучения и нашей. На западе корпоративное обучение давно уже стало непременным условием и частью деловой жизни, объяснять сотрудникам многих вещей не приходится. В России сейчас отношение к бизнес-обучению начало изменяться в сторону заинтересованности, и сами технологии только начинают внедряться. Таким образом, опрошенные респонденты показали, что в основном модели эффективного обучения чаще всего используют западные компании. Наиболее точными моделями можно назвать модели Киркпатрика и Филлипса. К наименее точным моделям можно отнести модели Стаффлбима и Берна, по мнению респондентов, эти модели реже всего применяются как на Западе, так и в России.

Модель Киркпатрика показывает, как сделать из процесса обучения эффективный бизнес - инструмент, и встроить отдельно взятый тренинг в организацию. Модель Филлипса помогает организации оценить финансовые результаты обучения и развития. Модель Стаффлбима позволяет оценивать, как результаты, так сам процесс обучения. Модель Берна помогает нам определить цели, возможности, мнения участников обучения. Таким образом, можно сказать, что каждая из представленных моделей имеет свои преимущества и недостатки. В настоящее время не существует идеальной модели, которая бы включала в себя сразу все параметры оценки эффективного обучения.

Рецензенты:

Путилов А.В., д.т.н., профессор, декан факультета управления и экономики высоких технологий, Министерство образования и науки Российской Федерации, федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет «МИФИ», г. Москва;

Тупчиенко В.А., д.э.н., профессор, профессор кафедры «Управление бизнес-проектами», Министерство образования и науки Российской Федерации, федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет «МИФИ», г. Москва.

Библиографическая ссылка

Удовидченко Р.С., Киреев В.С. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МОДЕЛЕЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ ПЕРСОНАЛА // Современные проблемы науки и образования. – 2014. – № 6.;
URL: http://science-education.ru/ru/article/view?id=16909 (дата обращения: 23.12.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

2 364

Разложили по полочкам, как использовать модель Киркпатрика для глубокой оценки эффективности онлайн-обучения. 15 инструментов с рекомендациями по применению.

Это продвинутый уровень оценки эффективности онлайн-курсов. Когда заказчики хотят точно понять, как корпоративное обучение повлияет на результаты работы, мы проводим исследование и используем 15 инструментов, основанных на модели Киркпатрика.

Коротко об этой модели. Дональд Киркпатрик выделил четыре уровня оценки эффективности: реакция, усвоение, поведение, результат. Рассказываем о каждом по порядку и сразу с примерами.

Эмоциональная реакция

Эмоциональный уровень оценивает, понравился курс или нет. Это не значит, что обучение, которое нравится - более эффективное, но когда человек расслаблен, мозг больше готов учиться, интереса и внимания тоже больше.

Здесь мы используем три инструмента.

Опрос «до-после» для оценки возврата ожиданий. Он показывает, насколько воплотились цели, которые участники ставили себе до начала обучения. Результаты помогают правильно формулировать цели курса и адаптировать материалы под потребности аудитории.

Например, люди идут на курс по продажам, чтобы научиться привлекать новых клиентов через реферальную систему. В курсе есть информация про это, но без практических советов: люди понимают теорию, а как это применить на практике - нет. Их ожидания от курса вернулись частично.

Оценка удовлетворенности - это общее впечатление от курса и отдельных его частей: материалов, иллюстраций, обратной связи. Результаты показывают, что создает положительное и негативное впечатление, и на основе этого можно усиливать или убирать отдельные части курса.

Например, в курсе по продажам людям понравились комиксы-иллюстрации с разбором конкретных ситуаций, а сопроводительный теоретический текст - нет. Это сигнал: убирать теорию или вынести её в отдельный блок для самых дотошных.

Контент-анализ отзывов - показывает разницу впечатлений слушателей которые завершили и не завершили курс. Для этого нужно задать вопросы в открытой форме и систематизировать ответы по категориям. Результаты покажут, как мотивировать людей проходить обучение до конца.

Например, большинство бросивших курс по продажам, говорят: информация непонятная, вопросы сложные, в целом скучно. Те, кто прошел курс, тоже отмечают непонятные материалы. Вывод - упрощать контент.

Усвоение знаний

Уровень знаний оценивает, какие знания, навыки и техники усвоили слушатели. Здесь тоже не всё просто: если человек не хочет применять новые техники или не понимает, как это сделать - обучение не будет эффективным. Чтобы желание и понимание появились, нужен «инсайт» - осознание через собственный опыт и анализ.

Здесь мы используем четыре инструмента.

Тест знаний «до-после» . Здесь всё просто: он показывает прогресс знаний по теме - или его отсутствие. Результаты могут показать, что материалы курса слишком простые, или слишком сложные, или поверхностные. С другой стороны, уровень слушателей может быть слишком высокий или низкий для этой темы. Может быть всё в порядке, и уровень знаний вырастет.

Если оценивать не весь курс, а отдельные темы, станет видно, какие знания он развивает больше. Например, в курсе о переговорах четыре темы: переговорные позиции, техники, переговорные навыки для управленческой работы и навыки в продажах. Тест показал, что знания по теме «переговорные позиции» выросли в три раза. Это можно сделать фишкой курса или подтянуть остальные темы.

Оценка прогресса по результатам тестов показывает, падает ли число ошибок по мере прохождения курса. В результате понятно, какие темы усваиваются лучше. Нельзя учесть все факторы, которые влияют на слушателя во время теста, и знать наверняка, что он не жульничает - поэтому к оценке относимся осторожно.

Например, финальный тест обычно сложнее промежуточных. Это нормально, что процент ошибок в нем выше. Если до этого ошибок с каждым тестом становилось меньше, то хороший показатель.

Связь повторного изучения материалов с результатами тестов - показывает, какие темы нужно прочитать два-три-четыре раза, чтобы результаты по ним улучшились. Решения: объяснить подробнее или изменить структуру, чтобы показать сложные вещи несколько раз с разных сторон.

Например, анализ показал, что слушатели изучают тему шесть раз, чтобы улучшить свои оценки почти вдвое. Это значит, что потенциал у нее огромный, но подача - слишком сложная. Приходится продираться.

Связь времени на изучение материалов с результатами . Это похоже на предыдущий инструмент, но здесь оцениваем, сколько времени тратят на один материал результативные и не результативные пользователи. В итоге можем определить оптимальное время для каждого и если нужно - изменить объем.

Например, результативный слушатель тратит на тему «переговорные навыки для управленческой работы» 6 минут, а не результативный - две. Можно предположить, что тему бросают, потому что она сложная, или изучают недостаточно внимательно. Тогда мы будем мотивировать пользователя работать с ней больше.

Поведенческие изменения

Самый важный показатель в оценке эффективности. Он оценивает, как люди используют новые знания на практике. Если этого не происходит - знания бесполезны, даже если человек их усвоил.

Здесь мы используем шесть инструментов.

Процент выполнения необязательных заданий . Показывает, насколько слушателю важно пройти курс полностью. Еще по итогу исследования видно, какие задания больше вовлекают, даже если делать их необязательно, а какие можно убрать из курса.

Например, половина слушателей начинает делать необязательное задание. Это хороший показатель: либо тема важная и может стать обязательной, либо сработали инструменты вовлечения.

Периодичность посещения у людей, которые завершили и не завершили курс . Это показывает, есть ли разница в стиле прохождения у разных категорий слушателей. Чтобы на это влиять, мы настраиваем отдельные уведомления для тех, кто пропадает надолго.

Например, к третьей неделе курса люди заходят меньше, а в последнюю активизируются и работают в четыре раза больше - как студенты перед сессией. Если настроить уведомления и мотивировать людей чаще заходить на второй-третьей неделе, обучение станет равномерным.

Среднее время на блок у людей, которые завершили и не завершили курс - показывает, что разные типы слушателей проходят курс в разном темпе. Это помогает адаптировать материалы под скорость, сделать процесс равномерным. Еще данные покажут, где мотивировать пользователей оставаться в системе дольше и наоборот - ускоряться.

Например, один блок курса занимает в два раза больше времени, чем остальные. Не осилив его до конца, слушатели уходят. Вывод: разбить материал на два блока - люди не будут воспринимать его как большой и сложный и смогут «съесть слона» по кусочкам.

Разделение слушателей на типы . Мы часто упоминаем типы слушателей, и это разделение - тоже инструмент оценки. Когда мы понимаем, сколько людей каждого типа проходят курс, можем адаптировать под них контент, дополнительно мотивировать и даже менять способ продвижения курса.

Например, в курсе много «заходящих» - это люди, которые читают материалы до самого конца, но не выполняют задания или выполняют абы как. Значит, им нужно доказать ценность заданий и мотивировать на высокие результаты.

Социальная активность людей, которые завершили и не завершили курс , показывает связь обучения с активностью в чатах, общением с другими слушателями, обменом опытом. Этот инструмент не влияет на качество курса, но может подсказать способы мотивации людей с помощью социальных заданий.

Если пользователи оставляют много отзывов о курсе, можно пообещать дополнительный балл за пост в социальной сети. Это одновременно мотивация и реклама курса.

Главное, чтобы награда не противоречили логике начисления баллов: если люди должны потрудиться в обучении, чтобы их заработать, награда за отзыв будет нелегитимной.

Четырехуровневая модель оценки Киркпатрика
Пожалуй, самая известная модель оценки учебного процесса – модель Дональда Киркпартика Четырехуровневая модель оценки, которая впервые была представлена в серии статей в 1959 в the Journal of American Society of Training Directors (теперь известный как T+D Magazine). Данная серия была позднее скомпилирована и опубликована в виде статьи Techniques for Evaluating Training Programs в книге под редакцией Киркпатрика Evaluating Training Programs в 1975 году.

Тем не менее, четыре уровня модели Киркпатрика стали популярными только после выхода его книги Evaluating Training Programs в 1994 году. В наше время эти четыре уровня стали краеуголным камнем индустрии обучения.

В то время как большинство специалистов рассматривают эти четыре критерия оценки процесса обучения как «уровни», сам «Киркпатрик никогда не использовал данный термин, обычно он называл их шагами (Craig, 1996). Добавлю, что он не называл это моделью, но использовал для обозначения слова такие как «техники для проведения оценки» “techniques for conducting the evaluation” (Craig, 1996, p294).

Данные четыре шага состоят из:

Шаг №1: Обратная связь или реакция (далее в тексте я буду называть первый уровень – Обратная связь) ( Reaction ) – Насколько учащимся понравился/не понравился учебный процесс?;

Шаг №2: Обучение ( Learning ) -Что они изучали? (степень усвоения знаний и навыков учащимися);

Шаг №3: Поведение ( Behavior ) – Что изменяется в рабочей деятельности обучаемого в результате процесса обучения? (способность применять приобретенные в учебе знания и навыки в работе);

Шаг №4: Результаты ( Results ) – Каковы осязаемые (материальные) результаты процесса обучения в терминах снижения затрат, улучшения качества работы, увеличения выпуска продукции, повышения эффективности и т.п..?

Концепция Киркпатрика весьма важна, поскольку это отличный инструмент для планирования, оценки, диагностики проблем, особенно если мы внесем в нее незначительные улучшения, показанные ниже.

Не только для тренинга

Некоторые специалисты ошибочно предполагают, что модель Киркпатрика может применяться для тренинга (здесь имеется ввиду процессы формального обучения: тренинги, семинары – прим. Э.Б.), но модель может бы использована в работе с другими учебными процессами. К примеру, профессия Human Resource Development (HRD) связана не только с развитием процессов формального обучения, таких как тренинг, но также других форма, таких как неформальное обучение, развитие, наставничестве и воспитание (Nadler, 1984). В руководстве, изданном одним из основателей Human Resource Development (HRD) Leonard Nadler (1984), используется четырехуровневая модель Киркпатрика, как главная модель оценки учебного процесса.

Сам Киркпатрик писал: «Эти цели (ссылаясь на свою статью) будут относиться к обучению в классе (in-house classroom programs). Многие процедуры и принципы применяются ко всем видам учебной активност, таким как анализ эффективности деятельности, участие во внешних программах, программированное обучение, чтение специально подобранной литературы» (Craig, 1996, p294).

Развитие четырехуровневой модели

В силу «возраста» модели, а также с появлением новых, современных технологий, модель Киркпатрика часто критикуется за то, что она слишком устарела и проста. Но тем не менее, и спустя пять десятилетий после ее презентации, не нашлось адекватной модели, способной заменить модель Киркпатрика. И я уверен, причина, почему замены моделей не происходит, в том, что Киркпатрик был в основном прав, но он допустил несколько небольших ошибок:

Мотивация, а не обратная связь (Motivation, Not Reaction)

Когда обучаемый двигается в потоке учебного процесса, как например e-learning курс, эпизод неформального обучения или получая помощь от наставника в выполнении своей рабочей деятельности, он должен принимать решение, на что в первую очередь обращать свое внимание. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка. В дополнение, исследование оценки Обратной связи обычно показывают, что это не валидный инструмент оценки успешности (см. последнюю часть статьи Критика)

Это отличается от слов Киркпатрика (1996), который писал, что Обратная связь – это то, насколько обучаемые оценивают отдельный учебный процесс. Тем не менее, чем меньшее значение имеет учебный материал для учащегося, тем больше усилий нужно приложить для разработки и презентации данного материала. Следовательно, если учебный материал не имеет отношения к потребностям самого обучаемого, тогда учебный материал должен «цеплять» обучаемого навороченным дизайном, юмором, играми и т.д… Это не означает, что дизайн, юмор или игры неважны; тем не менее, их использование в учебном процессе гораздо больше, чем просто делать процесс веселым, они помогают и продвигают учебный процесс. И если учебный материал построен на основе ясных целей и дизайна, тогда это помогает учащемуся преодолеть разрыв между существующей и требуемой деятельностями. Следовательно, они (дизайн, юмор, игры) должны мотивировать к обучению – если это не происходит, значит что то пошло наперекосяк в процессе планирования и создания учебного процесса! Если вы вдруг поймаете себя на мысли, что пытаетесь зацепить обучаемых с помощью всяких заманух (дизайн, юмор, игры), вам, видимо, стоит пересмотреть цели вашего учебного процесса.

Деятельность, а не поведение (Performance, Not Behavior)

Деятельность (performance) лучше поведения (behavior), поскольку деятельность имеет два аспекта: поведение является средством и следствием поведения являются результаты. И собственно эти результаты нас интересуют больше всего Gilbert noted (1998).

Обратите это в Лучшую Модель

Модель, где два наиболее важных пункта – результаты и поведение находятся в конце, является перевернутой с ног на голову, поскольку важность пунктов отпечатывается в голове людей в порядке их расположения. Таким образом мы разворачиваем модель в обратную сторону и добавляем вышесказанное и получаем:

Результат (Result ) - Какое влияние (последствие или результат) улучшит ваш бизнес?

Деятельность (Performance ) – Что должны сделать работники, чтобы достичь желаемого эффекта?

Обучение (Learning ) – Какие знания, навыки, ресурсы им нужны, чтобы выполнять свою деятельность? (курсы и занятия в аудитории должны быть последними в списке)

Мотивация (Motivation ) – Что им нужно для того, чтобы осознанно учиться и выполнять деятельность?

Данная модель становится инструментом как планирования, так и оценки =диагностики проблем (Chyung, 2008):

Цели (планирование)	Уровень оценки
Каковы цели нашей компании для развития бизнеса?	Результаты Почувствован ли ожидаемый эффект?
Что наши обучаемые должны уметь выполнять, чтобы достичь этих целей?	Деятельность Были ли перенесены обучаемыми полученные навыки в работу?
Какие новые навыки, знания и ресурсы требуются обучаемым, чтобы они смоглы выполнять деятельность?	Обучение Осваивали ли обучаемые необходимые навыки и/или ресурсы?
Что обучаемым требуется для того, чтобы осознанно учиться и выполнять деятельность?	Мотивация Они мотивированы учиться и выполнять работу?

Исправленная модель может теперь быть использована для планирования (левая колонка) и оценки (правая колонка). В дополнение, это может быть использовано для диагностики проблемных зон процесса обучения. К примеру, вы знаете, что работники получили необходимые навыки в процессе обучения, но не применяют их в процессе работы, тогда становятся очевидными следующие проблемные зоны (в данном примере это ячейка Деятельность или ячейка слева от нее):

Существует нечто в рабочем окружении работника, что ограничивает применение им полученных им навыков; или

Сама исходная предпосылка, что данные навыки приведут к изменению в работе, неверна.

Диаграмма ниже показывает, как приведенные процессы исправленной модели сочетаются друг с другом

Организация

1. Результаты

Суммирующая оценка

Деятельность

2. Рабочая среда

Формирующая оценка

Учебная среда

3. Обучение

Формирующая оценка

Люди

4. Мотивация

Формирующая оценка

Как показывает вышеприведенная диаграмма, Оценка Результатов наиболее интересна руководству бизнеса, в то время как остальные три уровня оценки (деятельность, обучение и мотивация) являются основными для проектировщика обучения в компании для планирования и оценки учебных процессов; и конечно Оценка Результатов также важна для него, поскольку является поставщиком целей развития бизнеса.

Уровень первый – Результаты

Результаты или влияние

Несмотря на то, что обычно наиболее труден и трудозатратен, чем другие три уровня, это дает информацию, которая имеет огромную ценность: она доказывает ценность процессов обучения и выполнения деятельности. Тем не менее, использование модели Цели/Планирование/Оценка должно упростить и облегчить процесс, и вы будете иметь ясную картину того, что вы стараетесь достичь. То есть. Когда вы что-то начинаете планировать, у вас больше возможностей понять, как оценивать это.

Мотивация, Обучение и Деятельность в большей степени вопрос «мягких» единиц измерения (так называемые нефинансовые метрики); тем не менее, лица, принимающие решения, которые утверждают учебные процессы, предпочитают результаты (возврат инвестиций или влияние). Jack Phillips (1996), который вероятно знает лучше других четырехуровневую модель Киркпатрика , пишет, что ценность информации становится значительно выше, если мы идем от мотивации к результатам.

Вышеприведенное не означает, что другие три уровня бесполезны, в самом деле, выгода от их использования заключается в локализации проблем в учебном процессе:

Оценка мотивации информирует вас, насколько соответствует учебный процесс ожиданиям обучаемых (это измеряет, насколько хорошо отработан процесс анализа учебного процесса). Вы можете иметь корректными все другие уровни, но если обучаемые не увидят целей обучения и деятельности, они (обучаемые) вероятно не достигнут целей обучения.

Оценка обучения информирует вас, насколько учебный процесс действительно работает на обучение работников (эта оценка измеряет, насколько хорошо работает проектирование и развитие учебного процесса и материала).

Оценка деятельности информирует вас, насколько усвоенные навыки действительно конвертируются в деятельность работников (это измеряет, насколько хорошо отработан процесс анализа деятельности).

Оценка результатов информирует вас о том, что получает организация взамен того, что она вкладывает в поддержку процесса обучения. Лица, принимающие решения, обычно предпочитают результаты в твердых единицах измерения, хотя и не обязательно в долларах и центах. К примеру, опрос финансовых и IT руководителей показал, что они считают возврат вложенных средств на обучение клиент-ориентированных технологий как в твердых (hard), так и в мягких единицах измерения(soft), хотя удельный вес больше именно в не финансовых метриках (soft), таких как удовлетворенность и лояльность клиентов (Hayes, 2003).

Замечу о разнице между «информацией» и «возвратом средств». Измерения Мотивации, Обучения и Деятельности дает вам информацию для улучшения и оценки учебного процесса, который в бОльшей степени принадлежит проектировщикам обучения в компании; в то время как измерение Результатов дает вам показатель возврата инвестиций в учебный процесс, который больше связан с руководителями бизнеса.

Измерение Результатов может быть выполнено в подходе сбалансированных показателей (balanced scorecard) (Kaplan, Norton, 2001), которые показывают влияние или возврат инвестиций с четырех позиций:

Финансовая: измерение в показателях, таких как ROI, которые показывают монетарный возврат инвестиций, или насколько выходы процесса эффективны. Финансовые показатели могут иметь как «мягкие», так и «твердые» единицы измерения результата.

Клиентская: улучшение поля, где организация выстраивает свои различия от конкурентов в привлечении, удержании, построении глубоких и долгосрочных отношений с целевыми клиентами

Внутренняя: достижение совершенства за счет улучшения таких процессов как процесс управления поставками, производства или технической поддержки.

Инновации и обучение: учебный процесс поддерживает изменение организационного климата, инноваций и индивидуальное развитие

Уровень второй - Деятельность

Данная оценка включает в себя тестирование способностей обучаемого включать приобретенные в процессе обучения навыки в работу. Эта оценка может быть выполнена формально (тестирование) или неформально (наблюдение). Она определяется тем, как отвечают на вопрос: Используют ли работники вновь приобретенные навыки в процессе работы?

Очень важно измерять деятельность, поскольку базовая цель корпоративного обучения улучшать результаты через передачу работникам новых знаний и навыков с тем, чтобы затем они применяли их в работе. Измерение деятельности должно быть постольку, поскольку работники делают свою работу; в измерении должен принимать обычно тот специалист, кто тесно связан с обучаемым: супервайзер, тренированный наблюдатель или интервьюер.

Уровень третий – Обучение

Это показатель того, насколько глубоко обучаемые усваивают знания, развивают навыки и изменяют установки и отношение как результат участия в учебном процессе. Оценка обучения обычно требует пост тестирования с целью установить, какие навыки были усвоены обучаемыми в течение процесса, какими навыками обучаемые уже обладают.

Измерение выходов учебного процесса важно с точки зрения валидизации цели обучения. Измерение обучения обычно сфокусировано на следующих вопросах:

Какие знания были приобретены?

Какие навыки были развиты?

Какие установки были изменены?

Ассессмент обучаемых создается с целью убедиться в способности обучаемого выполнять деятельность. Есть два аспекта этого процесса: собственно сбор информации и данных (тестирование обучаемых) и оценка данной информации (о чем эти данные сообщают?). Данный ассессмент не следует путать с оценкой обучения (evaluation ). Ассессмент показывает прогресс и индивидуальные достижения обучаемых, в то время как Оценка обучения (evaluation ) в целом об оценке программ обучения (Tovey, 1997, p88).

Уровень четвертый – Мотивация

Оценка на этом уровне измеряет показатель, как обучаемые воспринимают и реагируют на процессы обучения и деятельности. Этот уровень измеряется с помощью опросника установок (attitude questionnaires – мотивационных опросников), предлагаемого после многих учебных занятий. Обучаемые чаще всего прекрасно осознают, что им необходимо, чтобы выполнить задание. Если учебный процесс не удовлетворил их потребности, то нужно определиться: или это ошибка педагогического проектировщика (специалиста, конструирующего учебный процесс в компании), или обучаемые не оценили преимуществ процесса.

Когда обучаемый приступает к изучению учебного материала, неважно, что это: eLearning, mLearning, аудиторные занятия или обучение через социальные медиа, он должен принять решение, на что, в первую очередь, он обращает внимание в этом материале. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка.

Критика

Есть три проблемных допущения модели Киркпатрика: 1) уровни не расположены в порядке возрастания (нет иерархии уровней); 2) уровни не связаны причинно между собой; 3) уровни имеют положительную корреляцию между собой (Alliger and Janak, 1989).

Единственная часть четырехуровневой модели Киркпатрика, которая не выдержала проверку временем, - Обратная связь (первый уровень). К примеру, школа Тренер XXI века имеет одни из самых низких показателей по первому уровню – уровню обратной связи, но отвечает за высокие показатели деятельности (четвертый уровень), которыми измеряют продуктивность своих выпускников. И это не единичный случай: от исследования к исследованию результаты показывают очень низкую корреляцию между Обратной связью и тем, насколько хорошо работники выполняют деятельность после прохождения обучения (Boehle, 2006).

Гораздо важнее, чем измерение обратной связи, как мы установили, является подготовка обучаемых к учебному процессу через беседы с руководителем о необходимости участия в обучения с последующим их сопровождением с тем, чтобы убедиться в усвоении навыков, переданных в процессе обучения (Wick, et al. 2006), и это еще одна из причин, почему «Обратную связь» надо поменять на «Мотивацию».

Четырехуровневая модель Киркпатрика применяется только после окончания учебного процесса. В то время как цель оценки должна заключаться в сопровождении всего учебного процесса, начиная с начальной стадии – стадии, предваряющей учебный процесс.

На самом деле, эта критика не является точной. К примеру, The ASTD Training & Development Handbook (1996), изданная Robert Craig, включает главу Киркпатрика с простым названием «Оценка». В этой главе Киркпатрик обсуждает контрольные группы, а также методы «до и после» (такие как пре- и посттестирование). Он продолжает обсуждать, что четвертый уровень должен включать пост-тренинг оценку три или более месяца спустя после окончания учебного процесса с тем, чтобы проконтролировать, как обучаемые стали применять навыки, полученные в ходе обучения. Далее Киркпатрик замечает, что Оценка должна быть включена во все стадии учебного процесса не только в течение каждой сессии или модуля, но и после каждого предмета или темы.

Модель четырех уровней работает только для аудиторного обучения, но не для других форм обучения

Как было замечено в части «Не только для тренинга» (см. выше), Киркпатрик писал о возможности использования модели четырех уровней для других типов обучения и HR, которая помогает обеспечить обслуживание процессы и формального, и неформального обучения, и где модель Киркпатрика выступает одной из основных моделей оценки. И может быть, настоящей причиной того, что адвокаты неформального обучения не видят пользы от применения модели Киркпатрика в том, что четыре уровня «были изобретены не под них».

Четыре уровня оценки имеют малое отношение для других подразделений компании и направлений бизнеса

Одна из лучших книг по обучению и развитию The Six Disciplines of Breakthrough Learning , написанная Wick, Pollock, Jefferson, Flanagan (2006). Они, видимо, выдвигают самую обоснованную, критику, что я видел: «К сожалению, эта модель не имеет широкого распространения среди менеджеров бизнес направлений, кто непосредственно связан с результатами обучения. Поэтому, когда руководители департаментов обучения пишут или говорят в терминах уровней оценки модели Киркпатрика со своими коллегами в бизнесе, то это это вместо прояснения чаще запутывает обсуждение и требует дополнительных усилий для выстраивания понимания между бизнесом и функцией обучения».

И вполне возможно, что данная критика направлена по сути не против самой модели Киркпатрика , но против тех из нас, кто выстраивает коммуникации с бизнесом. Мы говорим бизнесу: первый уровень показывает, насколько счастливы обучаемые от обучения, на втором уровне они успешно прошли тест и т.д. по всей модели. Кроме того, согласно исследованиям, которые я видел, результаты обучения используются редко (как раз то, что ценится бизнесом больше всего). Все другие уровни оценки могут быть полезны только в процессе проектирования учебного процесса, поскольку они помогают нам понять, какой тип оценки применить в какой проблемной ситуации. Тем не менее, за этими рамками, эти уровни никому не интересны. Большая часть менеджмента интересует лишь влияние обучения и ответ на вопрос: те ресурсы, что мы потратили на обучение работников, дают вклад в развитие и процветание нашего бизнеса?

Модель Киркпатрика

1) реакции. Участники тренинга положительно реагируют на тренинг непосредственно после его завершения;

участники тренинга положительно реагируют на его завершение 🙂

2) знания. Участники выучили материал тренинга;

3) поведения. Участники применяют на работе то, что они изучили на тренинге;

4) ROE. Тренинг имеет положительные результаты для организации;

Критика модели Киркпатрика:

Существует несколько доводов, критикующих модель Киркпатрика. Во-первых, последние исследования, совершенные Элвудом Холтоном и Джорджем Аллигером, бросают тень сомнения на иерархический аспект модели. Их исследования показали, что корреляции между уровнями иерархии Киркпатрика либо малы, либо несущественны. Во-вторых, когда с тренинговой программой что-то не так (низкий трансфер), модель не определяет причину проблемы и что с ней делать. В-третьих, модель не учитывает другие переменные, такие как мотивация участников, само-эффективность или условия организации. В-четвертых, модель не обладает высокой степенью точности. Например, второй уровень, «знания», не определяет – декларативные это знания или процедурные. Также, сложно измерить первый уровень, «реакции»: участники могут тренинг ненавидеть, получать от него удовольствие, он им может нравиться, показаться приятным, скучным, интересным. Но самый главный аргумент, заключается в том, что по модели Киркпатрика, оценка любого тренинга должна основываться на одних и тех же переменных. Современный взгляд на оценку эффективности тренинга предполагает, что методы оценки должны выбираться исходя из целей оценки.