Методика оценки эффективности обучения. Современные методы обучения персонала и оценка их эффективности
Основными направлениями совершенствования труда персонала являются:
1) обеспечение максимального соответствия индивидуальных качеств личности, занимаемой должности;
2) совершенствование форм разделения и кооперации труда;
3) совершенствование системы оплаты и стимулирования труда работников;
4) рациональная планировка и оснащение рабочих мест оргтехникой, техническими средствами связи и обслуживания;
5) улучшение санитарно-гигиенических и психофизиологических условий труда (создание температурного режима, уровень шума, удобство мебели);
6) внедрение передовых приемов и методов труда.
Очевидно, что реализация перечисленных мер является достаточно затратным мероприятием. Именно поэтому процесс совершенствования труда на предприятии должен обязательно включать систему оценки экономической и социальной эффективности данного процесса.
Под экономической эффективностью понимается результативность деятельности предприятия. Существует прямая зависимость между инвестициями в персонал и результатами финансово-хозяйственной деятельности предприятия, но экономический эффект достигается только в том случае, если на предприятие действует отлаженная система управления персоналом, включающая в себя такие элементы, как:
1) профессиональный отбор и приём персонала;
2) профессиональная ориентация и адаптация персонала;
3) мотивация персонала;
4) аттестация персонала;
5) профессиональная подготовка и повышение квалификации персонала;
6) другие элементы системы управления персоналом.
Любое предприятие является не только экономической, но и социальной системой. Как социальная система, предприятие включает в себя людей, их взаимодействия, отношения и связи. Эти связи, взаимодействия и отношения носят устойчивый характер в рамках предприятия. Именно поэтому совершенствование труда персонала даёт и социальный эффект.
Но не следует забывать, что главная цель предприятия - получение прибыли. Именно поэтому экономическая эффективность деятельности предприятия всегда стоит на первом месте. Но также не следует забывать, что результат деятельности предприятия зависит от его работников, именно поэтому, преследуя экономические цели, необходимо рассматривать и социальный, человеческий аспект проблемы. Таким образом, правильно рассуждать не отдельно об экономической или социальной эффективности совершенствования труда, а об социально-экономической эффективности в совокупности.
Экономическая эффективность проекта характеризуется системой экономических показателей, отражающих соотношения связанных с проектом затрат и результатов и позволяющих судить об экономической привлекательности проекта. Для оценки эффективности внедрения проекта необходимо расчитать следующие показатели: денежные потоки, срок окупаемости проекта, дисконтируемый доход и др.
Экономическая эффективность обучения определяется соотношением между суммарными затратами на организацию и проведение учебного процесса и финансовыми результатами обучения, выраженными в виде прироста полезных результатов деятельности предприятия, увеличения его потенциала, снижения затрат на обеспечение функционирования предприятия.
В зависимости от целей мероприятия. Процесс обучения может быть отнесен как к инвенциям, так и к расходам. В случае направленности обучения на повышение мотивации персонала, при неопределенности четких целей обучения, потраченные на обучение средства относят к расходам, следовательно, результатом такого обучения является повышение лояльности сотрудников к организации. Если организация получает дополнительные выгоды от проводимого обучения, то такие затраты можно отнести к инвестициям.
При подготовке программы обучения в сторонней организации менеджер по персоналу проводит поиск инвестиционных концепций: исследует показатели экономической эффективности, рассматривает условия обучения, оценивает финансовые возможности. На этапе реализации менеджер по персоналу проводит переговоры со сторонними организациями, заключает договора, определяет логистику процесса обучения. На данном этапе обычно проводиться оценка начального и конечного уровня владения персоналом знаниями и навыками, степень удовлетворенности тренингом. На эксплуатационном этапе менеджер по персоналу организовывает поддержку и совершенствование полученных знаний и навыков, оценивается, как изменилось поведение участников в рабочей обстановке.
На этом этапе рекомендуется ввести расчет возврата на инвестиций (ROI - Return on Investment), чистого дисконтированного дохода, срока окупаемости. Для применения методики Филлипса необходимо изолировать его итоги от воздействия других факторов для определения добавленной стоимости обучения. Осуществить это можно следующими способами: провести анализ динамики изменений интересующего показателя за год; сравнить одни и те же производственные показатели у сотрудников, прошедших обучение, и тех, кто не посещал образовательные мероприятия; воспользоваться методами экспертной оценки. Методика расчета ROI.
Повышение квалификации персонала является необходимым условием эффективной работы. Технологии, оборудование и материалы постоянно совершенствуются и для их применения на практике персонал должен иметь соответствующую квалификацию. По этим причинам в данной организации необходимо проведение тренинга по повышению квалификации.
Тренинг проводиться в сторонней организации с привлечением высококвалифицированных тренеров и специалистов, прошедших обучение за рубежом, имеющими опыт работы со многими видами оборудования и материалов.
Технологии современного ремонта и окраски
Материалы и технологии
Колеровка и приготовление красок
Использованием новых материалов в строительстве и ремонте
За время обучения специалистами должны быть рассмотрены все этапы ремонта, от анализа до покраски и устранения дефектов с демонстрацией современного оборудования, материалов и приемов работы. Изучение инновационных материалов и продуктов, используемых в ремонте, выбор эффективной системы ремонта, а также закрепление полученных знаний на практике. Изучение методов устранения дефектов системами различных производителей, правил ухода за любыми поверхностями с применением профессиональных составов.
Количество человек направляемых на повышение квалификации - 3 чел.
Длительность курса обученияя - 65 часов.
Стоимость обучения одного сотрудника - 35 140 руб.
Заработная плата сотрудника во время обучения - 12 500 руб.
Формула расчета общей стоимости обучения:
Где, S -стоимость обучения;
R - заработная плата работника во время обучения;
n - количество работников;
y - стоимость курса за одного работника;
Следовательно, общие затраты на обучение работников составляют:
S = 35140*3+12500*3 = 142 920 руб.
Результатом проведения обучения является снижение трудоемкости вследствие применения изученных инновационных методов, ожидаемый прирост производительности работников приблизительно составит 18 % (332640 руб/год).
Расчет коэффициента возврата от инвестиций рассчитывается по формуле:
Roi%= Доход от проекта-Стоимость проектаСтоимость проектаЧ100%
Расчет возврата от инвестиций:
ROI=332640-142920142920Ч100=132%
Таким образом, на каждый 1 руб. инвестиций вложенных в обучение, организация за год получит 2,32 руб. Предполагаемый период возврата инвестиций составляет 5 месяцев.
Рекомендуется ввести систематическое проведение данных курсов повышения квалификации в организации, с периодичностью один раз в год. Так как постоянное развитие и совершенствование материалов, оборудования и технологий требуют профессионального развития персонала. Дополнительно возможна организация бесплатных незапланированных тренингов для персонала поставщиками оборудования и материалов.
Выводы по четвертой главе
персонал обучение сотрудник профессиональный
Перспективными являются такие направления работы с персоналом как социальное планирование от достигнутого и планирование от конечного результата. Под планированием в теории принятия решений понимается динамическая и целенаправленная деятельность, связанная с направлением усилий на приведение систем из возможных состояний в желательное. Возможный исход является результатом реализации сценария, определяемого как существующим состоянием, так и действующими силами, которые преследуют свои цели, осуществляют свою политику и добиваются определенных исходов.
Основной способ работы заключается в разворачивании модели повышения квалификации, "проживании" в ней каждого слушателя, "снятии" способов работы для реализации ее в организации. В модели можно выделить несколько этапов:
Работа с индивидуальными образовательными программами участников: составление основ, коррекция и конкретизация;
Реализация индивидуальных образовательных программ участников;
Снятие способов работы и проектирование собственных действий по запуску данной модели в организации;
Работа с индивидуальными образовательными программами участников: составление основ, коррекция и конкретизация.
Другим перспективным направлением обучения персонала в организации является дистанционное обучение - это совокупность информационных и педагогических технологий целенаправленно организованного процесса синхронного и асинхронного интерактивного взаимодействия обучающих и обучающихся между собой и со средствами обучения, инвариантного к их расположению в пространстве и согласованного во времени.
Целями создания системы дистанционного обучения являются:
Минимизация временных и финансовых затрат ресурсов для получения служащими необходимых профессиональных знаний в сферах использования информационных технологий;
Обеспечение доступа служащих к территориально распределенным информационным (учебным и интеллектуальным) ресурсам в сферах использования информационных технологий, необходимых им для выполнения ими своих функциональных задач.
Организация и поддержка постоянно действующей корпоративной (служебной) системы непрерывного повышения квалификации сотрудников.
Оценка эффективности обучения является важным этапом процесса обучения персонала. Смысл такой оценки состоит в том, чтобы установить, какую пользу от обучения работников получает организация, или выяснить, насколько одна форма обучения является более эффективной, чем другая. Основная цель оценки эффективности обучения заключается в том, чтобы проанализировать полученную информацию и использовать ее при подготовке и проведении аналогичных учебных программ в будущем.
Оценка эффективности обучения может проводиться в виде тестов, вопросников, заполняемых обучающимися, экзаменов и т.д. и оценивается как обучающимися, так и руководителями, специалистами отделов обучения, экспертами или специально созданными комиссиями.
Критерии эффективности обучения: мнение обучающихся, усвоение учебного материала, поведенческие изменения, рабочие результаты, эффективность затрат.
Оценка эффективности учебы требует больших затрат времени и достаточно высокой компетенции специалистов, проводящих оценку. Поэтому многие компании отказываются от такой оценки и просто полагаются на то, что любое обучение приносит организации пользу, и в конечном счете, оправдывает себя. Хотя эффективность обучения – это не вопрос веры и убеждений, а вполне конкретные результаты, которые можно оценить количественно и качественно.
Руководителям необходимо четко понимать, что стратегия работы с персоналом должна подняться с позиции функционального обслуживания производства на реально стратегический уровень, когда управление персоналом рассматривается как процесс, который пронизывает организацию от входа до выхода, взаимодействуя со всеми прочими организационными процессами.
В рамках такого подхода работа с персоналом приобретает свою специфику, основная особенность которой - коррекция не отдельных кадровых процедур, а всей стратегии управления организацией в целом. Неэффективным приемом будет попытка изменить стратегию, воздействуя лишь на поведение подсистем и людей. Например, невозможно заставить людей быть лояльными, требуя от них этой лояльности. Лояльность есть следствие действия объективных (системных) факторов, действующих в организации (это условия и методы организации труда, административная и организационная политика).
Проектирование и поддержание в оптимальном состоянии системных факторов - основная обязанность руководителей и менеджеров. Они создают систему, в которой работают люди. Система провоцирует тот или иной тип поведения работников.
Руководитель гостиничного предприятия хочет, прежде всего, чтобы после обучения повысилось качество работы отдельных сотрудников и всего коллектива в целом. Ему нужна уверенность в том, что обучение даст конкретные результаты: увеличится объем продаж, снизится текучесть кадров, обновятся технологии работы и т.д. И что после обучения сотрудники не уволятся из гостиницы через месяц-другой.
В эффективности обучения должны быть заинтересованы и руководство гостиницы, направившее работника на обучение или создавшее систему обучения внутри гостиницы, и тренер, проводящий занятия в отеле, и, наконец, сами сотрудники, желающие работать в гостиничном предприятии. Разберем два основных вида обучения, приемлемых для гостиничного предприятия, и остановимся на плюсах и минусах каждого.
Налаженная система внутрифирменного обучения способствует постоянному контролю качества обслуживания гостей, а также помогает руководству получать информацию о настроениях внутри коллектива. Внутрифирменная система обучения стимулирует приобретение дополнительного опыта в процессе работы или при обсуждении практических (конфликтных) ситуаций и методов работы, используемых в других гостиницах. Очень полезно изучение и обсуждение специализированной литературы
Система подготовки и развития персонала может состоять из разных, но взаимосвязанных блоков: обучения, оценки и ротации. Что входит в данную систему? Буквально с первого дня, когда работник приносит в отдел персонала все необходимые документы и подписывает трудовой договор, начинается процесс обучения. Необходимо еще раз разъяснить ему условия работы, ознакомить с утвержденной должностной инструкцией, с «Правилами внутреннего трудового распорядка», «Положением о персонале», иной нормативно-методической литературой. В отдел персонала впоследствии направляется вся информация о качестве работы сотрудника, о поощрениях и проступках. Все эти документы формируют его личное дело. В первый день новому работнику необходимо показать всю гостиницу (номерной фонд, точки питания, конференцзалы), познакомить его с отделами и службами, рассказать об услугах, предоставляемых гостям. Тренер или сотрудник отдела персонала определяют «профессиональный уровень» новичка. В зависимости от уровня его подготовки и строится вся последующая программа обучения, которая состоит из обязательных и дополнительных тренингов. Программа рассчитана по часам и преследует несколько целей: максимально заинтересовать работника, мотивировать его, рассказать о возможных перспективах карьерного роста, объяснить, что любое обучение это и работа с тренером, и самообучение. Служащий должен определить, чему необходимо учиться, и хочет ли он этого. Каждая гостиница это уникальный, неповторимый механизм, предъявляющий к персоналу определенные требования. Тонкости корпоративной культуры можно постичь только в процессе внутрифирменной программы обучения. Ни один приглашенный специалист не сможет до конца осветить этот вопрос. Успех обеспечен при взаимодействии работника, его непосредственного руководителя и менеджера по обучению (если в гостинице предусмотрена такая штатная единица). Простыми, но важными гостиничными программами являются: «Добро пожаловать в отель» (описание организационной структуры и должностного взаимодействия, философия работы гостиничного предприятия, его история, поведение в экстренных ситуациях и т.д.), «Введение в специальность» (четкое разъяснение должностных обязанностей, положение об отделе, разбор практических ситуаций), «Навыки телефонного общения», «Работа с агрессивными и требовательными клиентами» и т.д.
На рост профессионального мастерства и конкурентоспособность работников оказывают влияние следующие факторы: опыт работы в отрасли, стимулирующие профессиональный рост служебные задания, указания и рекомендации руководителя, обратная связь. Вернемся к вопросу системности и еще раз обозначим важность взаимосвязи обучения, оценки и ротации. Основное обучение проходит в течение испытательного срока, первая оценка проводится по истечении испытательного срока. Дополнительное обучение происходит в течение всего года и оценивается по его окончании. При этом для поддержания заинтересованности служащего в продолжении работы на предприятии необходимо предоставлять ему шанс развиваться, продвигаться по служебной лестнице, пробовать свои силы на новых должностях. Отдел персонала должен обладать исчерпывающей информацией о желаниях и возможностях работников, а сами люди должны быть информированы о появившихся вакансиях. Минусами описанной выше системы обучения персонала является то, что зачастую отдел персонала не играет роли в процессе обучения, обучение носит единичный, разовый характер, а для замещения вакантных должностей рассматриваются кандидаты «с улицы».
Второй вид обучения, рекомендуемый гостиничным предприятиям, – привлечение «внешних» преподавателей или организация краткосрочного или долгосрочного повышения квалификации в профильном вузе.
Для успеха подобного мероприятия необходимо иметь представление о преподавательском составе и предлагаемых программах, а также понимать, какой результат вы хотите получить. Важно отметить, что на всех стадиях цикла обучения существенную роль играет грамотное общение (т.е. доведение информации до слушателей, коммуникация, обсуждение). Например, для выявления уровня подготовки слушателей преподаватель может провести с ними беседу или анкетирование. Знание начального уровня своих слушателей поможет скорректировать учебный план и методику преподавания. Преподаватель сможет подготовить курс, который будет логичным, занятия интересными, а материал легко усваиваемым. Он должен знать, как привлечь и удержать внимание аудитории, как вызвать интерес слушателей, как изложить материал и выделить главное. В процессе обучения очень важен «эмоциональный настрой». У слушателя, которого на курсы «послал» начальник, отношение к занятиям скорее всего будет иным, чем у того, кто пришел по собственному желанию. И преподавателю, наверное, стоит потратить вначале какоето время на то, чтобы заинтересовать слушателей, пришедших «по принуждению», подробно объяснив им возможную пользу от занятий.
Одна из функций обучающего побудить работников взаимодействовать и советоваться с коллегами по вопросам работы. Существенную долю усилий руководителей, преподавателей и помощников следует направить на обеспечение и непрерывное поддержание обратной связи со слушателями курсов. Без постоянной обратной связи до, во время и после процесса общения оно вряд ли будет настолько эффективным, чтобы вызвать заметные изменения.
Обучение это циклическое движение от неосознанной некомпетентности к неосознанной компетентности. Данная точка зрения предполагает, что люди…
-Не знают, что именно они не знают.
-Не знают, что у них есть проблемы.
-Не знают, что они упускают благоприятные возможности.
-Не знают, что можно что-то предпринять или что-то сделать по-другому.
Поэтому обучение это изменение стереотипов поведения, которое приносит пользу учащемуся. Понятие пользы предполагает расхождение между существующими обстоятельствами и теми, которые могли или должны были бы быть. Что имеется в виду?
– Реальные или воображаемые проблемы.
– Благоприятная возможность, которой можно воспользоваться.
– Новые цели, которых нужно добиться.
– Отсутствие профессиональных знаний или навыков.
Любое эффективное общение начинается с вопросов «В чем проблема?» или «Чего не хватает?». Коммуникатор никогда не добьется успеха, если он не понимает ситуацию. Когда ситуация ясна, а цели определены, можно начинать процесс доведения информации до слушателей.
Процедура оценки эффективности обучения
Процедура оценки эффективности обучения обычно состоит из четырех этапов:
1. Определение целей обучения. Процесс оценки эффективности обучения начинается уже на этапе планирования обучения, при определения его целей. Цели обучения задают стандарты и критерии оценки эффективности учебных программ.
2. Сбор данных до обучения. Эта информация отражает уровень знаний, навыков и особенности рабочих установок, которые работники имели до обучения. Эти показатели могут быть трех типов:
* показатели, характеризующие профессиональные знания, установки и рабочие навыки работников;
* количественные показатели работы отдельных работников, подразделений или организации в целом (уровень производительности, финансовые показатели, количество поступивших жалоб или претензий покупателей и т.п.);
* качественные показатели работы отдельных работников, подразделений или организации в целом (качество товаров и услуг, удовлетворенность потребителей, удовлетворенность работников компании, уровень трудовой морали и т.п.).
3. Сбор данных в процессе обучения и после обучения (по тем же показателям и с использованием тех же инструментов, что и до начала обучения).
Во время обучения можно собрать ценную информацию о мотивации слушателей, об их интересе к разным учебным темам, об их оценке работы преподавателей и др. Это позволяет внести необходимые коррективы в содержание программы, изменить форму подачи отдельных тем, сделать занятия более интересными и живыми и, если это необходимо, включить в учебную программу новые темы и вопросы, которые больше соответствуют профессиональным интересам слушателей.
Данные после обучения могут быть собраны разными способами. Чаще всего слушателей сразу по завершении обучения просят заполнить специально разработанные опросники, чтобы они оценили данную программу, работу преподавателей, свою включенность в обучение и т.д. К сожалению, с помощью таких опросников можно получить довольно ограниченную информацию для оценки эффективности обучения, хотя и она может дать ориентиры для изменения программы, улучшения ее организации, усиления мотивирующего эффекта и улучшения возможностей практического использования полученных знаний и навыков.
Для оценки степени усвоения слушателями учебного материала, изучаемого ими в рамках учебной программы, по окончании обучения могут быть проведены зачеты, экзамены, тестирование (в том числе с использованием компьютера) или оценены производственные показатели или навыки, на развитие которых была направлена данная программа обучения. 4. Сравнение данных, полученных до, во время и после обучения. К примеру, если основной целью программы обучения было повышение производительности труда, а после завершения обучения производительность труда осталась на том же уровне, который был до обучения, то перед организацией встает необходимость либо внесения значительных изменений в данную программу, либо полного отказа от нее.
Если возможно, также сравниваются производственные показатели работников, прошедших обучение, с производственными показателями работников, не проходивших обучение (контрольной группы).
Оценка эффективности учебы требует больших затрат времени и достаточно высокой квалификации специалистов, проводящих эту оценку, поэтому многие организации отказываются от такой оценки и просто полагаются на то, что любое обучение работников приносит организации некоторую пользу и в конечном счете оправдывает себя. Конечно, такой подход имеет право на существование, но при этом надо отдавать себе отчет, что обучение персонала является слишком дорогим "удовольствием", чтобы полагаться здесь на удачу. Эффективность обучения это не вопрос веры или убеждений, а вполне конкретные результаты, которые можно (и нужно!) оценивать количественно или качественно.
Эффективность проведенной учебы не всегда можно оценить достаточной точно. Вопервых, возможен отсроченный эффект, то есть обучение даст результаты не сразу после его завершения, а только по прошествии определенного времени. Поэтому некоторые организации используют практику многократных оценок через определенные промежутки времени. К примеру, на IBM принята практика тестирования работников, прошедших обучение, через 6 и 9 месяцев после завершения обучения.
Возможен также кумулятивный эффект, когда достаточно высоких результатов можно ожидать после серии тренингов. И, кроме того, результаты работы отдельных работников, подразделений или всей компании могут улучшиться по причинам, не имеющим никакого отношения к обучению. Как заметила Ирина Домбровская, директор по персоналу «Объединенной металлургической компании»: "...очень часто непонятно, почему какойто отдел лучше заработал: то ли оттого, что мы всех обучили маркетингу, менеджменту, то ли оттого, что мы провели реструктуризацию, зарплату прибавили или объявили конкурс на лучшего менеджера".
Серьезной проблемой, которая не позволяет в должной мере использовать результаты оценки эффективности обучения, является практика, когда оценкой эффективности обучения занимаются сотрудники отделов обучения. Трудно ожидать полной объективности оценки и оперативной реакции на негативные итоги обучения по тем или иным программам от отдела, который, собственно, и занимается организацией учебы сотрудников. В идеале оценивать эффективность проведенного обучения, его нужность и полезность должен все-таки заказчик или потребитель этой услуги, а не исполнитель.
Традиционные подходы к оценке эффективности мероприятий по обучению персонала заключаются в том, что по окончании обучения (семинаров, тренингов, курсов, школ и т.п.) слушатели, как правило, дают свою оценку в виде интервью или заполнения анкет, отвечая на вопросы и выбирая один из предложенных вариантов оценки (баллы):
соответствие содержания обучения ожиданиям (потребностям) слушателей;
применение активных методов обучения;
применение современных средств обучения;
связь образовательных мероприятий с рабочим местом;
качество раздаточных материалов (рабочих тетрадей и т.п.);
оптимальность количества обучаемых в группе;
организационные условия для проведения занятий;
квалификация преподавательского состава и т.п.
Слушатели ставят организаторам и преподавателям балльную оценку в виде уровня удовлетворенности обучением.
Кроме того, к традиционным методам оценки эффективности обучения персонала можно отнести наблюдение, статистический анализ, самоотчет, тестирование и т.п. Особый интерес для нас представляет анализ нетрадиционных методов оценки эффективности обучения персонала, таких как:
методика Дональда Киркпатрика;
методика Джека Филипса;
методика бипараметрической оценки;
оценка эффективности обучения в рамках комплексных систем оценки типа BSC, KPI;
модель оценки Блума.
Модель Киркпатрика, описанная в книге «Четыре ступеньки к успешному тренингу» предполагает оценку по четырем уровням. Эти уровни определяют последовательность проведения оценки обучения. Он пишет: "Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен просто потому, чтобы сконцентрировать на том, что тренер считает наиболее важным". Вот четыре уровня по версии автора:
Уровень 1 – Реакция (Reaction)
Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. Он подчеркивает, что реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.
Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.
Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.
Уровень 2 – Научение (Learning)
Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).
Уровень 3 – Поведение (Behavior)
На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы.
Уровень 4 – Результаты (Results)
К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Он настаивает на том, что результаты не следует измерять в деньгах.
По мнению Киркпатрика, оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:
если возможно, использовать контрольную группу (не проходившую обучение);
проводить оценку через некоторое время, чтобы результаты стали заметны;
проводить оценку до и после программы (если это возможно);
провести оценку несколько раз в ходе программы;
сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).
Методика Джека Филипса – это использование различных формул для измерения отдачи на капитал, вложенный в персонал (ROI):
Оценка инвестиций в кадровый отдел = расходы службы персонала/операционные расходы.
Оценка инвестиций в HR-подразделения = расходы службы персонала/количество работников.
Показатель отсутствия на рабочем месте = прогулы, отсутствие без предупреждения + количество сотрудников, уволившихся неожиданно.
Показатель удовлетворенности – число сотрудников, удовлетворенных своей работой, выраженное в процентах. Определяется методом анкетирования.
Критерий, выявляющий единство и согласие в компании. Подсчитывается на основе статистических данных по производительности и оценке эффективности труда.
Мак Ги предлагает бипараметрическую оценку, то есть рассматривает результативность и эффективность обучения, он также вводит понятия результативности и эффективности и как их оптимальное сочетание вводит понятие производительности обучения .
Методика измерения эффективности должна учитывать специфику обучающих мероприятий, спектр которых достаточно широк.
Если стоит задача – оценить успешность мероприятий через снижение стоимости бизнес-процесса (правда это только частный случай – снижение издержек), то оптимальным будет следующий набор формул для оценки эффективности обучения.
Частный экономический эффект (E) от мероприятия по обучению персонала, вызвавшего изменение стоимости данного бизнес-процесса можно определить следующим образом:
где– стоимость бизнес-процесса (единицы производимой продукции) до обучения, ден. ед.;
–стоимость бизнес-процесса после обучения, ден. ед.
Определение абсолютного значения эффекта позволяет лишь выяснить тенденции, масштаб и направление эффекта от обучения (положительный, нейтральный, отрицательный), поэтому целесообразно сопоставить значение эффекта с затратами, направленными на обучение персонала.
Интерпретация результата: если Е ≥ 0 – следовательно, успех был достигнут, по крайней мере, цель снижения издержек была достигнута, однако – вопрос цены. Поэтому – необходимо определить чистый эффект. Чистый частный экономический эффект от мероприятий по обучению персонала определяется следующим образом:
где– стоимость бизнес-процесса (единицы производимой продукции) до обучения, ден. ед.;
–стоимость бизнес-процесса после обучения, ден. ед.;
–стоимость программы обучения (затраты компании на содержание учебного центра), ден. ед.
Определение абсолютного значения частного эффекта позволяет сравнить результат от деятельности с затратами на обучение (превышают выгоды затраты или нет).
Интерпретация результата: если≥ 0 – следовательно положительный результат был достигнут, по крайней мере, снижение издержек превысило затраты – деятельность приносит чистый эффект.
Данная последовательность расчетов целесообразна для оценки эффективности обучения именно линейного персонала, например, в результате проведения тренинговых мероприятий, скорость обслуживания клиентов увеличилась, качество обслуживания клиентов (при этом качество может оцениваться снижением количества ошибок, жалоб клиентов) улучшилось и т.д.
Более традиционный для восприятия и простой в интерпретации – показатель доходности (рассмотрим как типичный показатель для бизнеса – соотношением чистого дохода к затратам):
Доходность (возврат на инвестиции в обучение) выражается в процентах.
Интерпретация результата: если > 0 – следовательно вид деятельности доходен, иначе – затраты на обучение не возвращаются в виде дополнительного эффекта.
Этот показатель удобно применять в случае сопоставления нескольких вариантов или реализованных мероприятий.
Оценка эффективности обучения в рамках комплексных систем оценки типа BSC, KPI. Часто оценивая отдельные направления развития компании, в современном менеджменте применяются комплексные системы оценки, включающие ряд частных показателей, отражающих эффективность подразделений, в рамках моделей которых, удачно применяются методы комплексной оценки, например, выясняя вклад тех или иных подразделений в общий результат деятельности. Среди вышеназванных моделей можно отметить применимость каждой из них для решения задач оценки эффективности обучения персонала, выделив подотдел, отвечающий за обучение, определенный набор целевых показателей, позволяющих дать оценку именно этому подразделению компании.
Например, выделив некоторые количественные и качественные показатели данному подразделению, предполагая, что мероприятия по обучению персонала скажутся на этих показателях, мы сможем дать оценку эффективности данных мероприятий в комплексе и по каждому отдельному эпизоду, связанному с обучением. Четко определив корреляцию этих показателей с показателями эффективности подразделений, прошедших обучение, мы сможем проанализировать эффективность работы по обучению персонала в целом на предприятии.
Данные методики сложны к применению, вследствие широты спектра действия, однако, при умелом их использовании достигается не только интуитивная их понятность, адекватность и согласованность, что в целом, позволяет решить обозначенную выше проблему. Разработка системы показателей позволит не только всесторонне оценить, но и в режиме реального времени отслеживать уровень эффективности данных мероприятий.
Важнейшим аспектом построения эффективного обучения в организации является построение качественной системы оценки эффективности обучения. Отсутствие такой системы может привести:
к значительному снижению качества обучения;
отсутствию эффективных средств управления обучением;
общему снижению эффективности обучения.
Существующие модели оценки эффективности обучения
Наибольшее распространение при проведении оценки эффективности обучения в организации сегодня получила модель оценки обучения, базирующаяся на работах Киркпатрика и Варра, Берда и Рэкхэма. Данная модель оценки эффективности обучения хорошо зарекомендовала себя на практике.
Модель Киркпатрика
Киркпатрик рассматривает оценку эффективности обучения как важнейший элемент цикла проведения обучения, включающего в себя следующие этапы:
определение потребностей;
постановка целей;
определение предметного содержания;
выбор участников обучения;
формирование оптимального расписания;
подбор соответствующего помещения;
подбор соответствующих преподавателей;
подготовка аудиовизуальных средств;
координация программы;
оценка программы
Киркпатрик указывает три основные причины проведения оценки:
необходимость оправдания существования отдела обучения, показав, какой вклад делает этот отдел в достижение целей и задач организации;
формирование механизма принятия решения о том, как улучшить программу обучения в будущем;
формирование механизма получения информации о том, как улучшить программу обучения в будущем.
Уровни оценки эффективности обучения
Модель оценки эффективности обучения предполагает четыре уровня оценки эффективности обучения:
уровень 1: реакция слушателей на программу обучения;
уровень 2: оценка знаний и опыта, полученных слушателем по программе обучения;
уровень 3: оценка поведения на рабочем месте;
уровень 4: оценка влияния программы обучения на деятельность организации.
Уровень 1. Реакция слушателей на программу обучения.
Первый уровень модели оценки эффективности обучения определяет, как было воспринято слушателями проводимое обучение. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. Наиболее эффективным средством оценки эффективности обучения на данном уровне является проведение анкетирования.
Используемые анкеты содержат широкий круг вопросов по всем аспектам обучения, в том числе:
насколько важны поставленные цели;
как слушатели оценивают качество проводимого обучения;
насколько эффективны используемые средства обучения;
какие темы дополнительно они бы хотели включить в программу обучения;
насколько комфортно слушателям было работать;
как было организовано питание;
как было организовано проживание;
В результате анкетирования можно оценить:
насколько слушатели удовлетворены качеством обучения и насколько оно соответствует их ожиданиям;
насколько хорошо обучение было организовано ;
какие дополнительные ожидания у них есть.
Получаемые в результате оценки результаты показывают степень удовлетворения обучаемых от проведенного обучения.
Уровень 2. Оценка знаний и опыта, полученных слушателем по программе обучения.
Цель 2-го уровня максимально эффективно оценить, были ли во время обучения достигнуты ее цели. Наиболее распространенным средством, используемым на данном уровне, является тесты по проверке знаний и навыков. Помимо тестов используются более сложные средства проверки, такие, как тренажеры, симуляции, сложные упражнения и т.п.
Тестирование слушателей обучения целесообразно проводить до и после обучения. Проведение двойного тестирования позволит оценить, как изменилась компетенция слушателей в результате обучения. Проведя анализ всех оценок, полученных слушателями, можно оценить насколько эффективно проведенное обучение.
На втором уровне производится оценка, насколько обучение позволило решить поставленные педагогические задачи. Однако, на втором уровне не производится оценка насколько обучение эффективно с точки зрения функционирования организации.
Уровень 3. Оценка поведения на рабочем месте.
Третий уровень модели оценки эффективности Киркпатрика отвечает за сбор информации, позволяющей оценить, как проводимое обучение, влияет на поведение слушателей на рабочих местах. С точки зрения организации это является ключевым в оценке эффективности обучения. Именно на этом уровне производится оценка, какую практическую пользу от обучения получает организация. Смогли ли слушатели на практике применить полученные ими в ходе обучения навыки, знания и умения.
Оценку эффективности обучения на данном уровне целесообразно проводить несколько раз в течение 3 – 6 месяцев после окончания обучения. За это время слушатели смогут продемонстрировать, как они применяют полученные ими во время обучения знания. Часто исследования на данном уровне проводятся с использованием специальных “карт поведения”, которые заполняют все участники обучения, а также специалисты организации, которые могут оценить, как отразилось на эффективности работы проведенное обучение.
Уровень 4. оценка влияния программы обучения на деятельность организации.
Даже если оценка эффективности обучения на третьем уровне показала, что полученные в результате обучения навыки, знания и умения успешно применяются слушателям при выполнении ими их служебных обязанностей, это вовсе не означает, что проведенное обучение принесло реальную пользу организации.
Цель оценки, проводимой на 4-м уровне, ответить на вопрос: насколько обучение, проводимое в организации, полезно?
В первую очередь необходимо ответить, каким образом проводимое обучения оказывает влияние на ключевые показатели деятельности компании.
Оценка эффективности обучения на 4-м уровне производится крайне редко из-за трудности получения показателей эффективности деятельности организации и оценки влияния на нее результатов обучения.
Вот некоторые из возможных показателей эффективности 4-го уровня:
обучение технологиям продаж:
увеличение объема продаж;
увеличение клиентской базы.
обучение техническим навыкам:
уменьшение количества обращений в службу поддержки;
уменьшение времени выполнения работы.
Очень часто оценку, проводимую на 4-м уровне разделяют на два подуровня. В рамках первого подуровня производится оценка, как обучение влияет на производственные показатели компании. На втором подуровне производится оценка экономической эффективности проводимого обучения.
Дистанционное обучение и оценка эффективности обучения
Дистанционное обучение (электронное обучение) является частью общего обучения проводимого в организации. И соответственно оценивается наряду с другими формами обучения, применяемыми в компании, с использованием тех же методов оценки. Однако, необходимо отметить, что применение технических средств, используемых при проведении дистанционного обучения, позволяет значительно упростить сбор информации для проведения оценки, а также ее последующий анализ.
Предисловие
1 РАЗРАБОТАНА Учреждением образования «Белорусский государственный университет информатики и радиоэлектроники»
ИСПОЛНИТЕЛИ:
Алябьева И.И., инженер-электроник отдела менеджмента качества
Соколовская Е.Н., бизнес-аналитик отдела менеджмента качества
ВНЕСЕНА Рабочей группой по созданию и внедрению системы менеджмента качества образования
2 УТВЕРЖДЕНА И ВВЕДЕНА В ДЕЙСТВИЕ приказом ректора
от 02.11.2012 №256
3 ВВЕДЕНА ВЗАМЕН МИ 3.6-02-2010 (версия 01)
© БГУИР
Настоящая методическая инструкция не может быть тиражирована и распространена без разрешения учреждения образования «Белорусский государственный университет информатики и радиоэлектроники»
Издана на русском языке
Назначение и область применения 4
Нормативные ссылки 4
Термины, обозначения, сокращения 4
Общие положения 5
Оценка результатов обучения 7
Приложение Б Анкета оценки обучения (заполняется сотрудником) 10
Приложение В Анкета оценки обучения (заполняется руководителем) 11
Приложение Г Оценка результативности обучения сотрудника 12
Приложение Д Отчет об оценке результативности обучения сотрудников подразделения за год 13
Лист регистрации изменений 14
Лист согласования 15
1 НАЗНАЧЕНИЕ И ОБЛАСТЬ ПРИМЕНЕНИЯ
Настоящая методическая инструкция является документом системы менеджмента качества университета. Предназначена для оценки степени результативности обучения персонала и применяется в структурных подразделениях в целях обеспечения требований пунктов 6.2.2(b,c); 7.4.1, 7.4.3 СТБ ISO 9001-2009.
Настоящая методическая инструкция распространяется на все структурные подразделения университета, направляющие сотрудников на обучение, повышение квалификации, переподготовку и др. виды обучения и самообразования и обязательна к применению для руководителей всех уровней.
2 НОРМАТИВНЫЕ ССЫЛКИ
СТБ ИСО 9000-2006 Системы менеджмента качества. Основные положения и словарь.
СТБ ISO 9001-2009 Системы менеджмента качества. Требования.
СТБ ИСО 9004-2001 Системы менеджмента качества. Рекомендации по улучшению деятельности.
ТК РБ 4.2-МР-17-2003 Методические рекомендации по организации постоянного повышения результативности системы менеджмента качества.
3 ТЕРМИНЫ, ОБОЗНАЧЕНИЯ, СОКРАЩЕНИЯ
В настоящей методической инструкции применяются термины и определения по СТБ ИСО 9000–2006, а также следующие термины с соответствующими определениями:
Результативность – степень реализации запланированной деятельности и достижения запланированных результатов.
Компетентность – выраженная способность применять знания и умение.
Обучение – целенаправленный процесс организации и стимулирования учебной деятельности обучающихся по овладению знаниями, умениями и навыками, развитию их творческих способностей.
4 ОБЩИЕ ПОЛОЖЕНИЯ
4.1 Комплексная оценка результатов обучения формируется по завершению всех этапов процесса обучения работника и предопределяется четкостью поставленных целей на каждом из этапов обучения, включающих:
1) определение потребностей в обучении (анализ потребностей организации, связанной с компетентностью, анализ прочих потребностей в обучении работника, анализ готовности, мотивации, способности работников к обучению и самообразованию);
2) проектирование:
четкая постановка конкретной цели обучения;
разработка плана-графика и сроков обучения сотрудников подразделения;
планирование, при необходимости, согласование учебных программ;
выбор форм и методов обучения – курсы, семинары, консультации, инструктаж, заочное, дистанционное обучение и пр.;
анализ обучающих организаций (внешних или внутренних поставщиков обучения – преподавателей, тренеров и пр.);
выбор методов мониторинга и контроля;
методы и формы оценки результатов/итогов обучения поставщиком обучения;
планирование финансирования обучения;
вовлечение сотрудников/работников как активных участников процесса обучения;
предусмотреть возможности улучшения реализации потребностей в обучении
4) оценка результатов обучения.
Рисунок 1 – Цикл обучения
(ГОСТ Р ИСО 10015-2007 Руководящие указания по обучению)
4.2 Анализу требований к поставщику обучения (внутреннего или внешнего) подвергается:
уровень компетентности преподавательского состава;
опыт работы в данном секторе услуг;
программа обучения, отвечающая поставленным целям и ожидаемым результатам;
используемые образовательные технологии;
стоимость обучения;
критерии и методы оценки результативности обучения в целях определения: достижения поставленных целей, ожидаемых результатов, оценки приобретенной компетентности обученного сотрудника, оценки удовлетворенности потребителей (обучаемого сотрудника, руководителя СП данного сотрудника);
формы оценки и сертификации.
4.3 Выбор поставщика обучения фиксируется/регистрируется и завершается оформлением соглашения/договора на обучение с отражением всех тем, сроков, стоимости, условий, полномочий и ответственности применительно к процессу обучения, порядка разрешения споров и пр. статей, предусмотренных законодательством Республики Беларусь (для внешнего поставщика обучения).
4.4 Завершение обучения документально оформляется в виде записей по обучению.
5 ОЦЕНКА РЕЗУЛЬТАТОВ ОБУЧЕНИЯ
5.1 Основной целью оценки результатов обучения является подтверждение достижения целей обучения в целом, включая оценку результативности обучения.
Используемый метод оценки результативности обучения –анкетирование (комбинированное, двухуровневое).
При необходимости развернутого анализа можно пользоваться многоуровневой моделью Д. Киркпатрика, Дж. Филлипса (дополнительно учитывающий экономический показатель), однако необходимо оценить целесообразность и оптимальность выбора данных многоуровневых моделей с соотнесенными затратами.
5.2 Оценка проводится за краткосрочный и долгосрочный периоды.
При оценке за краткосрочный период обрабатывается информация обратной связи от обучаемого (о практической ценности обучения, методах обучения, используемых ресурсах, а также знаниях и навыках, приобретенных в результате обучения) (приложение Б) и непосредственного руководителя обученного сотрудника (приложение В) о практической ценности обучения и предложенных аспектов для улучшений.
Критерии результативности:
удовлетворенность обучающихся;
приобретения обучающимися знаний, навыков и подготовки;
Оценка проводится на основе следующих критериев:
удовлетворенности обучающихся;
приобретения обучающимися знаний, навыков и качеств;
удовлетворенности со стороны руководства;
влияния на организацию (по результатам анализа предложенных аспектов для улучшений);
процедур мониторинга процесса обучения.
5.3 Процесс оценки включает сбор данных, анализ и оценку результативности обучения, подготовку отчета по оценке (приложения Г, Д).
Отчет по оценке обучения включает в себя следующее:
заявки на обучение (в соответствии с планом обучения работников структурного подразделения;
критерии оценки, описание источников и методов;
анализ собранных данных и интерпретацию результатов;
выводы и рекомендации по улучшению.
Заполненные и обработанные анкеты оценки обучения хранятся в структурном подразделении до окончания отчетного периода.
При обнаружении несоответствий необходимо применение корректирующих действий.
Данные отчета являются входными данными для процесса мониторинга, основной целью которого является обеспечение объективных свидетельств результативности процесса обучения и удовлетворения требований организации в обучении. Мониторинг предусматривает анализ всего процесса обучения на каждой из четырех стадий (рисунок 1).
Методы мониторинга могут включать в себя анкетирование, тестирование, консультирование, наблюдение и сбор данных.
Алгоритм оценки результативности обучения приведен в приложении А.
Приложение А
Алгоритм оценки результативности обучения
Приложение Б
Анкета оценки обучения (заполняется сотрудником)
Участник обучения (ФИО)______________________________________________________
Структурное подразделение, должность __________________________________________
Тема обучения ________________________________________________________________
Дата обучения _____________Место проведения ___________________________________
Учебное заведение_____________________________________________________________
1. Оцените результативность обучения по 5-бальной шкале (5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – плохо, 1 – очень плохо)
|
Критерии оценки обучения |
Оценка |
Примечание |
|
1. Соответствие содержания курса обучения ожиданиям | ||
|
2. Актуальность для Вас полученных знаний (своевременность) | ||
|
3. Новизна полученной информации (современность) | ||
|
4. Соответствие содержания курса программе обучения | ||
|
5. Понятность изложенного материала | ||
|
6. Темп проводимых занятий | ||
|
7. Удовлетворенность используемыми технологиями обучения | ||
|
8. Практическая ценность материала, применимость для работы | ||
|
9. Удовлетворенность полученными материалами | ||
|
10. Насколько обучение способствовало совершенствованию личных качеств? | ||
|
Общее количество баллов | ||
|
Оценка обучения сотрудника, Осотр, % : (Осотр = общее кол-во баллов х 100) / 50
|
2. Ваши предложения по улучшению деятельности (сотрудника, подразделения, университета) с учетом полученных при обучении знаний:
3. Оцените качество преподавания по 5-бальной шкале (5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – плохо, 1 – очень плохо)
|
Критерии оценки качества преподавания |
Оценка |
Примечание |
|
1. Доступность изложения материала | ||
|
2. Используемые технологии обучения (практические задания, работа в группах, использование современных технических средств) | ||
|
3. Оценка уровня компетентности преподавателя | ||
|
4. Коммуникабельность преподавателя, умение наладить контакт с аудиторией | ||
|
Общее количество баллов | ||
|
Оценка качества преподавания, Кпр, % : (Кпр = общее кол-во баллов х 100) / 20
|
4. Ваши пожелания по совершенствованию преподавания _____________________________________________________________________________5. Ваше желание дальнейшего обучения: а) по тематике проведенного обучения Да / Нет
б) по другой тематике Да / Нет
__________________ ________________
Дата Подпись
Приложение В
Анкета оценки обучения
(заполняется руководителем)
Структурное подразделение_____________________________________________________
Руководитель (ФИО)___________________________________________________________
Участник обучения (ФИО), должность____________________________________________
Тема обучения (семинара)_______________________________________________________
Когда и кем проводилось обучение _______________________________________________
|
Критерии оценки |
Оценка |
Замечания |
|
1.Практическая ценность знаний, полученных при обучении для подразделения, университета | ||
|
2.Ценность внесенных сотрудником предложений по улучшению работы сотрудника/подразделения/ университета | ||
|
3.Насколько обучение способствовало развитию у работников необходимых для работы навыков | ||
|
4.Насколько обучение способствовало развитию у работников необходимых для работы личных качеств | ||
|
Общее количество баллов | ||
|
Общая оценка, Орук, % (общ. кол-во баллов х100) / 20
|
2. Какие еще знания, умения необходимы сотруднику для успешного выполнения его должностных обязанностей: ваши предложения по улучшению деятельности (отдела, подразделения) с учетом полученных на семинаре знаний:
__________________________________________________________________________________________________________________________________________________________
3. Какое обучение еще необходимо для данного сотрудника (по какой тематике):
__________________________________________________________________________________________________________________________________________________________
4. Ваши пожелания по совершенствованию обучения в университете:_________________ _______________________________________________________________________________________________________________________________________________________________________________________________________________________________________
__________________ ________________
Дата Подпись
Приложение Г
Оценка результативности обучения сотрудника
Сумма весовых коэффициентов равна 1.
Графа «Значение критерия» заполняется:
по разделу 1 Анкеты (для сотрудника) Приложения Б
по разделу 1 Анкеты (для руководителя) Приложения В
Результативность критерия определяется как произведение Весовой коэффициент х Значение критерия (%)
Приложение Д
Отчет об оценке результативности обучения сотрудников подразделения за ______________ год
1. Основание проведения обучения____________________________________________ план-график обучения на ___ г., приказ №___ от _____, пр. основание
2. Критерии оценки результативности:
1) Доля персонала, прошедшего обучение:
Р 1 = К 1 /К 2 100, %
К 1 – количество обученных работников,
К 2 – общее количество работников, запланированных по плану-графику обучения
2) Оценка результативности обучения сотрудниками:
Р 2 = ∑О сотр /кол-во анкет, %
3) Оценка результативности обучения руководителями подразделений:
Р 3 = ∑О рук /кол-во анкет, %
Общая результативность обучения сотрудников:
Робщ = ∑Р i / кол-во анкет, %
3. Оценка качества преподавания:
К = ∑К пр /кол-во анкет, %
К пр – показатели оценки качества преподавания (из анкет обучения, заполняемых сотрудниками)
____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
__________________ __________________ ______________________________
Дата Подпись ФИО
ЛИСТ РЕГИСТРАЦИИ ИЗМЕНЕНИЙ
|
№ изме-нения |
Дата внесения изменения, дополнения и проведения ревизии |
Номера листов |
Шифр документа
|
Краткое содержание изменения, отметка о ревизии |
ФИО, подпись
|
|
1 |
2 |
3 |
4 |
5 |
6 |
