Kirkpatrick ve Phillips ROI: Eğitimin Etkisini Ölçmede Hangi Model?

Ortak zemin: düzey düzey değerlendirme

Kirkpatrick modeli, Donald Kirkpatrick'in geliştirdiği ve eğitimin etkisini dört düzeyde değerlendiren çerçevedir: tepki, öğrenme, davranış ve sonuçlar. Phillips ROI Metodolojisi, Jack Phillips'in bu düzeyli yapının üzerine kurduğu ve sonuçları parasal değere çevirerek yatırım getirisini hesaplayan yaklaşımdır. ROI Institute, yöntemi beş düzeyli bir değerlendirme yapısı olarak anlatır.

İki yaklaşım da aynı mantığı paylaşır: katılımcının eğitimden memnun kalması öğrendiğini, öğrenmesi işte uyguladığını, uygulaması da iş sonucunun değiştiği anlamına gelmez. Bu yüzden her düzey ayrı veriyle ölçülür ve zincirin hangi halkasının koptuğu görülür.

Asıl ayrım son adımdadır. Kirkpatrick iş sonucundaki değişimi ve paydaş beklentisinin karşılanıp karşılanmadığını gösterir; Phillips ise bu değişimin ne kadarının eğitimden kaynaklandığını ayrıştırır, parasal karşılığını hesaplar ve tam maliyetle karşılaştırır.

Kirkpatrick modeli nasıl çalışır?

Kirkpatrick Partners'ın güncel anlatımında düzeyler şöyledir:

• Birinci düzey, tepki: Katılımcıların deneyimi ne kadar ilgi çekici, işleriyle ilgili ve destekleyici bulduğu. İlgililik en önemli unsur olarak öne çıkar, çünkü ilgisiz bulunan içerik uygulanmaz.
• İkinci düzey, öğrenme: Hedeflenen bilgi, beceri, tutum, özgüven ve kararlılığın kazanılıp kazanılmadığı. Ön test ve son test, rol canlandırma, katılımcının konuyu geri anlatması gibi yöntemler kullanılır.
• Üçüncü düzey, davranış: Katılımcıların kritik davranışları işte uygulayıp uygulamadığı ve bunun için desteklenip desteklenmediği. Yönetici görüşmeleri, gözlem ve iş yardımcıları bu düzeyin araçlarıdır.
• Dördüncü düzey, sonuçlar: Hedeflenen kurumsal sonuçların programın etkisiyle gerçekleşip gerçekleşmediği.

Modelin güncel yorumu, planlamaya dördüncü düzeyden başlamayı önerir: önce iş sonucunu ve paydaşların başarı tanımını netleştirin, sonra bunu sağlayacak davranışları, ardından gereken öğrenmeyi tasarlayın. Kirkpatrick Partners, sonuçları yalnızca eğitimin belirlemediğini vurgular ve beklentilerin karşılanmasını (Return on Expectations) öne çıkarır; finansal getiri gerektiğinde iyileşmenin eğitime makul biçimde bağlanabilen payını tahmin etmeyi önerir.

Phillips ROI metodolojisi nasıl çalışır?

ROI Institute'un anlatımıyla yöntemin beş düzeyi şunlardır: tepki ve planlanan eylem, öğrenme, uygulama ve hayata geçirme, iş etkisi ve yatırım getirisi. İlk dört düzey Kirkpatrick'e yakındır; uygulama düzeyinde değişimi kolaylaştıran ve engelleyen etkenlerin de belirlenmesi istenir.

Beşinci düzeye geçmek için ROI Institute şu adımları sıralar: • İş etkisi ölçülerindeki iyileşmeyi belirlemek • Bu iyileşmenin ne kadarının programdan kaynaklandığını ayrıştırmak • İyileşmeyi parasal değere çevirmek • İhtiyaç analizinden değerlendirmeye kadar programın tam maliyetini toplamak • Parasallaştırılamayan soyut faydaları belirlemek • Parasal faydayı maliyetle karşılaştırmak

İki oran raporlanır: fayda maliyet oranı, program faydasının program maliyetine bölünmesiyle; ROI ise net program faydasının program maliyetine bölünüp yüzde olarak ifade edilmesiyle bulunur. Etki izolasyonu için kontrol grubu, trend analizi, tahminleme ve katılımcı ya da yönetici tahmini gibi teknikler kullanılır. Parasallaştırılmayan iş tatmini, ekip çalışması ya da bağlılık gibi faydalar ROI'nin yanında ayrıca raporlanır.

Temel farklar: ölçüt ölçüt

• Düzey yapısı: Kirkpatrick / tepki, öğrenme, davranış, sonuçlar. Phillips / bunlara yatırım getirisi düzeyi eklenir.
• Son soru: Kirkpatrick / beklenen iş sonucu gerçekleşti mi, eğitim buna katkı verdi mi? Phillips / eğitim yatırımı kendi maliyetinden fazlasını geri getirdi mi?
• Etki izolasyonu: Kirkpatrick / katkıyı makul biçimde göstermeyi yeterli görür. Phillips / izolasyonu zorunlu adım olarak tanımlar ve teknikler belirtir.
• Parasallaştırma: Kirkpatrick / gerektiğinde. Phillips / iş etkisi verileri parasal değere çevrilir, çevrilemeyenler soyut fayda olarak raporlanır.
• Maliyet: Kirkpatrick / maliyet hesabı modelin merkezinde değildir. Phillips / ihtiyaç analizi, tasarım, uygulama, katılımcı zamanı ve değerlendirme dahil tam maliyet toplanır.
• Çaba ve süre: Kirkpatrick / daha hafif, birçok programa yaygınlaştırılabilir. Phillips / veri toplama ve analiz yükü yüksektir, seçilmiş programlara uygulanır.
• Hedef kitle: Kirkpatrick / eğitim ekibi, iş birimi yöneticileri, paydaşlar. Phillips / bunlara ek olarak finans ve üst yönetim.

Hangi programda hangisi?

Her eğitimi yatırım getirisi düzeyinde değerlendirmek ne gerekli ne de akılcıdır. ROI Institute da yöntemin ilk adımı olarak program seçimini öne çıkarır. Pratik yaklaşım, programın stratejik önemi, maliyeti ve görünürlüğüne göre değerlendirme derinliğini belirlemektir.

Kirkpatrick düzeylerinde kalmak yeterlidir: • Uyum ve zorunlu eğitimlerde • Kısa, düşük maliyetli ve tek seferlik programlarda • İş sonucunun parasal karşılığının anlamlı biçimde hesaplanamadığı alanlarda, örneğin kurum kültürü programlarında

Phillips ROI yaklaşımı değerlidir: • Yüksek bütçeli, çok katılımcılı ve uzun soluklu programlarda • Satış, kalite, iş güvenliği gibi iş etkisinin ölçülebilir göstergelerle izlendiği alanlarda • Programın devamı ya da yaygınlaştırılması için yönetimin yatırım gerekçesi istediği durumlarda • Birden fazla alternatif program arasında karar verilmesi gerektiğinde

Örneğin bir satış ekibine yönelik müzakere programında, satış verisi zaten izlendiği için kontrol grubuyla karşılaştırma yapmak ve sonucu parasallaştırmak mümkündür. Bir liderlik farkındalık atölyesinde ise davranış düzeyinde gözlem ve paydaş beklentisinin karşılanması daha anlamlı bir kanıttır.

Sık yapılan hatalar

• Değerlendirmeyi eğitim bittikten sonra düşünmek: İş sonucu ve başlangıç verisi baştan tanımlanmazsa sonradan ne Kirkpatrick dördüncü düzeyi ne de ROI hesaplanabilir.
• Yalnız memnuniyet anketiyle yetinmek: Birinci düzey verisi değişimi kanıtlamaz.
• Davranış düzeyini atlamak: İş sonucu değişmediğinde sorunun eğitimde mi yoksa uygulama ortamında mı olduğu anlaşılamaz.
• İzolasyon yapmadan bütün iyileşmeyi eğitime yazmak: Aynı dönemde fiyat değişikliği, yeni sistem ya da kampanya varsa ROI şişer ve güvenilirliğini kaybeder.
• Maliyeti eksik toplamak: Katılımcıların işten uzak kaldığı süre ve değerlendirme maliyeti dışarıda bırakılırsa oran iyimser çıkar.
• Soyut faydaları raporlamamak: Parasallaştırılamayan ama yönetim için önemli olan kazanımlar görünmez olur.

Mindset programlarında bu konular

Kirkpatrick ile Eğitim Etki Ölçümü programı modelin temellerini ve dört düzeyin her birinin ölçümünü ayrı modüllerde işler; ROI hesaplama ve iş gerekçesi ile ölçüm planı geliştirme atölyesi de program içinde yer alır. Phillips ROI Metodolojisi ile Eğitim Yatırım Getirisi Ölçümü programı ölçüm piramidi ve program seçimiyle başlar; etki izolasyonu teknikleri, parasallaştırma ve maliyet toplama, hesaplama, raporlama ve savunma başlıklarıyla devam eder.

Parasallaştırmanın zor olduğu durumlar için tamamlayıcı bir yöntem arayanlar, Brinkerhoff Başarı Vakası Yöntemiyle Eğitim Etkisi Değerlendirme programında uç grupların belirlenmesi ve görüşmeyle kanıt doğrulama başlıklarını çalışabilir.