Eğitim etkinliğini yapay zeka ile ölçmek

Eğitim etkinliği ölçümünde asıl soru

Çoğu kurum eğitim sonunda bir memnuniyet anketi doldurtur ve ölçümün tamamlandığını düşünür. Oysa memnuniyet, eğitimin güzel geçtiğini söyler; öğrenenlerin bir şey öğrendiğini, öğrendiğini işte uyguladığını ve uygulamanın bir iş sonucunu değiştirdiğini söylemez. Eğitim etkinliği ölçümünün asıl sorusu şudur: Bu eğitim, harcanan zaman ve bütçeye değecek bir davranış ve sonuç değişimi yarattı mı?

Kirkpatrick modeli bu soruyu tepki, öğrenme, davranış ve sonuç düzeylerine ayırır. Çoğu kurum ilk düzeyde kalır; üst düzeyler daha fazla emek ve veri bağlantısı gerektirdiği için ihmal edilir. Yapay zeka tam burada işe yarar: Daha önce elle yapılamayacak kadar zahmetli olan analizleri hızlandırır, farklı veri kaynaklarını birleştirmeye yardımcı olur.

Geri bildirimi okumak: açık uçlu yanıtların analizi

Eğitim anketlerinde en değerli bilgi çoğu zaman puanlarda değil, açık uçlu yanıtlardadır. Ancak yüzlerce serbest metin yorumunu elle okuyup sınıflamak çoğu ekibin kapasitesini aşar. Dil modelleri bu yorumları temalara ayırabilir: içerik, eğitmen, süre, uygulama fırsatı, kullanılan örnekler gibi başlıklar altında gruplayabilir ve olumlu ya da olumsuz tonu özetleyebilir.

Bu özet güçlü bir başlangıçtır ama körü körüne kabul edilmemelidir. Ekip, birkaç yorumu rastgele seçip modelin sınıflandırmasıyla karşılaştırarak doğruluğu örnekleme yoluyla denetler. Mizah ya da ironi içeren yorumlar yanlış sınıflanabilir. Ayrıca yorumlarda kişisel bilgi varsa, bu verinin dış bir araca yüklenmeden önce anonimleştirilmesi ya da kurum içi onaylı bir araçta işlenmesi gerekir.

Temel kural, yapay zekanın özet çıkardığı, kararı ise eğitim ekibinin verdiği yönündedir.

Öğrenmeyi ölçmek: sınav, görev ve beceri verisi

Öğrenmenin ölçülmesi, kişinin eğitimden önce ve sonra ne yapabildiğini karşılaştırmayı gerektirir. Klasik yöntem ön test ve son testtir. Yapay zeka destekli araçlar, ölçme sorularını eğitim içeriğinden hızlıca üretmeye, yanlış yanıtların hangi kavramda yoğunlaştığını göstermeye ve öğrenene o kavrama göre ek içerik önermeye yardımcı olur.

Öğrenme platformlarındaki etkinlik verisi de bilgi taşır: Hangi modülde bırakıldı, hangi videoda geri sarıldı, hangi alıştırmada tekrar denendi? Öğrenme analitiği bu verileri örüntü olarak okur. Örneğin birçok kişinin aynı noktada takılması, içerikteki bir belirsizliğe işaret eder.

Uygulamalı becerilerde simülasyon ve vaka tabanlı görevler daha anlamlıdır. Yapay zeka ile değerlendirilen açık uçlu cevaplar, bir ölçüt tablosuna göre puanlanabilir, ancak öğrenenin itiraz edebileceği şeffaf bir ölçüt ve insan gözden geçirmesi gerekir.

Davranış ve iş sonucunu eğitime bağlamak

Ölçümün en zor ve en değerli kısmı, eğitimin iş davranışını ve sonucunu değiştirip değiştirmediğini göstermektir. Bunun için eğitim öncesinde bir hedef tanımlanır: Hangi davranış değişecek, hangi iş göstergesi etkilenecek? Gösterge net değilse sonradan bir değişim bulunsa bile nedeni eğitime bağlanamaz.

Yapay zeka burada farklı kaynakları birbirine bağlamaya yardımcı olur. Yönetici gözlemleri, çok kaynaklı geri bildirimler, müşteri görüşme kayıtlarının kalite değerlendirmeleri, süreç göstergeleri ve eğitim katılım kayıtları aynı analizde bir araya getirilebilir. Eğitim alanlarla almayanlar ya da eğitimden önceki ve sonraki dönemler karşılaştırılır.

Dikkat edilecek nokta nedensellik iddiasıdır. Birlikte değişen göstergelerden birinin diğerini yarattığı kanıtlanmış olmaz; piyasa koşulları, yeni araçlar ya da yönetici değişikliği de sonucu etkilemiş olabilir. İyi bir analiz, bu alternatif açıklamaları açıkça listeler.

Adım adım uygulama akışı

Ölçüm tasarımı eğitimin kendisinden önce başlar. Akış genellikle şu sırayı izler: • İş hedefini ve beklenen davranış değişimini yazmak • Hangi düzeyde, hangi veriyle ölçüleceğine karar vermek • Eğitim öncesi referans verisini toplamak • Eğitim sırasında ve sonrasında veri toplamak: anket, test, platform verisi • Yapay zekayla açık uçlu verileri ve örüntüleri analiz etmek • Bulguları yönetici ve eğitim sahibiyle yorumlamak • Eğitimi güncellemek ve bir sonraki döngüye taşımak

Bu akışta her adımın çıktısı bir sonrakini besler. En sık yapılan hata, ölçümü eğitim bittikten sonra düşünmektir; o noktada referans veri yoktur ve karşılaştırma yapılamaz. Bir başka hata, çok fazla ölçüt toplayıp hiçbirini yorumlamamaktır. Birkaç anlamlı gösterge, onlarca anlamsız tabloya tercih edilir.

Sınırlar, gizlilik ve adalet

Yapay zeka destekli ölçümün sınırlarını bilmek, güvenilir sonuç almanın parçasıdır. Model, verideki eksikliği ya da yanlılığı çoğaltabilir. Örneğin yalnızca eğitime aktif katılan kişilerin yorumları analiz ediliyorsa, sessiz kalan gruplar görünmez olur. Farklı gruplar için sonuçları ayrı ayrı incelemek bu körlüğü azaltır.

Katılımcı verisinin kullanımı şeffaf olmalıdır. Çalışana verisinin hangi amaçla işlendiği söylenmeli, ölçüm sonuçları bireysel performans değerlendirmesine sessizce taşınmamalıdır; bu hem güveni hem katılım kalitesini bozar. KVKK kapsamındaki yükümlülükler her araç için ayrıca değerlendirilir.

Son olarak, ölçümün amacı eğitimi savunmak değil geliştirmektir. Etkisi düşük çıkan bir program için güvenli biçimde "burası zayıf" diyebilen bir kurum kültürü, ölçümün asıl faydasını açığa çıkarır.

Mindset programlarında bu beceri

Mindset'in Yapay Zeka Destekli Eğitim Tasarımı eğitimi, Eğitim Etkinliğini Ölçme ve Geliştirme modülünü içerir; ayrıca Eğitim Tasarımında Yapay Zekanın Yeri, Kişiselleştirilmiş Öğrenme Yolu Tasarımı ve Uygulama Projesi ve Tasarım Sprinti modülleriyle ölçümü tasarım döngüsüne bağlar.

Eğitim ve Gelişim Yönetimi eğitiminde ise Eğitim Etkinliğinin Ölçümü, Yapay Zeka ile Öğrenme Fonksiyonunun Geleceği ve LMS ve Öğrenme Teknolojileri modülleri yer alır. L&D uzmanları, eğitim tasarımcıları ve İK yöneticileri için uygundur; kurumsal öğrenme ekipleri kendi anket ve platform verileriyle çalışacak şekilde programı uyarlayabilir.