Multimodal Model Uygulamaları (Görüntü ve Metin)

Kurumsal verinin önemli bir bölümü düz metin değildir; taranmış belgeler, formlar, sahada çekilmiş fotoğraflar ve arayüz görüntüleri klasik metin boru hatlarının dışında kalır. Görüntü ve metni ortak bir temsil uzayında işleyen çok modlu modeller bu içerikleri sorgulanabilir hâle getirerek belge işleme, kalite kontrol ve görsel katalog gibi alanlarda yeni otomasyon imkânı açar. Program bu modellerin yeteneklerini ve sınırlarını gerçekçi biçimde ortaya koyar, hangi işin klasik OCR ile hangisinin çok modlu modelle çözüleceğini ayırt etme ölçütü verir. Altı modül boyunca katılımcılar görüntü ön işlemeden üretim entegrasyonuna kadar tüm adımları uygular. Belge anlama laboratuvarında fatura ve formlardan yapılandırılmış alan çıkarımı yapılır; görsel arama laboratuvarında CLIP tabanlı gömmelerle çok modlu erişim kurulur. Değerlendirme modülünde çıktı doğruluğu insan etiketli kümeyle karşılaştırılır ve maliyet analizi çıkarılır. Program sonunda her katılımcı, kendi seçtiği görsel veri kümesi üzerinde çalışan bir çok modlu uygulama ve doğruluk raporu üretir.