Görüntü bölütleme (image segmentation): pikselleri anlamlı bölgelere ayırmak

Görüntü bölütleme nedir?

Görüntü bölütleme (image segmentation), bir görüntüdeki pikselleri anlamlı bölgelere ayırma işlemidir. Görüntü sınıflandırma tüm görüntüye tek bir etiket verir, nesne algılama nesnelerin çevresine dikdörtgen çizer. Bölütleme ise her pikselin hangi sınıfa ya da hangi nesneye ait olduğunu belirler ve nesnenin gerçek sınırını çıkarır.

Türkçede segmentasyon olarak da geçer. Çıktı genellikle bir maske görüntüsüdür: her piksel yol, bina, insan ya da arka plan gibi bir etikete karşılık gelir.

Bölütleme türleri

• Anlamsal (semantik) bölütleme: Her piksel bir sınıfa atanır, ancak aynı sınıftaki ayrı nesneler birbirinden ayrılmaz. Örneğin görüntüdeki tüm araçlar tek araç sınıfı olarak işaretlenir.
• Örnek (instance) bölütleme: Aynı sınıfın her nesnesi ayrı ayrı çıkarılır. Birbirine yakın duran araçların sınırı ayrı maskelerle verilir.
• Panoptik bölütleme: Anlamsal ve örnek bölütlemeyi birleştirir. Sayılabilir nesneler ayrı örnekler olarak, gökyüzü ya da yol gibi sayılamayan alanlar sınıf olarak işaretlenir.

Hangi türün seçileceği soruya bağlıdır. Yalnızca yolun yerini bilmek yeterliyse anlamsal bölütleme; kaç aracın olduğunu saymak gerekiyorsa örnek bölütleme gerekir.

Nasıl çalışır? Yöntemler

Klasik yöntemler eşikleme (piksel parlaklığına göre ayırma), kenar algılama, bölge büyütme ve kümeleme gibi görüntü işleme tekniklerine dayanır. Sade ve hızlıdır, ancak karmaşık sahnelerde ve değişken ışıkta zorlanır.

Derin öğrenme yaklaşımı evrişimli sinir ağlarını kullanır. Tam evrişimli ağlar (FCN) ve özellikle U-Net mimarisi, girdi görüntüsünü önce özetleyip sonra piksel düzeyinde yeniden büyüterek maske üretir; özellikle az veriyle çalışması gereken tıbbi görüntülemede yaygındır. Daha yeni yaklaşımlar dönüştürücü (transformer) tabanlı mimarilerdir ve görüntünün geniş bağlamını yakalamakta güçlüdür.

Model, etiketlenmiş maskelerle eğitilir. Çıktının kalitesi ağırlıklı olarak etiket kalitesine bağlıdır.

Başarı nasıl ölçülür?

Bölütleme başarısı, tahmin edilen maske ile gerçek maskenin örtüşmesine bakılarak ölçülür. En yaygın ölçüler kesişim bölü birleşim (IoU, Jaccard) ve Dice katsayısıdır. Bu ölçüler tahmin ile gerçeğin ne kadar çakıştığını verir.

Yalnızca piksel doğruluğuna bakmak yanıltıcı olabilir. Örneğin görüntünün büyük kısmı arka plansa, hiçbir nesneyi bulamayan bir model bile yüksek piksel doğruluğu alabilir. Bu yüzden sınıf bazlı ölçüler ve küçük nesneler üzerindeki performans ayrıca izlenmelidir.

Kullanım alanları

• Tıbbi görüntüleme: tümör, organ ya da lezyon sınırlarını çıkarma
• Otonom sürüş: yol, şerit, yaya ve araç alanlarını ayırma
• Uydu ve hava görüntüsü: arazi örtüsü, bina ve yol haritalama
• Üretim ve kalite kontrol: yüzeydeki kusur bölgesini piksel düzeyinde işaretleme
• Tarım: ürün ve yabani ot alanlarını ayırma
• Görüntü düzenleme: arka plan çıkarma

Görsel kusur denetiminde bölütleme, kusurun yalnızca varlığını değil boyutunu ve şeklini de verdiği için sınıflandırma ya da algılamaya göre daha zengin bilgi sağlar.

Sık yapılan hatalar

• Etiketleme kurallarını tanımlamamak: farklı etiketleyiciler sınırı farklı çizer, model gürültüyle eğitilir.
• Sınıf dengesizliğini görmezden gelmek: küçük nesne sınıfı model tarafından yok sayılır.
• Eğitim ve gerçek ortamı karıştırmak: laboratuvar görüntüsünde çalışan model sahadaki ışık değişimine uyum sağlayamaz.
• Yalnızca tek ölçüye güvenmek: piksel doğruluğu iyi görünürken nesne bazında hata büyük olabilir.

Doğrulama verisinin gerçek kullanım koşullarından alınması ve hata analizinin görsel olarak yapılması bu sorunları erken yakalar.

Mindset programlarında görüntü bölütleme

Görüntü Segmentasyonu programı, segmentasyon türleri ve temel kavramlar, geleneksel yöntemler, FCN ve U-Net mimarisi, dönüştürücü tabanlı segmentasyon, örnek ve panoptik segmentasyon ve veri etiketleme başlıklarını kapsar. Bilgisayarlı Görü Programı ve CNN ile Görüntü Modelleri programı ise bölütlemeyi daha geniş bir görü problemleri bütünü içinde ele alır.

Veri bilimciler, makine öğrenmesi mühendisleri ve görüntü verisiyle çalışan sanayi ekipleri için bu içerik, etiketleme sürecinden üretime alma konularına kadar uygulama zincirini tamamlar.