Görüntü Sınıflandırma ile Nesne Tespiti: Ne Var Sorusundan Nerede Sorusuna

Aynı raf fotoğrafı, farklı sorular

Bir depoda raf kamerasından gelen tek bir fotoğrafı düşünün. Ekip bu fotoğrafa farklı sorular sorabilir ve her soru başka bir bilgisayarlı görü görevine karşılık gelir.

"Bu raf düzenli mi, dağınık mı?" sorusu görüntünün tamamı için tek bir yanıt ister; bu bir görüntü sınıflandırma problemidir. Ultralytics belgelerinde de tanımlandığı gibi sınıflandırıcının çıktısı tek bir sınıf etiketi ve bir güven puanıdır. Model nesnelerin nerede olduğunu ya da şeklini söylemez; söylemesi de beklenmez.

"Raftaki her koli nerede ve kaç tane var?" sorusu ise konum ister; bu nesne tespitidir. Tespit modelinin çıktısı, görüntüdeki nesneleri saran sınırlayıcı kutular ve her kutu için sınıf etiketi ile güven puanıdır. Aynı görüntüde çok sayıda nesne, hatta farklı sınıflardan nesneler birlikte bulunabilir.

"Rafın altındaki sızıntı lekesi tam olarak hangi alanı kaplıyor?" sorusu kutudan fazlasını, nesnenin sınırını ister; bu bölütlemedir. Görevler bir merdiven gibi düşünülebilir: her basamak bir öncekinden daha ayrıntılı bilgi verir, karşılığında daha ayrıntılı etiket ve daha fazla hesaplama ister.

Ölçüt ölçüt sınıflandırma ve tespit

• Ölçüt: Çıktı. Sınıflandırma: görüntü başına bir etiket (çok etiketli kurguda birden fazla etiket) ve güven puanı. / Tespit: değişken sayıda kutu; her kutuda koordinat, sınıf ve güven puanı.
• Ölçüt: Etiketleme. Sınıflandırma: görüntüyü doğru sınıf klasörüne koymak ya da etiket listesine yazmak. / Tespit: her nesnenin çevresine kutu çizmek; kısmen görünen ve küçük nesneler için ortak kural koymak.
• Ölçüt: Model yapısı. Sınıflandırma: bir omurga ağı ve sınıf olasılıklarını veren tek bir çıkış katmanı. / Tespit: omurganın üzerinde kutu ve sınıf tahmin eden başlıklar; iki aşamalı (Faster R-CNN) ya da tek aşamalı (YOLO ailesi) yaklaşımlar.
• Ölçüt: Değerlendirme. Sınıflandırma: doğruluk, karışıklık matrisi, sınıf bazlı kesinlik ve duyarlılık. / Tespit: IoU eşiğine göre doğru sayılan kutular üzerinden kesinlik-duyarlılık eğrisi ve mAP.
• Ölçüt: Son işlem. Sınıflandırma: genellikle olasılığı en yüksek sınıf seçilir. / Tespit: aynı nesneye düşen örtüşen kutular non-maximum suppression ile ayıklanır, güven eşiği ayarlanır.
• Ölçüt: Hesaplama. Sınıflandırma: görece hafiftir, küçük girdi boyutlarıyla da iyi çalışabilir. / Tespit: küçük nesneleri kaçırmamak için daha yüksek çözünürlük gerekir, çıkarım daha ağırdır.

Tabloyu okurken asıl soru şudur: kararınız nesnenin yerine bağlı mı? Bağlı değilse tespitin getirdiği ek etiketleme ve hesaplama yükü çoğu zaman karşılıksız kalır.

Bölütleme bu tabloda nereye oturur?

Bölütleme, tespitin bir adım ötesidir. Ultralytics belgeleri örnek bölütlemeyi, nesneleri tek tek bulup her biri için maske ya da kontur üreten görev olarak tanımlar; anlamsal bölütleme ise görüntüdeki her piksele bir sınıf atar ve aynı sınıftaki nesneleri birbirinden ayırmaz.

Pratikte bölütlemeye geçme gerekçesi tek bir soruda toplanır: kararınız kutunun içindeki şekle, alana ya da sınıra bağlı mı? Tarım görüntüsünde hastalıklı yaprak alanını ölçmek, üretim hattında çatlağın uzunluğunu çıkarmak ya da yol görüntüsünde sürülebilir alanı belirlemek kutuyla yapılamaz. Buna karşılık bir kolinin rafta olup olmadığını bilmek için maske çizmek gereksiz bir maliyettir.

Maliyet açısından görev merdiveninin her basamağı etiket emeğini artırır: kutu çizmek klasöre koymaktan, maske çizmek de kutu çizmekten belirgin biçimde uzun sürer. Bu nedenle bölütleme, ancak alan ya da sınır bilgisi karara gerçekten giriyorsa seçilmelidir.

Etiketleme ve veri: maliyetin asıl kaynağı

Görev seçiminin en somut sonucu etiketleme bütçesinde görülür. Sınıflandırma verisi çoğu zaman mevcut iş kayıtlarından türetilebilir: kalite kontrolde reddedilen ürünlerin fotoğrafları bir klasöre, kabul edilenler başka bir klasöre konur. Tespit verisi ise neredeyse her zaman sıfırdan, bir etiketleme aracında kutu çizilerek üretilir.

Tespit etiketlemesinde tutarlılık modelin başarısını doğrudan etkiler. Etiketleme rehberinde şu kararlar yazılı olmalıdır: • Kutu nesneyi ne kadar sıkı saracak, gölge ve yansıma dahil mi? • Başka bir nesnenin arkasında kısmen görünen nesne etiketlenecek mi? • Görüntü kenarında kesilmiş nesneler nasıl ele alınacak? • Birbirine çok benzeyen sınıflar için ayırt edici ölçüt ne?

Sık yapılan bir hata, sınıflandırma için toplanmış veriyle sonradan konum bilgisi istemektir. Görüntü düzeyindeki etiket, nesnenin nerede olduğunu taşımaz; bu yüzden proje ortasında görev değişirse veri yeniden etiketlenir. Diğer hata, tespit verisinde etiketçiler arası farkı ölçmemektir. Aynı görüntüyü farklı etiketçilere çizdirip kutuların örtüşmesine bakmak, rehberdeki belirsizliği erken gösterir.

Hangi problemde hangisi?

Görüntü sınıflandırmayı seçin: • Karar görüntünün tamamıyla ilgiliyse: belge türünü ayırmak, ürün fotoğrafını kategoriye atamak, bir sahneyi gece ya da gündüz diye işaretlemek. • Görüntüde tek ve baskın bir nesne varsa ve yeri önemli değilse: bantta tek tek geçen parçalarda "kusurlu mu, sağlam mı?" kararı. • Etiketli veri zaten görüntü düzeyindeyse ve konum bilgisi için ek etiketleme bütçesi yoksa.

Nesne tespitini seçin: • Sayım gerekiyorsa: araç, kişi, raftaki ürün. • Konum bir eylemi tetikliyorsa: robot kolun parçayı alacağı nokta, yasak bölgeye giren kişi. • Aynı görüntüde birden fazla ve farklı sınıftan nesne varsa. • Kusurun varlığı kadar yeri de raporlanacaksa.

Bölütlemeye geçin: alan, uzunluk ya da sınır ölçülecekse ve kutu bu ölçümü bozacak kadar kabaysa.

Emin olamadığınızda en hafif görevle başlamak mantıklıdır. Sınıflandırma ile hızlı bir pilot kurup karar vericinin "peki nerede?" sorusunu sorup sormadığını görmek, tespit etiketlemesine yatırım yapmadan önce ihtiyacı netleştirir.

Birlikte kullanım: art arda çalışan modeller

Gerçek sistemlerde görevler çoğu zaman yarışmaz, birbirini besler. Yaygın bir kurguda tespit modeli önce nesneyi bulur, kutunun içindeki bölge kırpılır ve daha ince ayrım yapan bir sınıflandırıcıya gönderilir. Örneğin bir otoparkta tespit modeli araçları bulur, ikinci model aracın türünü ayırt eder. Bu yapı, ince ayrımı öğrenecek sınıflandırıcının yalnız ilgili bölgeye bakmasını sağlar.

Tersi de kullanılır: ucuz bir sınıflandırıcı "bu karede ilgilendiğimiz bir şey var mı?" sorusunu yanıtlar, yalnız olumlu karelerde daha ağır tespit modeli çalışır. Kamera akışlarında bu yaklaşım hesaplama yükünü azaltır.

Videoda tespit çoğu zaman nesne takibiyle birleşir; her karede bulunan kutular kimliklendirilerek aynı nesnenin iki kez sayılması önlenir. Hangi kurgu seçilirse seçilsin, her modelin hatası bir sonrakine aktarılır. Bu yüzden zincirdeki her aşama ayrı ölçülmeli, tespitin kaçırdığı nesnenin sınıflandırıcıya hiç ulaşmadığı unutulmamalıdır.

Bu görevleri Mindset programlarında nerede çalışırsınız

Bilgisayarlı Görü (Computer Vision) Programı, görev merdiveninin basamaklarını sırayla ele alır: evrişimli sinir ağlarıyla ilk sınıflandırma modelinin kurulması, nesne algılamada IoU ve mAP hesabı ile YOLO ile özel veri setinde eğitim, ardından semantik ve örnek segmentasyon. Veri stratejisi modülündeki etiketleme rehberi ve etiketçi kalite kontrolü konuları, görev seçiminin etiketleme bütçesine etkisini uygulamada görmeyi sağlar.

Program, üretim, perakende ya da güvenlik alanında görüntü verisiyle çalışan ve hangi görevi seçeceğine karar vermesi gereken mühendis ve veri ekipleri için uygundur.