ControlNet ile görsel kontrolü: kontrol türleri ve adım adım kullanım
ControlNet ile poz, kenar ve derinlik kontrolü: kontrol görseli hazırlama, koşul türleri, etki ölçeği ayarı, çoklu ControlNet ve kurumsal iş akışı.
ControlNet ne yapar, hangi sorunu çözer?
Metinle görsel üreten bir model için 'sol tarafta oturan, kameraya dönük bir kişi' demek yeterince kesin bir tarif değildir. Aynı prompt farklı seed değerlerinde farklı kompozisyonlar verir. ControlNet bu belirsizliği, prompt'a ek olarak yapısal bir kontrol görseli vermenize izin vererek ortadan kaldırır.
Hugging Face Diffusers belgesi ControlNet'i şöyle tanımlar: önceden eğitilmiş bir difüzyon modelini kenar, derinlik ya da poz gibi yapısal bir kontrol görseliyle yönlendirir, metin prompt'u da korunur. Ana model dondurulur, ona paralel bir ağ eklenir ve bu ağın çıktıları gürültü temizleme sürecini yönlendirir. Böylece model yeniden eğitilmeden yerleşim üzerinde kontrol elde edilir.
Günlük karşılığı şudur: elinizde bir ürün fotoğrafının ana hatları, bir mimari taslak ya da bir poz iskeleti vardır; ControlNet bu yapıyı koruyarak prompt'taki yeni stile ve içeriğe göre görseli üretir.
Başlıca kontrol türleri ve ne zaman hangisi?
ControlNet'in değeri, farklı ihtiyaçlar için farklı koşul türleri sunmasıdır: • Kenar tabanlı (Canny gibi): Görselin ana hatlarını çıkarır. Ürün silueti, logo yerleşimi ya da mimari çizgiler korunacaksa uygundur. • Derinlik: Sahnenin uzaklık haritasını verir. Mekân düzenini, nesnelerin ön-arka ilişkisini korumak için kullanılır. • Normal harita: Yüzey yönelimlerini taşır; yüzey ve ışık davranışını yönlendirmek için işe yarar. • Poz (OpenPose gibi): İnsan iskeletini verir. Kişinin duruşu ve el-kol konumu sabit tutulurken kıyafet, mekân ve üslup değiştirilebilir. • Yüz odaklı kontrol: Yüz yapısını ve yönünü korumaya yarar. • Renk tabanlı kontrol: Renk dağılımı ya da genel palet yönlendirilir.
Seçim sorusu basittir: hangi yapıyı korumak istiyorsunuz? Siluet için kenar, mekân için derinlik, duruş için poz. Yanlış türü seçmek, güçlü bir ayar bile verseniz beklenen etkiyi vermez.
Adım adım kullanım: kenar kontrolüyle örnek
Diffusers belgesindeki canny örneği, akışı özetler. Önce kontrol görselini hazırlarsınız: OpenCV'nin Canny fonksiyonu görselden kenar haritası çıkarır, alt ve üst eşik değerleri kenarın ne kadar hassas yakalanacağını belirler. Ardından ilgili ControlNet modelini yükler ve ana modelle birlikte boru hattına verirsiniz.
Kod taslağı (model kimlikleri ve değerler yer tutucudur):
kenar = cv2.Canny(girdi_dizisi, ALT_ESIK, UST_ESIK) kontrol_gorseli = Image.fromarray(kenar_uc_kanal)
denetim = ControlNetModel.from_pretrained(CONTROLNET_KIMLIGI) boru_hatti = StableDiffusionXLControlNetPipeline.from_pretrained( ANA_MODEL_KIMLIGI, controlnet=denetim ).to("cuda")
gorsel = boru_hatti( "pastel renkli, sade bir stüdyoda ürün fotoğrafı", image=kontrol_gorseli, controlnet_conditioning_scale=ETKI_OLCEGI ).images
İş akışı şu adımlardan oluşur: kontrol görselini çıkar, uygun ControlNet'i yükle, etki ölçeğini ayarla. Kontrol görselinin boyutu boru hattının çalıştığı boyutla uyumlu olmalıdır; Diffusers belgesi çoklu kullanımda da tüm kontrol görsellerini boru hattı boyutuna getirmeyi önerir.
Etki ölçeğini ayarlamak
controlnet_conditioning_scale parametresi, kontrolün üretimi ne kadar yönlendireceğini belirler. Düşük değerde model kontrol görselini bir öneri gibi izler; yüksek değerde yapıyı sıkı biçimde takip eder. İdeal değer, kontrol türüne ve görsele göre değişir.
Pratik yaklaşım: • Önce orta bir değerle başlayın ve sonucu inceleyin. • Yapı çok serbest kalıyorsa ölçeği artırın. • Görsel sert, yapay ya da prompt'tan kopuk görünüyorsa ölçeği azaltın. • Kontrol görselindeki hatalar (kırık kenarlar, yanlış iskelet) yüksek ölçekte çıktıya aynen yansır; önce kontrol görselini düzeltin.
Ayarı değiştirirken seed'i sabit tutun ki farkı yalnızca ölçeğe bağlayabilesiniz. Birkaç değeri yan yana üretip tablo yapmak, kendi iş akışınız için doğru aralığı bulmanın hızlı yoludur.
Birden fazla ControlNet birlikte kullanmak
Bazı işler tek bir kontrolle yetinmez. Örneğin poz sabit kalırken mekân derinliği de korunmak istenebilir. Diffusers belgesine göre birden çok ControlNet bir liste halinde boru hattına verilebilir. Belge, örtüşen bölgeleri maskelemeyi ve her kontrol için etki ölçeğini ayrı ayrı ayarlamayı önerir; aksi halde kontroller birbirini bastırabilir.
Çoklu kullanımda dikkat edilecekler: • Kontrol görsellerinin hepsi aynı boyutta olmalı. • Her kontrole kendi ölçeğini verin; baskın olması gereken kontrolün ölçeği daha yüksek tutulur. • Aynı bölgeyi farklı kontroller yönlendirirse çelişki doğabilir. Gerekirse kontrol alanlarını maskeyle ayırın. • Önce tek kontrolle iyi sonuç alın, sonra diğerini ekleyin. Çok kontrol birden eklendiğinde hatanın kaynağı bulunamaz.
Örnek senaryo ve kurumsal iş akışı
Örneğin bir e-ticaret ekibi, aynı ürünün farklı mevsim kampanyaları için tutarlı görsellerine ihtiyaç duyuyor. Ürün fotoğrafından kenar haritası çıkarılıyor; ürünün şekli kenar kontrolüyle sabit kalırken prompt ile ortam ve renk paleti kampanyaya göre değiştiriliyor. Aynı kontrol görseli birçok kampanya varyasyonunda yeniden kullanılıyor, böylece ürün biçimi her seferinde aynı kalıyor.
Kurumsal tarafta üretimi tekrarlanabilir kılmak için kayıt tutun: kullanılan ana model, ControlNet türü, etki ölçeği, seed, prompt ve kontrol görseli bir arada saklanmalı. Tasarım ekibi bu kayıtla işi yeniden üretebilir, farklı bir kampanyaya uyarlayabilir. Ürün görsellerini üçüncü taraf servislere yüklemeden önce veri gizliliği ve telif durumunu kontrol edin; üretilen görsellerin marka onayından geçtiği bir kalite adımı koyun.
Sık yapılan hatalar ve Mindset bağlamı
En sık hatalar şunlardır: kontrol görselini düşük kaliteyle hazırlamak, yanlış koşul türünü seçmek, ölçeği uç değerlere çekmek ve ana model ile ControlNet uyumunu denetlememek. ControlNet modelleri belirli bir ana model ailesi için eğitildiğinden, uyumsuz eşleşmeler beklenen sonucu vermez. Bir diğer hata, kontrolden her şeyi beklemektir: yüz benzerliği, detay ve stil için ek yöntemler gerekebilir.
Mindset kataloğundaki ControlNet ile Şartlı Görsel Üretimi eğitiminin modül başlıkları kenar ve yapı tabanlı kondisyon türleri, derinlik, normal ve renk tabanlı kondisyon türleri, poz ve yüz kondisyon uygulamaları, çoklu ControlNet ve ileri teknikler, kurumsal görsel üretim iş akışları ile ControlNet mimarisi ve çalışma prensibidir. Tasarım, pazarlama ve ürün görseli ekipleri için temel difüzyon bilgisinin üstüne kontrol katmanını ekler; Stable Diffusion ile Görsel Üretimi eğitimiyle birlikte düşünülmesi doğaldır.
İlgili Mindset programı
ControlNet ile Şartlı Görsel Üretimi
Sık sorulan sorular
ControlNet için Stable Diffusion bilmem gerekir mi?
Temel kavramları bilmek işi çok kolaylaştırır: prompt, seed, adım sayısı ve ana model mantığı. ControlNet bu temele ek bir yönlendirme katmanıdır. Difüzyon modeline hiç aşina değilseniz önce temel görsel üretimi öğrenip sonra kontrol katmanına geçmek daha verimli olur.
Poz kontrolü için hangi kontrol görseli kullanılır?
İnsan iskeletini gösteren poz haritası kullanılır; OpenPose gibi araçlar bir fotoğraftan bu iskeleti çıkarır. Çıkan harita ControlNet'e kontrol görseli olarak verilir ve model kişiyi bu duruşa göre üretir. İskeletin doğru çıkmadığı fotoğraflarda sonuç da bozulur, bu yüzden haritayı kontrol edin.
Etki ölçeği çok yüksek olursa ne olur?
Model kontrol görselini aşırı sıkı izler, prompt'un katkısı azalır; görsel sert, yapay veya kontrol görselindeki hataları aynen taşıyan bir sonuca dönüşebilir. Düşük değerde ise yapı serbest kalır. Dengeyi, seed sabit tutarak birkaç değeri karşılaştırıp bulmak en güvenilir yoldur.
ControlNet her ana modelle çalışır mı?
Hayır. Her ControlNet belirli bir ana model ailesi için eğitilmiştir. Diffusers belgesi birçok model için ControlNet bulunduğunu belirtir, ancak uyumlu eşleşmeyi seçmek kullanıcıya düşer. Uyumsuz eşleşmeler hata verir ya da kötü sonuç üretir; kullanım öncesinde model kartındaki bilgiyi okuyun.
ControlNet yerine img2img kullanılabilir mi?
Görselden görsele, başlangıç görselin genel görünümünü gürültüyle bozup yeniden üretir; yapı yalnızca kısmen korunur. ControlNet ise belirli bir yapısal bilgiyi (kenar, poz, derinlik) açıkça verir ve çok daha kesin kontrol sağlar. Hafif stil değişiminde img2img yeterli olabilir, yerleşim kritikse ControlNet daha uygundur.