Altyapı İzleme: Zabbix, Prometheus ve Grafana ile Monitoring Kurulumu

Altyapı izleme nedir, ne işe yarar?

Altyapı izleme, sunucu, ağ cihazı, veritabanı ve uygulamaların sağlığını sürekli ölçüp bir sorun oluşmadan ya da oluşur oluşmaz haberdar olmayı sağlayan uygulamadır. Temel iş, üç soruya cevap vermektir: sistem çalışıyor mu, ne kadar iyi çalışıyor, ve gidişat neyi gösteriyor?

İzleme olmadan sorunu çoğunlukla kullanıcılar bildirir. İzleme ile ise disk dolmadan, bellek tükenmeden ya da bir hizmet yanıt vermeyi bıraktığında ekibe uyarı gider. Aynı zamanda zaman serisi veriler kapasite planlamasının girdisidir: büyüme eğilimini görmeden ne zaman ek kaynak gerektiğini bilemezsiniz.

İki yaklaşım: Zabbix ve Prometheus ile Grafana

BT dünyasında yaygın iki ekosistem vardır ve farklı güçlü yanları vardır.

Zabbix, ajan ve ajansız yöntemlerle sunucu, ağ cihazı ve veritabanlarından veri toplayan, kendi arayüzü, tetikleyici ve uyarı yönetimi bulunan bütünleşik bir izleme platformudur. Şablonlarla çok sayıda cihaza aynı izleme tanımını uygulamak ve düşük seviye keşifle yeni nesneleri otomatik bulmak güçlü yanlarıdır. Geleneksel sunucu ve ağ altyapısı olan kurumlarda sık tercih edilir.

Prometheus ise sistemlerden metrikleri düzenli aralıklarla çeken, PromQL sorgu diliyle sorgulayan bir zaman serisi sistemidir. Grafana onun üzerine dashboard katmanı koyar; Alertmanager uyarı yönlendirmesini yapar. Konteyner ve dinamik ortamlarda, özellikle uygulama metriklerinin ölçüldüğü yerlerde yaygındır. İki araç birbirinin rakibi olduğu kadar tamamlayıcı da olabilir; seçim altyapınızın yapısına ve ekibin becerisine bağlıdır.

Adım adım: izleme sistemi kurmak

Hangi aracı seçerseniz seçin, kurulum mantığı benzer bir sırayı izler:

• Neyi izleyeceğinizi belirleyin: Kritik hizmetleri ve bağımlılıklarını listeleyin. Önce iş açısından en önemli olanlarla başlayın.
• Temel metrikleri seçin: İşlemci, bellek, disk, ağ gibi kaynak metriklerine ek olarak hizmetin kendi sağlığını gösteren metrikleri (yanıt süresi, hata oranı) ekleyin.
• Toplayıcıları kurun: Zabbix'te ajan ya da protokol bazlı toplama, Prometheus'ta exporter adı verilen toplayıcılar kullanılır.
• Şablon ve etiket düzeni kurun: Aynı türdeki cihazlara aynı tanımı uygulayın, nesneleri anlamlı biçimde gruplayın.
• Uyarıları tasarlayın: Eşik, süre ve ciddiyet düzeyini belirleyin; kime ve hangi kanaldan gideceğini tanımlayın.
• Dashboard oluşturun: Sistem sağlığını bir bakışta gösteren genel panolar ve ayrıntıya inen ekranlar kurun.
• Yedekleme ve ölçeklenme planı yapın: İzleme sisteminin kendisi de izlenmeli ve kesintiye hazırlıklı olmalıdır.

İyi uyarı tasarımı: gürültüden kaçınmak

İzlemenin en sık başarısız olduğu yer uyarılardır. Her küçük dalgalanmada gelen uyarı, ekibin zamanla hepsini görmezden gelmesine yol açar. İyi uyarı, aksiyon gerektiren duruma karşılık gelmelidir.

• Belirti üzerinden uyarın: Kullanıcıyı etkileyen belirtilere (hizmet yanıt vermiyor, hata oranı arttı) öncelik verin; nedenlere yönelik ayrıntılı uyarıları ikinci kademede tutun.
• Süre koşulu ekleyin: Anlık sıçrama yerine, belirli süre devam eden durumda tetikleyin.
• Ciddiyet düzeylerini ayırın: Hemen müdahale gerektiren ile gün içinde bakılabilecek uyarıyı aynı kanaldan göndermeyin.
• Eskalasyon tanımlayın: Uyarıya yanıt gelmezse bir üst kişiye yönlenmesini sağlayın.
• Bağımlılığı bilin: Ana ağ cihazı çökünce ona bağlı yüzlerce uyarı yağmasın; ilişkili uyarıları baskılayın.

Her uyarının sahibi, gerekçesi ve bir çözüm adımı olmalıdır.

Örnek bir kural: disk doluluğu için tek bir yüksek eşik yerine, hem mevcut doluluğa hem de dolma hızına bakın. Hızlı dolan küçük bir disk, yavaş dolan büyük bir diskten daha acildir; eşik bunu yansıtmıyorsa uyarı ya çok geç gelir ya da gereksiz yere çalar.

Dashboard tasarımı ve gözlemlenebilirliğe geçiş

İzleme, bilinen sorulara önceden tanımlanmış cevaplar verir. Gözlemlenebilirlik ise sistemin dışarıdan çıkardığı metrik, günlük ve izleme verisiyle beklenmedik sorunları da araştırabilme yeteneğidir. Altyapı izleme bu yolculuğun ilk basamağıdır.

Dashboard tasarımında kural, kitleyi tanımaktır. Operasyon ekibi için anlık sağlık panosu, yönetici için hizmet durumu özeti, ekip içi için ayrıntılı kaynak grafikleri gerekir. Tek panoya her grafiği yığmak, kriz anında bakılacak yeri bulmayı zorlaştırır. Panoda önce genel durum, sonra sorunlu bölgeye inen kırılımlar bulunsun; zaman aralığı ve ortam seçilebilsin.

Prometheus tarafında PromQL ile hız, hata oranı ve yoğunluk gibi türetilmiş ölçüleri üretmek; Zabbix tarafında şablon ve düşük seviye keşifle sistem büyüdükçe izlemeyi otomatik genişletmek bu aşamanın temel becerileridir.

Örnek senaryo: orta ölçekli bir şirketin altyapısı

Örneğin bir şirketin ofis sunucuları, ağ cihazları, bir veritabanı kümesi ve konteynerde çalışan birkaç uygulaması var. BT ekibi, sunucu ve ağ cihazlarını Zabbix ile, uygulama metriklerini Prometheus ve Grafana ile izlemeye karar verir. Zabbix'te her cihaz türüne bir şablon bağlanır; yeni sunucu eklendiğinde şablon otomatik uygulanır.

Veritabanı kümesi için bağlantı sayısı, yanıt süresi ve yineleme gecikmesi izlenir. Uygulama tarafında istek sayısı ve hata oranı Prometheus ile ölçülür, Grafana'da panoya taşınır. Kritik uyarılar telefon bildirimine, bilgi amaçlılar e-postaya gider. Aylık toplantıda büyüme grafikleri incelenir ve disk ile bellek ihtiyacı önceden planlanır.

Sık yapılan hatalar

• Her şeyi izlemeye çalışmak: Binlerce metrik toplayıp hiçbirine bakmamak. Önce kritik hizmetlerle başlayın.
• Uyarı yağmuru: Eşikleri deneme yanılmayla ayarlamadan canlıya almak ekibin uyarılara duyarsızlaşmasına yol açar.
• İzleme sistemini izlememek: İzleme sunucusu çökerse kimse fark etmez. Ona bağımsız bir kontrol ekleyin.
• Sahipsiz panolar: Kimsenin bakmadığı, bakımsız panolar zamanla yanıltıcı olur.
• Yalnız kaynak metriklerine bakmak: İşlemci düşük olabilir ama kullanıcı hata alıyor olabilir; hizmet seviyesini doğrudan ölçün.
• Kapasite verisini kullanmamak: Toplanan geçmiş veri planlama için değerlendirilmezse izleme yarı yarıya boşa gider.

Uyarıdan sonra ne yapılacağını anlatan kısa bir müdahale notu (runbook) da ihmal edilen bir parçadır. Gece uyarıyı alan kişi, ilk bakılacak üç yeri ve kime başvuracağını uyarının içinde ya da bağlantısında görebilmelidir.

Mindset programlarında nerede çalışılır?

Mindset'in Zabbix ile Kurumsal Altyapı İzleme programı Zabbix Mimarisi ve Kurulum, Host Yönetimi ve Veri Toplama Yöntemleri, Şablon Tasarımı ve Düşük Seviye Keşif, Tetikleyici, Uyarı ve Eskalasyon, Ağ, Veritabanı ve Uygulama İzleme, Dağıtık Mimari, Görselleştirme ve Proje modüllerinden oluşur. Prometheus ve Grafana ile İzleme programı ise Gözlemlenebilirlik Temelleri, Prometheus Mimarisi ve Kurulum, PromQL Sorgulama Dili, İhracat ve Entegrasyon, Grafana Dashboard Tasarımı, Alertmanager ve Alarm Yönetimi, İleri Düzey Gözlemlenebilirlik Stack modüllerini içerir.