ClickHouse ile PostgreSQL Arasındaki Fark: Analitik Motor mu, Genel Amaçlı Veritabanı mı?

Aynı SQL, farklı iş yükleri için tasarlanmış iki motor

PostgreSQL, uygulamaların günlük işlemlerini taşımak için tasarlanmış genel amaçlı, açık kaynak bir nesne-ilişkisel veritabanıdır. Sipariş oluşturmak, bir müşterinin kaydını güncellemek, stok düşmek gibi az sayıda satırı okuyan ya da yazan, işlem (transaction) bütünlüğü gerektiren işlerde güçlüdür. Bu iş yüküne çevrim içi işlem işleme (OLTP) denir.

ClickHouse ise resmî belgelerinde çevrim içi analitik işleme (OLAP) için kolon tabanlı bir SQL veritabanı yönetim sistemi olarak tanımlanır. Açık kaynak yazılım olarak ve bulut hizmeti olarak sunulur. Çok büyük tablolar üzerinde toplama, gruplama ve filtreleme yapan analitik sorguları gerçek zamanlıya yakın sürelerde yanıtlamak için tasarlanmıştır.

İkisi de SQL konuşur ve aynı soruyu sorabilir. Fark, verinin diskte nasıl durduğundan başlar ve hangi sorunun hızlı, hangisinin yavaş cevaplanacağını belirler.

Satır tabanlı ve kolon tabanlı depolama neyi değiştirir?

Satır tabanlı bir veritabanında, PostgreSQL'de olduğu gibi, bir satırın tüm sütunları diskte yan yana durur. Bir siparişin tüm bilgisini getirmek bu yüzden hızlıdır. Ancak çok sayıda siparişin yalnız tutar sütununu toplamak istediğinizde, disk okumaları sabit büyüklükte bloklarla yapıldığı için kullanılmayan diğer sütunlar da okunur.

Kolon tabanlı ClickHouse'ta ise her sütunun değerleri bir arada saklanır. Analitik sorgu yalnız ihtiyaç duyduğu sütunları okur; aynı tipteki değerler yan yana durduğu için sıkıştırma da daha etkilidir. ClickHouse belgeleri bu yapının filtreleme ve toplama işlemlerini belirgin biçimde hızlandırdığını, buna karşılık tek bir satırın tamamını yeniden oluşturmanın değerleri dağınık olduğu için daha zor olduğunu belirtir.

Bu ödünleşim, iki sistemin güçlü ve zayıf yanlarının kaynağıdır: PostgreSQL tek kaydın tamamına, ClickHouse çok kaydın az sayıda sütununa göre optimize edilmiştir.

Tablo tasarımında fark: aynı olay tablosu iki sistemde

Örneğin bir uygulamanın kullanıcı olaylarını (sayfa görüntüleme, tıklama, satın alma) tutan bir tablo tasarlanıyor.

PostgreSQL'de tablo birincil anahtarla tanımlanır, sık filtrelenen sütunlara dizin eklenir, veri büyüdükçe tarihe göre bölümleme yapılır:

CREATE TABLE events (id bigserial PRIMARY KEY, event_time timestamptz, user_id bigint, event_type text); CREATE INDEX ON events (user_id, event_time);

ClickHouse'ta ise tablo motoru ve sıralama anahtarı seçilir; veri diskte bu anahtara göre sıralı tutulur ve sorgular bu sıraya göre gereksiz veri bloklarını atlar:

CREATE TABLE events (event_time DateTime, user_id UInt64, event_type LowCardinality(String)) ENGINE = MergeTree ORDER BY (event_type, event_time);

Aynı rapor sorgusu, örneğin olay türüne göre günlük olay sayısını getiren bir GROUP BY, iki sistemde de aynı SQL ile yazılabilir. PostgreSQL bu sorguda ilgili satırların tamamını okur; ClickHouse yalnız event_type ve event_time sütunlarını okur. Buna karşılık belirli bir olayın tüm alanlarını kimliğiyle getirmek PostgreSQL'de birincil anahtar sayesinde anlık, ClickHouse'ta ise tasarım amacının dışında kalan bir işlemdir.

Ölçüt ölçüt farklar

• Ölçüt: Ana iş yükü. ClickHouse: analitik sorgular, raporlama, olay ve log analizi, gözlemlenebilirlik verisi. / PostgreSQL: uygulama veritabanı, işlem kayıtları, ana veri; orta ölçekte raporlama da yapabilir.
• Ölçüt: Depolama. ClickHouse: kolon tabanlı, yüksek sıkıştırma. / PostgreSQL: satır tabanlı.
• Ölçüt: Yazma deseni. ClickHouse: büyük partiler halinde toplu ekleme için uygundur; çok sayıda tek satırlık ekleme verimsizdir. / PostgreSQL: tek tek satır ekleme, güncelleme ve silme günlük işidir.
• Ölçüt: Güncelleme ve silme. ClickHouse: ALTER TABLE ile yapılan ve mutasyon adı verilen işlemlerle ya da hafif silme (lightweight delete) ile yapılır; sık değişiklikler için belgeler tekilleştirme ya da hafif güncelleme gibi yöntemler önerir. / PostgreSQL: standart UPDATE ve DELETE; MVCC ile eşzamanlı okuma ve yazma.
• Ölçüt: İşlem bütünlüğü. ClickHouse: çok tablolu, çok adımlı işlemler temel kullanım amacı değildir. / PostgreSQL: SQL standardındaki tüm yalıtım düzeyleri, iç içe işlemler ve kısıtlarla güçlü bütünlük.
• Ölçüt: Tablo tasarımı. ClickHouse: tablo motoru seçimi ve sıralama anahtarı tasarımı performansın merkezindedir. / PostgreSQL: normalizasyon, birincil ve yabancı anahtarlar, dizin tasarımı.
• Ölçüt: Ön toplama. ClickHouse: materialized view'lar veri eklenirken toplamları güncel tutmak için sık kullanılır. / PostgreSQL: materialized view'lar elle ya da zamanlanmış yenilemeyle güncellenir.
• Ölçüt: Ekosistem. ClickHouse: analitik ve akış entegrasyonlarına odaklı. / PostgreSQL: geniş eklenti ekosistemi, yaygın uygulama çatılarıyla doğal uyum.

PostgreSQL'deki analitik sorgu ne zaman ClickHouse'a taşınmalı?

Örneğin bir e-ticaret şirketi, sipariş ve tıklama verisini PostgreSQL'de tutuyor ve yönetim panosu doğrudan bu veritabanını sorguluyor. Veri büyüdükçe pano sorguları yavaşlıyor, raporlama saatlerinde uygulamanın kendisi de yanıt vermekte zorlanıyor.

İlk adım PostgreSQL içinde kalarak denenebilecek iyileştirmelerdir: doğru dizinler, tarihe göre tablo bölümleme, ön hesaplanmış özet tabloları, raporlama sorgularını bir okuma kopyasına yönlendirmek. Bunlar orta ölçekte yeterli olabilir ve yeni bir sistem işletme yükü getirmez.

Şu işaretler ClickHouse gibi ayrı bir analitik motoru gündeme getirir: • Sorgular çok büyük tabloların tamamını tarayıp toplama yapıyor ve dizinler yardımcı olmuyor. • Tıklama, log, sensör ya da olay verisi gibi sürekli büyüyen, ağırlıklı olarak eklenen ama nadiren değiştirilen veri var. • Kullanıcılar panoda filtreleri değiştirerek etkileşimli analiz yapmak istiyor; bekleme süresi kabul edilemiyor. • Analitik yük, işlem veritabanının performansını etkiliyor.

Bu durumda yaygın mimari şudur: PostgreSQL işlem veritabanı olarak kalır, değişiklikler değişiklik verisi yakalama (CDC) ya da toplu aktarımla ClickHouse'a taşınır, panolar ClickHouse'u sorgular.

Sık yapılan hatalar

• ClickHouse'u işlem veritabanı gibi kullanmak: sık tek satırlık güncelleme ve silme, kayıt bazlı okuma ve çok adımlı işlem gerektiren uygulama mantığı ClickHouse'un tasarım amacına ters düşer.
• ClickHouse'a satır satır veri yazmak: çok sayıda küçük ekleme, arka planda birleştirilmesi gereken çok sayıda küçük veri parçası oluşturur. Veriyi partiler halinde ya da asenkron ekleme ve akış entegrasyonlarıyla yazın.
• Sıralama anahtarını rastgele seçmek: ClickHouse'ta sorguların hangi sütunlara göre filtrelediğini dikkate almayan bir anahtar, kolon tabanlı yapının avantajını büyük ölçüde boşa çıkarır.
• PostgreSQL'de iyileştirme yapmadan yeni sisteme geçmek: bölümleme, dizin ve özet tablolarla çözülebilecek bir sorun için ikinci bir veritabanı işletmek gereksiz karmaşıklık yaratır.
• İki sistem arasındaki tutarlılığı planlamamak: ClickHouse'a aktarılan verinin gecikmesi ve silinen ya da güncellenen kayıtların yansıtılması baştan tasarlanmalıdır; aksi halde panolar işlem veritabanıyla çelişen rakamlar gösterir.

Mindset programlarında ClickHouse ve PostgreSQL

ClickHouse ile Analitik Veri Ambarı eğitimi kolon tabanlı depolama mimarisi, tablo motorları ve anahtar tasarımı, veri alımı ve akış entegrasyonu, materialized view ile ön toplulaştırma ve sorgu optimizasyonunu işler. Büyük hacimli olay ve log verisi üzerinde analitik platform kuran veri mühendisliği ekipleri için doğrudan karşılık bulur.

PostgreSQL tarafında PostgreSQL ile Veri Analizi eğitimi indeksleme stratejileri, sorgu optimizasyonu ve ileri analitik sorguları kapsar; PostgreSQL İleri Seviye: Performans ve Yönetim ise bölümleme, büyük tablo yönetimi ve replikasyonu ele alır. Analitik yükü ayrı bir motora taşımadan önce PostgreSQL'in sınırlarını zorlamak isteyen ekipler için bu iki program uygun bir başlangıç sunar.