Model boyutları ve veri hacimleri büyüdükçe eğitim, tek bir hızlandırıcının bellek ve hesaplama sınırlarını aşar. Bu noktada devreye giren paralelizm stratejileri birbirinin alternatifi değil, farklı darboğazlara verilen farklı cevaplardır: veri paralelizmi hesaplama süresini, model paralelizmi bellek sınırını, boru hattı paralelizmi ise katman derinliğini hedefler. Doğru bileşimi seçmek, iletişim maliyeti ile hesaplama kazancı arasındaki dengeyi okuyabilmeyi gerektirir. Program altı modül boyunca bu stratejileri ölçümlerle karşılaştırır. Katılımcılar dağıtık veri paralel eğitimi kurar, gradyan senkronizasyonu ve iletişim yükünü profiller, ZeRO ve FSDP ile bellek optimizasyonu uygular, karma hassasiyet ve gradyan biriktirme tekniklerini dener. Laboratuvarlarda ölçekleme verimliliği hesaplanır ve darboğazlar tespit edilir. Katılımcı programdan paralelizm strateji rehberi ve profillenmiş bir dağıtık eğitim yapılandırmasıyla ayrılır.