MLX ve RDMA: Büyük modeller için Mac Studio kümesi

Büyük dil modellerini yerelde çalıştırmak uzun süre tek bir güçlü makinenin bellek sınırlarıyla tanımlandı. Yeni yaklaşım, modeli birkaç bilgisayara bölüp hızlı bir ağ üzerinden birlikte çalıştırmak. MLX’in RDMA üzerinden dağıtık çıkarım desteği, bu fikri özel donanım kümelerinin dışına taşıyarak masaüstü sınıfı sistemlerin nasıl ölçeklenebileceğini gösteriyor. Bu, herkesin evinde trilyon parametreli model çalıştıracağı anlamına gelmiyor; fakat yerel yapay zekâ için seçenekleri genişletiyor.

15 Ekim tarihli teknik çalışmada MLX’in Apple silicon üzerindeki birleşik belleği kullandığı ve tek bir Mac Studio’dan birden fazla makineye geçişi desteklediği anlatılıyor. Örnek olarak yaklaşık 816 milyar parametreli Muse Spark Open modeli inceleniyor. Model, dört M5 Ultra Mac Studio üzerinde 36 token/saniyenin üzerinde üretim hızına ulaşmış. Bu performans, kullanılan model sürümü, nicemleme, bağlam uzunluğu ve ölçüm komutlarıyla birlikte değerlendirilmesi gereken bir deney sonucu.

Çalışmanın teknik tarafındaki kilit değişiklik, Thunderbolt 5 üzerinden düşük gecikmeli RDMA bağlantısı. MLX 0.30.1 ve sonrası, farklı paralelleştirme şemaları için jaccl adlı iletişim kolektiflerini kullanıyor. Pipeline paralelleştirmede model katmanlara bölünüyor; tensor paralelleştirmede her katmanın genişliği makineler arasında dağıtılıyor. İlki daha kolay uygulanıyor ve bazı uzun bağlamlı ön doldurma işlerinde hız kazandırabiliyor. İkincisi daha fazla küçük iletişim işlemi gerektirdiği için ağ gecikmesine daha duyarlı, fakat dört makinede üretim hızını artırabiliyor.

Rakamların pratik anlamı şu: pahalı bir veri merkezi yerine birkaç yerel makine kurulabilir, ancak ağ ve bellek planlaması artık işin parçasıdır. Çalışmada M5 Ultra’nın tek makinede M3 Ultra’ya kıyasla ilk token süresinde 4,6 kata kadar hızlandığı ve üretim hızında 1,6 kat artış görüldüğü aktarılıyor. Aynı zamanda M5 Ultra için yaklaşık 300 watt tepe tüketim veriliyor. Bu değerler, satın alma kararından önce gerçek model, bağlam ve elektrik maliyetiyle yeniden ölçülmeli.

Ben böyle bir kümeyi önce gizli veriyle çalışan araştırma ve kodlama işlerinde denerdim. Önce tek makinedeki gecikmeyi, sonra iletişim yükünü ve toplam enerji tüketimini kaydetmek gerekir. MLX’in ilerlemesi önemli; çünkü yerel çıkarımı yalnızca “sığar mı?” sorusundan çıkarıp “kaç makineyle, hangi iletişim bedeliyle verimli olur?” sorusuna taşıyor.

Kapak görseli yapay zekâyla üretilmiş temsili bir sahnedir; gerçek ürün veya etkinlik fotoğrafı değildir.