Nemotron 3.5: Ajan zekâsını veri merkezinden masaüstüne taşımak

Ajan pazarındaki önemli soru artık yalnızca hangi modelin daha akıllı olduğu değil, hangi donanımda ve hangi veri sınırları içinde çalışabildiği. Nemotron 3.5 ailesi bu soruya iki uçtan cevap vermeye çalışıyor: veri merkezleri için yüksek hacimli görsel ve araç kullanımı, masaüstü ve uç cihazlar için daha küçük yerel modeller. Bu yaklaşım, tek bir dev modelin her iş için kullanılmasından daha pratik bir dağıtım haritası sunabilir.

15 Ekim’de duyurulan Nemotron 3.5 Super VL, 120 milyar parametreli açık bir model olarak tanımlanıyor. Talimat izleme, araç kullanımı, çok adımlı iş akışları ve görsel anlama gibi görevlerde, daha büyük bir akıl yürütme modeline yakın doğruluk hedefliyor. Ürün açıklamasındaki kıyaslamaya göre sınıfındaki diğer modellere göre beş kata kadar daha hızlı olduğu ileri sürülüyor; bu sayı belirli test ve donanım koşullarına bağlı bir şirket iddiası olarak okunmalı. Modelin açık ağırlıklar, veri kümeleri ve eğitim tarifleriyle sunulması, kurumların kendi verisiyle uyarlama yapabilmesi açısından daha önemli olabilir.

Aynı duyuruda iki Bolt modeli var. 74B-A9B sürümü, doğal iki bit nicemleme ile 24 GB belleğe sığacak şekilde yerel ajan görevlerini hedefliyor. E4B sürümünün ise dört gigabaytlık bellek sınıfında konuşma ve fiziksel ajan senaryolarına yönelmesi planlanıyor; erişim tarihi olarak 23 Ekim belirtiliyor. Böylece web araştırması, kod yazma veya belge inceleme gibi işleri buluta göndermeden çalıştırma fikri öne çıkıyor.

Yerel çalışmanın avantajı yalnızca mahremiyet değil. Kurum, modelin hangi veriye eriştiğini, ağdan kesildiğinde ne yapabildiğini ve özelleştirme maliyetini daha doğrudan kontrol edebilir. Karşılığında donanım kapasitesi, güncelleme süreci, model güvenliği ve gözlemleme yükü kuruma kalır. Açık model kullanmak otomatik olarak güvenli veya ucuz olmak anlamına gelmez; ağırlıkları kurum verisiyle uyarlamak da kaliteyi garanti etmez.

Benim için doğru başlangıç, tek bir tekrarlı iş akışını seçip bulut ve yerel çalışmayı aynı ölçütlerle karşılaştırmak olurdu: gecikme, hata düzeltme süresi, enerji, veri dışarı çıkışı ve toplam sahip olma maliyeti. Nemotron 3.5’ün vaadi, ajan zekâsını farklı donanım katmanlarına dağıtmak. Karar ise modelin en parlak demosuna değil, gerçek iş yükünde bu ölçümlerin nasıl sonuçlandığına göre verilmeli.

Kapak görseli yapay zekâyla üretilmiş temsili bir sahnedir; gerçek ürün veya etkinlik fotoğrafı değildir.