NVIDIA, yapay zekâ ajanları ve uzun bağlamlı modeller için geliştirdiği Groq 3 LPX hızlandırıcısının tam üretime geçtiğini duyurdu.
Yeni platform, NVIDIA’nın Vera Rubin NVL72 veri merkezi altyapısıyla birlikte çalışacak. Şirketin hedefi, büyük yapay zekâ modellerinin sadece güçlü çalışması değil; aynı zamanda kullanıcıya daha hızlı yanıt vermesi ve yüksek maliyet oluşturmadan çok sayıda isteği işleyebilmesi.
Yapay zekâ ajanları, normal bir sohbet botundan daha karmaşık görevler üstlenebiliyor. Birden fazla aracı kullanabiliyor, kod çalıştırabiliyor, veri kaynaklarını tarayabiliyor ve görevleri adım adım tamamlayabiliyor. Bu süreçte üretilen her yeni kelime veya veri parçası, sistem için ek işlem yükü anlamına geliyor.
NVIDIA’ya göre Groq 3 LPX, özellikle bu “token üretimi” aşamasındaki gecikmeyi azaltmak için tasarlandı. Rubin GPU’ları büyük miktardaki bağlamı ve veriyi işlerken, LPX hızlandırıcıları hızlı yanıt gerektiren token üretimi tarafına odaklanacak.
Şirket, Artificial Analysis testinde Gemma 4 31B modeliyle yapılan uzun bağlamlı bir senaryoda saniyede 3.400 çıktı tokeni üretildiğini belirtiyor. NVIDIA, bu sonucun en yakın alternatif platformdan dört kat daha yüksek olduğunu iddia ediyor. Bu değerler üreticinin paylaştığı test sonuçları olduğu için, bağımsız testlerle ayrıca doğrulanması gerekecek.
NVIDIA ayrıca Spectrum-X Multiplane adlı ağ altyapısını da öne çıkardı. Şirkete göre bu yapı, yapay zekâ veri merkezlerini ek bir ağ katmanına ihtiyaç duymadan 512 bine kadar GPU ölçeğine taşıyabilecek. Sistem, bağlantı hatası yaşandığında trafiği farklı yollara otomatik olarak aktararak kesintiyi azaltmayı hedefliyor.
Groq 3 LPX ve Vera Rubin altyapısı ev kullanıcıları veya oyuncu bilgisayarları için geliştirilmiyor. Bu ürünler; yapay zekâ bulut hizmetleri, büyük veri merkezleri ve çok sayıda kullanıcıya aynı anda AI hizmeti sunan şirketleri hedefliyor.
KİMLERİ İLGİLENDİRİYOR?
- Yapay zekâ hizmeti sunan bulut şirketleri
- Büyük dil modeli geliştiren firmalar
- Kodlama, araştırma ve otomasyon odaklı AI ajanı kullanan işletmeler
- Uzun vadede daha hızlı AI servislerinden faydalanacak son kullanıcılar
KULLANICI İÇİN NE ANLAMA GELİYOR?
Bu duyuru doğrudan ev bilgisayarlarını değiştirmeyecek. Ancak büyük şirketlerin yapay zekâ hizmetlerini daha hızlı ve verimli sunmasına yardımcı olursa, gelecekte kullandığımız sohbet botları, kodlama araçları ve AI destekli servisler daha kısa sürede yanıt verebilir.
