NVIDIA, yapay zekâ sistemlerinde kullanılan özel işlemcilerin bellek performansını artırmayı hedefleyen NVHBM teknolojisini duyurdu. Yeni teknoloji, şirketin farklı üreticilerin işlemcilerini NVIDIA altyapısıyla bir araya getirmeyi amaçlayan NVLink Fusion platformunun bir parçası olacak.
Yapay zekâ modelleri büyüdükçe yalnızca işlem gücü değil, işlemcinin bellekteki verilere ne kadar hızlı ulaşabildiği de önem kazanıyor. NVIDIA'nın NVHBM teknolojisi bu noktada mevcut HBM tasarımlarından farklı bir yaklaşım kullanıyor.
Geleneksel HBM sistemlerinde bellek denetleyicisi genellikle işlemcinin, yani XPU'nun üzerinde bulunuyor. Bu yapı işlemci üzerinde belirli miktarda alan kullanılmasına neden oluyor.
NVHBM'de ise NVIDIA'nın geliştirdiği özel bellek denetleyicisi doğrudan HBM bellek paketinin taban kalıbına yerleştiriliyor. Böylece işlemci üzerinde daha fazla alan hesaplama birimlerine ayrılabiliyor.
Yüzde 30'a kadar daha yüksek bant genişliği
NVIDIA'nın verdiği bilgilere göre NVHBM, standart HBM4E teknolojisiyle karşılaştırıldığında:
Yüzde 30'a kadar daha yüksek bellek bant genişliği,
Yüzde 15'e kadar daha düşük HBM güç tüketimi,
İşlemci kalıbında yüzde 25'e kadar daha fazla kullanılabilir alan
sağlayabilecek.
Boşalan işlemci alanı daha fazla hesaplama birimi eklemek veya farklı donanım bileşenleri için kullanılabilecek. Bu da özellikle çok büyük yapay zekâ modellerini çalıştıran veri merkezleri açısından önemli bir avantaj sağlayabilir.
NVIDIA ayrıca NVHBM için standart bir uygulama oluşturmayı planlıyor. Teknolojinin birden fazla bellek üreticisi tarafından sunulması hedefleniyor. Böylece özel yapay zekâ işlemcisi geliştiren şirketlerin farklı bellek sağlayıcılarıyla çalışması kolaylaşabilecek.
İlk ortak Amazon'un Annapurna Labs birimi olacak
NVHBM üzerinde NVIDIA ile çalışan ilk şirket Amazon'un Annapurna Labs birimi olacak.
İki şirket NVHBM'nin yanı sıra NVIDIA'nın NVLink ölçeklendirme mimarisi üzerinde de birlikte çalışacak.
Amazon ayrıca yeni nesil Trainium yapay zekâ işlemcilerinde NVLink Fusion desteği sunmayı planlıyor. Bu destek Trainium4 ile başlayacak.
Böylece Amazon'un geliştirdiği Trainium işlemcileri ile NVIDIA GPU'larının ortak bir rack ölçekli mimari içerisinde çalışabilmesinin önü açılacak.
NVLink Fusion ne işe yarıyor?
NVLink Fusion, şirketlerin kendi geliştirdikleri CPU veya yapay zekâ hızlandırıcılarını NVIDIA'nın veri merkezi altyapısıyla bir araya getirebilmesini sağlıyor.
Platform içerisinde NVLink bağlantıları, NVLink-C2C, NVLink Switch sistemleri ve NVIDIA MGX gibi teknolojiler kullanılabiliyor.
NVIDIA özellikle büyük bulut sağlayıcılarının tamamen NVIDIA işlemcilerine bağlı kalmadan kendi özel yapay zekâ çiplerini geliştirmesini, ancak bu işlemcileri NVIDIA'nın ağ ve rack altyapısıyla birlikte kullanabilmesini hedefliyor.
NVHBM'nin eklenmesiyle birlikte NVIDIA, NVLink Fusion ekosistemini yalnızca işlemci ve bağlantı teknolojileriyle sınırlı tutmayarak yüksek bant genişlikli belleği de platformun önemli parçalarından biri haline getiriyor.
