MLCommons tarafından yayımlanan MLPerf Inference v6.1 kıyaslama sonuçlarında Intel, Xeon 6 işlemciler ve Intel Arc Pro B serisi grafik işlemcilerinde yazılım düzeyinde yapılan iyileştirmelerle sağlanan yapay zekâ çıkarım kazanımlarını duyurdu.
Intel tarafından sağlanan verilere göre, MLPerf v6.0 ile aynı donanım ve soket konfigürasyonuna sahip Intel Xeon 6980P işlemcilerde, yalnızca yazılım optimizasyonları sayesinde Llama 3.1 8B Server iş yükünde 2,4 kat, Offline iş yükünde ise yüzde 56 oranında performans artışı elde edildi. Şirket, bu sonuçların mevcut kurulu altyapılardan ek donanım yatırımı yapmadan daha yüksek verim alınabileceğini gösterdiğini belirtti.
Testlerde Intel Arc Pro B70 GPU'ların sonuçlarına da yer verildi. Dört adet Intel Arc Pro B70 GPU içeren ve toplam 128 GB VRAM sunan tek bir düğüm üzerinden Llama 3.1 8B, Llama 2 70B, gpt-oss-120B, Whisper ve uçtan uca RAG testleri yapıldı. MLPerf v6.0 ile aynı dört GPU'lu sistem üzerinde çalıştırılan gpt-oss-120B modelinde Server performansı yüzde 36, Offline performansı ise yüzde 27 artış gösterdi.
Intel ayrıca MLPerf Inference v6.1 kapsamında yeni sunulan uçtan uca geri alımla zenginleştirilmiş üretim (E2E-RAG) testinin ortak geliştiricileri arasında yer aldı ve bu iş yüküne ait sonuçları sundu. Bir adet Intel Xeon 6787P işlemci ile dört adet Intel Arc Pro B70 GPU'nun bir arada kullanıldığı testte iş yükü paylaştırıldı. Bu senaryoda Xeon işlemci yerleştirme (embedding), yeniden sıralama (reranking), vektör araması ve küçük dil modellerini (SLM) yürütürken, Arc Pro B70 GPU'lar büyük dil modeli (LLM) üretim aşamasını üstlendi.
Intel platformlarındaki partner ve müşteri katılımları da v6.0 sürümündeki 29 sonuçtan v6.1 sürümünde 39 sonuca yükseldi. Oracle Intel tabanlı ilk başvurusunu gerçekleştirirken, Red Hat ilk Xeon CPU çıkarım sonucunu, Quanta Cloud Technology ile Supermicro ise Arc Pro B70 kullanan ilk iş ortağı testlerini paylaştı. Xeon 6 tarafında test edilen model sayısı ikiden beşe çıkarılarak CPU çıkarım sonuç sayısı 35'e yükseltildi.
