Podczas konferencji Hot Chips 2026 firma d-Matrix przedstawiła inne podejście do dostarczania danych do procesora. Jej akcelerator Raptor wykorzystuje układ logiczny wykonany w procesie technologicznym TSMC N4, umieszczony bezpośrednio nad specjalnie przygotowaną pamięcią DRAM. Zastosowano tutaj technologię bezpośredniego łączenia warstw face-to-face. W przeciwieństwie do klasycznych rozwiązań z pamięcią HBM, duże stosy pamięci nie znajdują się obok procesora, lecz są umieszczone bezpośrednio pod nim.
Technologia została opracowana przede wszystkim z myślą o sztucznej inteligencji, a nie kartach graficznych do gier. d-Matrix zwraca uwagę na etap dekodowania dużych modeli językowych. Jest on często ograniczany przez przepustowość pamięci, ponieważ wygenerowanie każdego kolejnego tokena wymaga ponownego dostępu do danych modelu oraz pamięci podręcznej KV. Właśnie tutaj konstrukcja Raptora ma pokazać swoje największe zalety.
Firma podaje, że pionowe połączenie pomiędzy układem logicznym a pamięcią charakteryzuje się zużyciem energii na poziomie 0,37 pJ/bit. Dla porównania, w przedstawionym zestawieniu HBM4 potrzebuje około 2–3 pJ/bit. Oznacza to potencjalnie znacznie bardziej efektywny transfer danych pomiędzy pamięcią a procesorem. Raptor ma osiągać przepustowość nawet 100 TB/s, co robi ogromne wrażenie na tle współczesnych rozwiązań.
Tak wysoka przepustowość ma jednak swoją cenę. Według danych d-Matrix przy przepustowości 100 TB/s sam interfejs wejścia/wyjścia pamięci może wymagać około 296 W energii. Pokazuje to, jak ogromne ilości energii są potrzebne do przesyłania danych z ekstremalną szybkością w zaawansowanych akceleratorach AI.
Konstrukcja 3D wiąże się również z problemami technicznymi. Umieszczenie pamięci DRAM bezpośrednio przy wysoko wydajnym układzie logicznym zwiększa wymagania dotyczące odprowadzania ciepła, odświeżania pamięci oraz niezawodności. Dodatkowym ograniczeniem jest pojemność wynosząca 32 GB na kartę, która jest znacznie mniejsza od pojemności oferowanej przez niektóre współczesne akceleratory AI wykorzystujące HBM.
d-Matrix próbuje rozwiązać te problemy poprzez zastosowanie szybszego mechanizmu odświeżania pamięci, korekcji błędów ECC oraz zapasowych banków DRAM. Raptor jest więc przykładem tego, jak rozwój sprzętu AI coraz częściej koncentruje się nie tylko na zwiększaniu liczby jednostek obliczeniowych, ale również na szybszym dostarczaniu danych do procesora.
Jeżeli rozwiązania tego typu okażą się skuteczne na większą skalę, pamięć 3D może stać się jednym z ważniejszych kierunków rozwoju akceleratorów sztucznej inteligencji. Raptor pokazuje, że w przypadku nowoczesnych modeli AI równie ważne jak moc obliczeniowa jest to, jak szybko procesor może otrzymać potrzebne mu dane.
