La VRAM des GPU trop gourmande dans quelques années ?

Lors du forum SC15, Nvidia a effectué une présentation  concernant les pistes qu'il explorait afin d'arriver aux super-ordinateurs de type Exascale (capables d'effectuer au moins exaFLOPS) les plus efficaces possibles d'un point de vue énergétique. Si on n'apprend rien de précis concernant les architectures GPU à venir, le NVLink ou encore le support de la précision FP16 étant déjà connus, le constructeur a publié un graphique intéressant pour ce qui est de la consommation des différents type de mémoire.

Selon Nvidia, la HBM2 consommera ainsi jusqu'à 60 watts pour une bande passante de l'ordre de 1 To /s. Si son efficacité est en hausse par rapport à la HBM (40W pour 500 Go /s) et bien sûr la GDDR5 (75W pour 350 Go /s), il faut rappeler que la présence de la mémoire sur le même packaging fait que le GPU doit en contrepartie consommer moins sans quoi la densité de puissance à dissiper serait trop importante.

Si avec 60 watts pour la HBM2 la situation commencera à être problématique, Nvidia met en avant le fait que pour atteindre une bande passante de 2 To /s en HBM2 on arrivera à un niveau intenable de 120 watts. Même en envisageant une mémoire 1.5x plus efficace, pour atteindre une bande passante de 4 To /s qui devrait être nécessaire d'ici quelques générations de GPU on serait à 160 watts et il est bien entendu inimaginable d'attribuer autant de puissance à la mémoire.

S'il reste encore quelques années avant d'être confronté à ce problème grâce au remplacement de la GDDR5 par la HBM puis la HBM2, il faudra donc de nouvelles technologies mémoire pour accompagner l'augmentation en puissance des GPU. Le fabricant indique travailler sur le sujet, mais n'a dévoilé aucune piste à ce jour.