3DMark (Next): Fire Strike, Cloud Gate et Ice Storm

Après un peu plus de deux ans et plusieurs reports, le 3DMark nouveau est arrivé. Composé en réalité de 3 sous-benchmarks, il a la particularité d'être adapté à un très large éventail de plateformes, des PC haut de gamme aux smartphones en passant par les tablettes et les portables. Nous vous avons préparé un petit guide de ses spécificités ainsi que quelques premiers résultats obtenus avec la version PC de 3DMark.

 

3DMark "tout court"

Exit la référence au millésime ou au "Next" associé au projet, il s'agit finalement de 3DMark tout court et ce seront les sous-groupes de tests qui permettront de différencier les scores obtenus par rapport aux précédents 3DMark :

3DMark Ice Storm (niveau "DirectX 9")
3DMark Cloud Gate (niveau "DirectX 10")
3DMark Fire Strike (niveau "DirectX 11")

Chacun de ces benchmarks intègre une démo, 2 scènes de test GPU ainsi qu'une scène de test CPU (physique basé sur Bullet Physics) et Fire Strike y ajoute un test combiné qui stresse autant le CPU que le ou les GPU. Toutes les scènes de test sont dynamiques, une évolution notable par rapport à 3DMark 11 dont l'aspect statique avait été largement critiqué. Pour l'ensemble de ces tests, une résolution fixe de rendu est exploitée et un filtre se charge de transposer l'image dans la résolution native de l'écran. Futuremark indique que ce filtre de mise à l'échelle a été conçu pour avoir un coût presque nul et indépendant de la résolution d'affichage.

Sous Windows Vista, 7 et 8, 3DMark repose sur l'API DirectX 11 en faisant usage des différents niveaux de fonctionnalités suivant les tests (voir ici  pour plus de détails sur le fonctionnement de l'API DirectX). Ainsi l'ensemble des GPU à partir de la génération DirectX 9, à condition qu'ils disposent de pilotes mis à jour avec le support de l'API DirectX 11, sont compatibles, au moins avec Ice Storm. Pour le reste, un CPU dualcore et 2 Go de mémoire sont requis.

Si 3DMark propose ses 3 tests pour Windows RT, à travers l'API DirectX 11.1 et ses niveaux de fonctionnalités, les périphériques Windows RT actuels sont limités au support d'Ice Storm. Il faudra attendre l'utilisation de SoC équipés de GPU plus évolués pour pouvoir accéder aux deux autres tests.

A l'heure actuelle, Futuremark s'est contenté de porter Ice Storm sous OpenGL ES 2.0 pour Android et iOS. Dans le premier cas, Android 3.1 et 1 Go de mémoire sont requis (avec un SoC compatible, une liste que Futuremark fournira plus tard) alors que dans le second cas il faudra passer par un iPhone 4, iPad 2 ou iPod Touch 5, équipés d'iOS 5.0 ou supérieur.

 

3DMark pour Windows Vista/7/8

Pour l'heure, ce n'est que la version PC x86 ou x64 qui est rendue disponible. Futuremark indique qu'il faudra encore patienter quelques semaines pour que les autres versions débarquent sur les app stores de Microsoft, Google et Apple.

Comme d'habitude, la version PC est disponible en version gratuite. Les 3 groupes de tests sont accessibles et toujours exécutés simultanément, il n'y a pas d'options et les résultats doivent être consultés en ligne.

Une version Advanced Edition, commercialisée à 25$ permet de choisir le test à lancer, débloque le mode Extreme de Fire Strike et permet de personnaliser les options de rendu. Il est alors également possible de faire tourner les tests en boucle, pour tester la stabilité par exemple, de consulter les résultats hors ligne et d'avoir accès et des graphes détaillés.

Enfin, pour 995$, la version Professional Edition inclus une licence d'utilisation commerciale, permet de lancer les tests en ligne de commande pour les automatiser, d'exporter les résultats en XML et débloque l'outil d'analyse de la qualité des images.

Les utilisateurs de la version Advanced Edition de 3DMark 11 pourront obtenir une réduction de 25% sur 3DMark Advanced Edition, tout comme ceux qui décideront de l'acquérir via Steam. Par ailleurs notez que MSI et Galaxy, les sponsors de ce nouveau benchmark, proposeront cette version Advanced Edition en bundle avec certains de leurs produits.

 

Ice Storm

Ice Storm est prévu pour comparer smartphones, tablettes et ultra-portables. S'il repose sur des fonctionnalités graphiques de niveau DirectX 9, comme 3DMark 06, il est cependant très différent de ce dernier qui avait été conçu pour pousser dans leurs derniers retranchements les PC de joueurs de 2006.

Ice Storm existe en version OpenGL ES 2.0 pour Android et iOS ainsi qu'en version DirectX 11 pour Windows. Futuremark conserve DirectX 11 pour la version x86/x64 pour conserver la compatibilité jusqu'à Windows Vista. Petit détail, sous Windows RT il s'agit de l'API DirectX 11.1, la seule disponible, mais ses fonctionnalités supplémentaires ne sont pas exploitées. Futuremark limite ce test au niveau de fonctionnalité 9_3 ou 9_1. Dans ce dernier cas, par exemple pour Tegra 3, le support optionnel du filtrage des ombres est requis.

Futuremark insiste sur le fait que le tout a été prévu pour produire des scores comparables d'une plateforme à l'autre. Le rendu du benchmark se fait en 1280x720 mais rappelons qu'un filtre de scaling se charge de l'afficher dans la résolution native. Futuremark estime la consommation de mémoire graphique à 128 Mo.

Ice Storm repose sur un moteur au rendu direct et partiellement multi-threadé. Tout l'aspect rendu reste cependant traité par un seul thread. Pour l'éclairage, nous retrouvons un Blinn Phong basique pour les sources de lumières de type ponctuelles ou directionnelles. Seules les secondes peuvent optionnellement générer des ombres. Une précision réduite est utilisée pour l'éclairage si le GPU la supporte (16bpp telle que B5G6R5). Enfin ce moteur supporte les surfaces transparentes ainsi que le rendu des particules.

 

Ice Storm GT1 et GT2

Le premier test graphique oriente sa charge plutôt vers le traitement de la géométrie alors que le second est plus lourd du côté du calcul des pixels. De quoi pouvoir mieux observer le comportement des GPU intégrés aux SoC dont certains, les Tegra 2/3/4, ne reposent pas encore sur une architecture unifiées. Ainsi, Futuremark parle de 180.000 triangles et de 4.7 millions de pixels pour le test 1 contre 25.000 triangles et 12.6 millions de pixels pour le second, en moyenne pour le rendu d'une image. La géométrie plus complexe du test 1 est liée en grande partie au rendu des ombres, absents du test 2, alors que celui-ci fait appel à plusieurs filtres de post processing, absents du test 1.

 

Ice Storm Physics

Le test physique consiste pour sa part au calcul de collisions entre 2 soft-bodies et 2 rigid-bodies qui ont lieu dans 4 "mondes" distincts. Un thread par core CPU disponible est utilisé pour le calcul des simulations.

 

Cloud Gate

Cloud Gate a été conçu pour comparer les PC d'entrée de gamme, particulièrement les portables équipés de cores graphiques intégrés. Il repose sur le niveau de fonctionnalité 10_0 de DirectX 11 / 11.1 et existe en versions x86/x64 ou ARM pour Windows RT. Par rapport à 3DMark Vantage, lui aussi un benchmark de niveau DirectX 10, Cloud Gate est globalement moins lourd. Tout comme Ice Storm, il tourne en 1280x720 et Futuremark estime cette fois la consommation mémoire à 256 Mo.

Contrairement à Ice Storm par contre, Cloud Gate repose sur le même moteur que celui de Fire Strike et qui fait appel au rendu différé. Les effets graphiques sont cependant réduits à leur niveau minimal et tout ce qui concerne le niveau de fonctionnalité 11_0 est désactivé.

 

Cloud Gate GT1 et GT2

Le test 1 traite une géométrie plus lourde mais avec des shaders relativement simples. Pour chaque image du test 1, Futuremark estime la charge à 1.1 million de triangles et 18 millions de pixels. Des particules (simples) ainsi que des effets de post processing tels que l'éblouissement (bloom) et la profondeur de champ (Depth of Field) sont de la partie.

Le test 2 est à la base plus simple avec seulement 690.000 triangles, mais ses effets sont plus complexes, notamment avec l'ajout de l'éclairage volumétrique.

 

Cloud Gate Physics

Pour le test physique, nous passons ici à 32 "mondes" distincts, chacun intégrant un système de particules, 4 soft-bodies et 20 rigid-bodies, invisibles et utilisés uniquement pour simuler l'effet du souffle sur les premiers. Le tout est simulé sur le CPU et exploite l'ensemble des threads disponibles.

 

Fire Strike

Fire Strike représente le test classique qui est attendu d'un nouveau 3DMark. Il est destiné à pousser dans leurs limites les derniers GPU du moment en utilisant des techniques de rendu avancées. Futuremark a ici fait l'impasse sur le niveau de fonctionnalité 11_1 de DirectX 11.1, qui n'apporte pas d'évolution majeure pour le rendu 3D et qui n'est toujours pas supporté du côté des GeForce.

Le multithreading de DirectX 11/11.1 est supporté. Pour rappel, si un seul thread reste responsable du rendu, d'autres threads peuvent être exploités pour préparer les listes de commandes. Un thread par core CPU disponible est créé à cet effet et 3DMark s'efforce de répartir équitablement les éléments de rendu  entre ces threads.

Le moteur de rendu est très proche de celui de 3DMark 11 que nous avions décortiqué en détail dans ce dossier. Il s'agit d'un rendu différé, qui consiste à éviter le calcul d'un éclairage complexe sur des pixels qui ne seront pas affichés. Pour cela, seules des composantes basiques (ce qui inclut les textures), nécessaires à l'éclairage, sont calculées dans un premier temps, lors du passage en revue de tous les objets de la scène. Toutes ces données sont stockées dans des mémoires tampons temporaires appelées render targets (dont l'ensemble se nomme g-buffer) et combinées ultérieurement pour le calcul final de l'éclairage, qui peut alors être vu comme un filtre de post-traitement et ne sera effectué qu'une seule fois par pixel affiché à l'écran.

Futuremark a cependant fait évoluer les scènes de test, elles sont plus lourdes, et a revu quelques techniques de rendu. La tessellation fait ainsi appel à un niveau de subdivision plus élevé, mais avec des techniques adaptatives plus évoluées pour éviter de gaspiller de la puissance GPU sur des détails invisibles au final.

Tout comme pour 3DMark 11, et contrairement au test Cloud Gate, l'éclairage de base repose sur une combinaison de réflectance diffuse Oren-Nayar et de réflectance spéculaire Cook-Torrance avec une atténuation atmosphérique optionnelle de type Rayleigh-Mie autrement appelée éclairage volumétrique.

Les effets de post-processing sont eux aussi similaires, voire identiques, à ceux de 3DMark 11 : l'effet de profondeur de champ (DoF) exploite les geometry shaders alors que les effets d'éblouissement et de caméra (réflexions dans l'objectif) font appel aux compute shaders pour le calcul de transformées de Fourrier rapides (FFT).

Futuremark semble par contre avoir fait l'impasse sur les nombreuses et très gourmandes sources de lumière secondaires utilisées pour simuler l'illumination globale dans 3DMark 11. A la place, un nouveau module d'éclairage dynamique des particules, particulièrement complexe, est introduit. Il fait appel à la tessellation et permet l'auto-illumination de ces particules ainsi que leur interaction avec les autres sources de lumières. Ces particules peuvent générer des ombres, y compris sur les autres particules, ainsi qu'un effet de distorsion. Elles sont par ailleurs simulées sur le GPU via les compute shaders.

Enfin, l'antialiasing est le parent pauvre de cette nouvelle édition de 3DMark. Il n'est tout simplement pas exploité par défaut. Optionnellement, un MSAA identique à celui de 3DMark 11 est cependant proposé mais ne se limite plus au mode 4x : les modes 2x et 8x sont également supportés. Par ailleurs 3DMark supporte le FXAA qui, lorsqu'il est activé, est appliqué en toute dernière étape du rendu, après le tone mapping.

 

Fire Strike GT1 et GT2

Le test 1 se focalise sur une géométrie et un éclairage complexes avec des particules qui sont par contre calculées en demi-résolution et sans leur éclairage dynamique. Pas moins de 240 sources de lumières de type spot sont utilisées dont 100 génèrent des ombres et par conséquent beaucoup de géométrie. Ce sont ainsi 5.1 millions de triangles qui sont traités en moyenne pour chaque image, dont plus ou moins les 3/4 sont issus de la tessellation. L'effet de profondeur de champs étant désactivé, "seulement" 80 millions de pixels sont calculés pour obtenir l'image finale.

Le test 2 met l'accent sur le traitement des particules, qui se fait cette fois en pleine résolution et avec leur nouveau module d'éclairage dynamique. Ces particules représentent 2 sources de fumée qui sont simulée sur le GPU. 71 sources de lumières de type spot éclairent la scène dont 6 génèrent des ombres. Du côté de la géométrie, 5.8 millions de triangles sont traités dont 1.4 millions ont été générés par un geometry shader lors du traitement de l'effet de profondeur de champs. La majorité du reste des triangles sont issus de la tessellation dont le niveau moyen est plus élevé que dans le test 1. En moyenne ce sont cette fois 170 millions de pixels qui sont calculés pour chaque image.

 

Fire Strike Physics et Combined

Le test physique simule 32 "mondes" distincts et est en quelque sorte une variante du test physique de Cloud Gate qui ne semble rien apporter de plus. Plus intéressant, le test combiné s'attaque autant au CPU qu'au GPU. Tous les éléments des tests 1 et 2 sont repris côté graphique alors que la charge CPU provient de la simulation dans 32 "mondes" des rigid-bodies liés à la destruction de statues en 113 morceaux (en arrière-plan).

Fire Strike est proposé par défaut en 1920x1080 avec un niveau de qualité "moyen" et un facteur de tessellation maximal fixé à 16. Futuremark estime alors la consommation mémoire à 1 Go, mais nous avons l'impression, surtout du côté des Radeon, que cette utilisation mémoire est quelque peu supérieure à cette valeur.

Un mode Extreme est également proposé. Cette fois les tests tournent en 2560x1440 avec un niveau de qualité "élevé", un facteur de tessellation maximal fixé à 24 et une consommation mémoire estimée de 1.5 Go.

Optionnellement il est possible d'aller plus loin en ajoutant de l'antialiasing MSAA ou FXAA et en poussant le niveau de tessellation jusqu'à un facteur maximal de 64.

 

Le calcul des scores

Le score final de chaque test de 3DMark, Ice Storm, Cloud Gate ou Fire Strike est calculé via une moyenne harmonique pondérée de ses 2 ou 3 composantes : tests graphiques, test physique, test combiné. Futuremark pondère ces composantes ainsi que le score final via différentes constantes ainsi que, plus subtilement, via les scènes elles-mêmes : le passage choisi pour mesurer les performances, le nombre d'objets... Vous pourrez retrouver le détail de la pondération dans le guide technique de 3DMark . Notons simplement que les tests physics ont relativement peu de poids par rapport aux tests graphiques.

La version Advanced Edition permet d'obtenir des résultats détaillés et ce, sans devoir passer par le site internet de Futuremark. Les résultats image par image peuvent par ailleurs être mis en relation avec les températures CPU et GPU.

 

Les premiers résultats

Nous avons bien entendu voulu observer les résultats qu'obtiennent les cartes graphiques récentes dans ce nouveau 3DMark. Pour commencer, nous avons comparé dans Fire Strike les GeForce 600 aux Radeon HD 7000, sur un système équipé de Windows 7 64-bit, d'une Core i7 3770K et des pilotes GeForce 313.96 beta ou Catalyst 13.2 beta4 :

Avec les pilotes actuels, c'est AMD qui obtient la victoire : les Radeon HD 7000 se positionnent légèrement mieux que les GeForce par rapport aux résultats que nous obtenons en général dans nos tests. La GeForce GTX 690, avec ses 2 GPU, reste cependant en tête.

Ensuite, nous avons comparé les Radeon HD 7750 et GeForce GTX 650 dans l'ensemble des tests ainsi que les Radeon HD 7970 GHz Edition et GeForce GTX 680 dans les différents niveaux de détails de Fire Strike :


La Radeon HD 7750 devance la GeForce GTX 650 dans l'ensemble des tests, à l'exception du GT2 de Cloud Gate. Grossièrement, Fire Strike est 7x plus gourmand que Cloud Gate qui est 7x plus gourmand qu'Ice Storm. Etrangement, le test Physics de Cloud Gate est plus gourmand que celui de Fire Strike, ce qui n'a pas réellement de sens.


La Radeon HD 7970 GHz Edition affiche une avance de 12 à 17% sur la GeForce GTX 680 suivant les tests, sans qu'il n'y ait de réelle différence entre le mode par défaut et le mode Extreme. Une fois toutes les options poussées à leur maximum (Extreme + MSAA 8x + tessellation 64x), elles peinent à afficher 10 fps.

Enfin, nous avons voulu observer l'incidence du nombre de cores CPU ainsi que de l'HyperThreading :


Tant chez Nvidia que chez AMD, l'HyperThreading ou le nombre de cores CPU n'a pas de réelle influence sur les scores graphiques qui sont même légèrement supérieurs avec seulement 2 cores. Un détail que nous avons observé sur plusieurs runs et qui nous laisse penser qu'en l'état actuel, le multithreading de DirectX 11 a un coût alors que son utilité est nulle dans notre situation. Cela pourrait cependant être différent avec un CPU quadcore plus faible ou avec une carte graphique plus performante.

Passer de 2 à 4 cores permet de doubler le score Physics alors que l'HyperThreading apport 40% de plus sur notre Core i7 3770K.

 

Conclusion

Avec cette mouture 2013 de 3DMark, Futuremark nous propose un outil de test nettement plus complet et intéressant que ne l'était la version 2011. A travers des scènes dynamiques et un rendu plutôt réussi, bien que nous regrettions l'absence d'antialiasing, sa composante Fire Strike permet de mettre en avant les capacités des GPU les plus véloces.

 

Il promet par ailleurs, avec Ice Storm et une fois toutes les versions de l'application disponibles, de pouvoir enfin comparer directement l'ensemble des périphériques mobiles, smartphones et tablettes, aux traditionnels PC. Seule sa composante Cloud Gate semble avoir une utilité moindre et il aurait peut-être été préférable que Futuremark lui préfère un mode Extreme pour Ice Storm.

 

Si, sous une forme ou une autre, nous l'utiliserons probablement de notre côté, en ce qui concerne nos tests de cartes graphiques, nous restons bien entendu convaincus qu'un panel de jeux sélectionnés avec soin reste la méthode la plus fiable pour analyser leurs performances. Reste qu'un outil tel que 3DMark trouvera son utilité auprès de nombreux utilisateurs, ne serait-ce que pour vérifier le bon fonctionnement d'une machine et juger rapidement l'intérêt d'un overclocking.

 

En attendant l'arrivée des versions Windows RT, Android et iOS d'ici quelques semaines, vous pourrez télécharger 3DMark pour Windows Vista/7/8 par ici  (970 Mo).