Aller au contenu principal
Encore 1/5 articles gratuits à lire
Dota 2 est un «Moba», genre très populaire où s’affrontent deux équipes de cinq joueurs sur une carte en vue isométrique.
© Valve Corporation

informatique

Pour gagner à «Dota 2», les machines vont devoir collaborer

Une équipe de cinq programmes d'intelligence artificielle va affronter des professionnels au jeu «Dota 2». Leur entraînement, qui condense chaque jour 180 années de jeu, porte notamment sur la capacité à jouer en équipe, condition indispensable pour gagner une partie

Dans le manga Dragon Ball Z, la salle de l’Esprit et du Temps est l’un des lieux les plus connus des fans de la saga. Les heures s’y écoulent plus lentement (une année correspond à un jour sur Terre), ce qui permet aux héros de s’y entraîner en gagnant un temps précieux et s’élever ainsi au niveau des ennemis plus puissants.

Les chercheurs en intelligence artificielle (IA) ont recours au même procédé pour entraîner leurs programmes à battre les humains à des jeux vidéo: ils les font s’affronter en condensant 180 années de jeu… chaque jour! Un programme intensif indispensable pour atteindre l’objectif que se sont fixé les développeurs, à savoir battre une équipe de joueurs professionnels de Dota 2 lors du plus important tournoi de ce jeu vidéo, The International 2018, fin août à Vancouver.

Défense des Anciens

Dota 2 est un «Moba», genre très populaire où s’affrontent deux équipes de cinq joueurs sur une carte en vue isométrique. Deux bases militaires se font face. Chaque joueur choisit et contrôle un héros parmi les 115 disponibles. Celui-ci doit combattre l’armée d’en face (composée des cinq héros ennemis et de vagues de troupes mineures, non contrôlables), ce qui lui fait engranger des points d’expérience qui lui permettent de se procurer de nouveaux sorts et capacités et, in fine, de se frayer un chemin vers «l’ancien» (principal bâtiment de la base ennemie, Dota étant l’acronyme de «Defense of the Ancients»), pour le détruire et remporter la partie.

Dota 2 est un jeu d’une effroyable complexité tactique, où les parties, qui durent environ quarante-cinq minutes, voient s’alterner des phases de jeu individuelles et d’autres plus collectives (les spectaculaires «teamfights» ou combats groupés). C’est un jeu où chaque erreur punit l’équipe qui l’a commise et avantage les adversaires, où la victoire s’arrache à force d’habileté, d’anticipation et de sacrifices.

Récompenser la machine

Pour les ingénieurs, c’est un cauchemar, un défi autrement plus complexe qu’avec les échecs ou le jeu de Go, dernier trophée obtenu en 2016 lorsque l’agent AlphaGo a mis une fessée au champion Lee Sedol. Mais c’est aussi la promesse de faire réaliser d’importants progrès à l’IA, raison pour laquelle les plus grands labos s’y intéressent. L’association de recherche à but non lucratif OpenAI, fondée par Elon Musk (qui en est parti en février 2018), se lance cette année dans le grand bain en opposant aux humains OpenAI Five, une équipe de cinq programmes d’intelligence artificielle.

Lire aussi: Les machines se mesurent aux humains à Starcraft 2

A chaque instant, chacun de ces agents doit prendre les meilleures décisions (dont l’éventail des possibles est incomparablement plus élevé que sur un plateau de Go), sans pour autant disposer de toutes les informations, les activités ennemies étant la plupart du temps cachées par un opaque brouillard de guerre. Mais surtout, gagner à Dota 2 exige une collaboration et une coordination sans faille de la part des cinq agents, un champ de recherches encore peu exploré.

Les 256 processeurs graphiques utilisés pour l’entraînement d’OpenAI Five représentent un coût d’environ 10 000 francs par jour

Pour entraîner ses champions en herbe, OpenAI a opté pour la méthode dite de l’apprentissage par renforcement. Au départ, chaque agent est lâché en pâture sur la carte du jeu sans consigne particulière, et sans en connaître les règles. Les développeurs octroient à leurs programmes des «récompenses» attribuées après de bonnes et de mauvaises actions sous forme de points ajoutés ou retranchés. Tuer un héros ennemi rapporte des points, se faire tuer en fait perdre, par exemple.

Ils laissent s’affronter les IA entre elles, au rythme effréné de 180 jours condensés par tranche de 24 heures… et attendent que celles-ci découvrent les meilleures stratégies. «Toute la difficulté repose sur l’estimation, à l’aide d’algorithmes, des récompenses à attribuer à chaque action», analyse Florian Richoux, du Laboratoire des sciences du numérique de l’Université de Nantes.

Recherches hors de prix

Pour l’instant, OpenAI Five a battu quelques équipes d’amateurs. Fin juillet, elle affrontera cinq joueurs parmi les meilleurs amateurs du circuit, avant la compétition fin août. Quel que soit le résultat, il reste encore beaucoup de travail avant que les agents battent vraiment les humains à Dota 2. Seuls cinq héros sont contrôlables, et certains éléments cruciaux du jeu, tels que la capacité à se rendre invisible ou l’ordre d’acquisition des sorts, ont été désactivés ou prédéfinis par des scripts.

Mais il n’empêche qu’à force de disposer de puissance de calcul toujours plus conséquente, les recherches font des progrès. A condition d’en avoir les moyens: rien que les 256 processeurs graphiques utilisés pour l’entraînement d’OpenAI Five «représentent un coût d’environ 10 000 francs par jour», estime François Fleuret, de l’institut de recherche Idiap à Martigny. Dans ces conditions, seuls les labos les plus riches peuvent prétendre à ces recherches: OpenAI dispose d’une trésorerie d’un milliard de dollars. Quant à DeepMind, propriétaire d’AlphaGo, il s’agit d’une filiale d’Alphabet, où l’argent coule à flots. «Peu de laboratoires académiques peuvent se permettre de telles dépenses», conclut François Fleuret.

Publicité
Publicité

La dernière vidéo sciences

Sécheresse et feux de forêts vus de l’espace

Chaque année, 350 millions d’hectares de forêts, friches et cultures sont ravagés par des incendies, soit la taille de l’Inde. L’astronaute allemand Alexander Gerst partage sur Twitter sa vue panoramique sur le réchauffement climatique depuis la Station spatiale internationale

Sécheresse et feux de forêts vus de l’espace

This handout picture obtained from the European Space Agency (ESA) on August 7, 2018 shows a view taken by German astronaut and geophysicist Alexander Gerst, showing wildfires in the state of California as seen from the International Space Station…
© ALEXANDER GERST