Sony treina IA “sobre-humana” para correr no Gran Turismo

25

<img src="https://cdn.arstechnica.net/wp-content/uploads/2022/02/GettyImages-1357306976-800×450.jpg" alt="A Sony AI treinou uma nova AI chamada GT Sophy para ser extremamente boa no Gran Turismo."/>
Prolongar / A IA da Sony treinou uma nova IA chamada GT Sophy para ser extremamente boa em Gran Turismo.

Clive Rose – Gran Turismo/Gran Turismo via Getty Images

Uma equipe de pesquisadores da Sony AI usou aprendizado de reforço profundo para ensinar uma inteligência artificial a jogar Gran Turismo em um nível de classe mundial. Enquanto experimentos anteriores ensinaram a IA a dirigir muito rápido, esta é a primeira vez que se aprende a realmente correr. E para provar isso, a IA derrotou alguns dos melhores jogadores de GT do mundo em competição frente a frente, conforme descrito em um novo papel publicado na Nature esta semana.

Correr não é fácil e envolve mais do que apenas saber dirigir um carro muito rápido. O controle do carro é obviamente importante, mas também o são as táticas, a estratégia e o conceito um tanto nebuloso de etiqueta.

Ou, como os autores colocam, "(a) automobilismo é um domínio que apresenta exatamente esses desafios; requer controle em tempo real de veículos com dinâmicas complexas e não lineares enquanto operam a centímetros dos oponentes". Alguns pilotos podem ter sucesso limitado por meio da agressão e aproveitando todas as oportunidades de ultrapassagem que veem. Mas saber por onde passar e quando esperar por uma oportunidade melhor – para não ser re-passado no final da próxima reta, por exemplo – é pelo menos tão importante quanto saber quando ceder para um rival. você não acaba na parede ou em uma armadilha de cascalho.

Criar oponentes de IA realistas para jogos de corrida não é especialmente fácil, como os fãs do gênero podem dizer. Talvez a abordagem mais avançada que vimos até agora tenha sido no Forza Motorsport franquia, que na verdade começou como um projeto de rede neural na Microsoft Research. Desde 2005, Forza jogos usaram dados de jogadores humanos para treinar NPCs, embora com muitos incidentes na primeira volta ao longo do caminho.

Emily Jones (Emree) da Austrália em ação durante a terceira corrida do FIA Gran Turismo Championship Asia &amp; Finais Regionais da Oceania Nations Cup 2020 realizadas no Fuji Speedway em 06 de dezembro de 2020, em Londres, Inglaterra. Jones foi um dos três jogadores de alto nível a competir contra GT Sophy em eventos de contra-relógio.
Prolongar / Emily Jones (Emree) da Austrália em ação durante a terceira corrida das Finais Regionais da Copa das Nações da Ásia e Oceania da FIA Gran Turismo 2020, realizada no Fuji Speedway em 06 de dezembro de 2020, em Londres, Inglaterra. Jones foi um dos três jogadores de alto nível a competir contra GT Sophy em eventos de contra-relógio.

Clive Rose – Gran Turismo/Gran Turismo via Getty Images

Os oponentes de IA não foram um ponto forte da franquia Gran Turismo no passado; em geral, eles se apegaram roboticamente à linha de corrida e raramente ofereceram muito desafio, mesmo para jogadores humanos de habilidade média. Portanto, é ainda mais notável que a IA da Sony tenha sido capaz de treinar uma IA chamada GT Sophy para superar os pilotos de e-sports de nível de campeonato.

Os agentes de IA foram treinados com vários cenários em três combinações de carros e pistas em Gran Turismo: Esporte (Dragon Trail Seaside em um carro de estrada de alto desempenho, Lago Maggiore GP em um carro Gr3 e Circuit de la Sarthe em um carro Redbull X2019 Competition). Algumas raças tinham o agente de IA apenas na pista, e outras somavam sete oponentes NPC normais do jogo. As posições da pista, as velocidades iniciais, o espaçamento entre os carros e os níveis de habilidade dos oponentes foram todos randomizados para cada corrida.

O agente de IA controlava a direção, a frenagem e a aceleração (embora não simultaneamente) e não mudava manualmente as marchas ou ajustava o controle de tração ou a inclinação do freio. E interagiu com o jogo em 10 Hz, o que os autores dizem que não deve dar vantagem sobre jogadores ou atletas profissionais.

A IA foi recompensada de acordo com o quão bem ela progrediu ao longo da pista desde a última observação, e recebeu um bônus por ultrapassar outro carro. As penalidades foram concedidas por cortar cantos, bater em paredes ou escorregar pneus. Ele também teve que evitar NPCs traseiros ou quaisquer outras colisões, com todos esses critérios sendo ponderados de maneira diferente para selecionar a IA de corrida ideal.

Valerio Gallo (Williams_BRacer) da Itália batalha com Baptiste Beauvois (r8gesports_tsutsu) da França na Grande Final da Nations Cup durante as Finais da Gran Turismo World Series 2021, disputadas no fictício circuito Dragon Trail em 05 de dezembro de 2021, em Londres, Inglaterra. Gallo foi outro dos jogadores especialistas humanos a competir contra o GT Sophy e acabou conseguindo bater seu tempo na pista de Maggiore.
Prolongar / Valerio Gallo (Williams_BRacer) da Itália batalha com Baptiste Beauvois (r8gesports_tsutsu) da França na Grande Final da Nations Cup durante as Finais da Gran Turismo World Series 2021, disputadas no fictício circuito Dragon Trail em 05 de dezembro de 2021, em Londres, Inglaterra. Gallo foi outro dos jogadores especialistas humanos a competir contra o GT Sophy e acabou conseguindo bater seu tempo na pista de Maggiore.

Clive Rose – Gran Turismo/Gran Turismo via Getty Images

Aprender a contornar a pista exigiu apenas algumas horas de treinamento e, em um ou dois dias, o GT Sophy foi melhor do que cerca de 95% dos GT: Esporte jogadoras. Após 10 dias – 45.000 horas de condução no total – GT Sophy "alcançou um desempenho de contra-relógio sobre-humano em todas as três pistas". Na verdade, os humanos estavam apenas perto do desempenho do GT Sophy na pista de Maggiore, onde seus tempos de volta consistentes eram aproximadamente iguais à melhor volta humana registrada.

Mas como já foi mencionado, outras IAs aprenderam a definir tempos de volta muito rápidos por conta própria, em jogos ou mesmo em carros reais em pistas reais. Para provar as habilidades da GT Sophy, ela enfrentou alguns dos melhores do mundo GT: Esporte jogadoras. O primeiro teste humano versus IA aconteceu em julho de 2021, quando Emily Jones, Valério Gallo, e Igor Fraga foram convidados a bater os tempos de volta do GT Sophy em um contra-relógio. Apesar de poder ver um fantasma do colo da IA, nenhum foi capaz de vencê-lo.

Curiosamente, a GT Sophy identificou algumas linhas de corrida que iludiram até mesmo os melhores jogadores humanos do mundo. Jones foi superado pelo tempo de volta da IA ​​em Dragon Trail, 107,964 segundos contra 106,417 segundos. "Havia certas curvas em que eu saía de lado e depois cortava, e a IA estava em toda a volta, então aprendi muito sobre as linhas. E também saber o que priorizar. Entrando na curva 1, por exemplo , eu estava freando mais tarde do que a IA, mas a IA conseguiria uma saída muito melhor do que eu e me venceria na próxima curva. Eu não percebi isso até ver a IA e dizer: 'OK, eu deveria fazer isso em vez disso'", disse ela.

Fonte: Ars Technica