O novo driver de IA da Sony alcança tempos de corrida "super-humanos" no Gran Turismo

20

Os agentes de IA superaram os humanos em muitos jogos, do xadrez ao Go e ao poker. Agora, as máquinas podem reivindicar uma nova pontuação máxima na clássica série de videogames de corrida Gran Turismo.

A Sony anunciou hoje que seus pesquisadores desenvolveram um driver de IA chamado GT Sophy que é "confiantemente sobre-humano" – capaz de vencer os principais motoristas humanos em Gran Turismo Sport em voltas consecutivas. Você pode pensar que este é um desafio fácil. Afinal, a corrida não é simplesmente uma questão de velocidade e tempo de reação e, portanto, simples para uma máquina dominar? Mas especialistas em corridas de videogame e inteligência artificial dizem que o sucesso da GT Sophy é um avanço significativo, com o agente mostrando domínio de tática e estratégia.

“Superar motoristas humanos com tanta habilidade em uma competição direta representa uma conquista marcante para a IA”, escreve o professor automotivo de Stanford J. Christian Gerdes em editorial na revista científica Natureza que acompanha um papel descrevendo o trabalho. “O sucesso da GT Sophy na pista sugere que as redes neurais podem um dia ter um papel maior no software de veículos automatizados do que têm hoje.”

A GT Sophy foi treinada usando um método conhecido como aprendizado por reforço: essencialmente uma forma de tentativa e erro em que o agente de IA é jogado em um ambiente sem instruções e recompensado por atingir determinados objetivos. No caso do GT Sophy, os pesquisadores da Sony dizem que tiveram que criar essa “função de recompensa” com muito cuidado: por exemplo, ajustar penalidades para colisões para moldar um estilo de direção agressivo o suficiente para vencer, mas que não levasse para a IA simplesmente intimidando outros pilotos fora da estrada.

Usando o aprendizado por reforço, a GT Sophy conseguiu navegar por uma pista de corrida com apenas algumas horas de treinamento e “em um dia ou dois” foi mais rápido que 95% dos pilotos em seu conjunto de dados de treinamento. Após cerca de 45.000 horas totais de treinamento, a GT Sophy conseguiu atingir um desempenho sobre-humano em três pistas. (Por Gran Turismo Sport jogadores, as pistas em questão eram Dragon Trail Seaside, Lago Maggiore GP e Circuit de la Sarthe.)

Uma preocupação comum ao testar agentes de IA contra humanos é que as máquinas têm várias vantagens inatas, como recall perfeito e tempos de reação rápidos. Os pesquisadores da Sony observam que o GT Sophy tem algumas vantagens em comparação com jogadores humanos, como um mapa preciso do percurso com coordenadas dos limites da pista e “informações precisas sobre a carga em cada pneu, ângulo de deslizamento de cada pneu e outro estado do veículo”. Mas, dizem eles, eles foram responsáveis ​​por dois fatores particularmente importantes: frequência de ação e tempo de reação.

As entradas da GT Sophy foram limitadas a 10 Hz, em comparação com uma entrada humana máxima teórica de 60 Hz. Isso às vezes levava motoristas humanos a exibir “ações muito mais suaves” em altas velocidades, escrevem os pesquisadores. Para tempos de reação, a GT Sophy foi capaz de responder a eventos no ambiente do jogo em 23–30 ms, que é muito mais rápido do que o tempo de reação máximo estimado para atletas profissionais de 200–250 ms. Para compensar, os pesquisadores adicionaram atraso artificial, treinando GT Sophy com tempos de reação de 100 ms, 200 ms e 250 ms. Mas como eles descobriram: “Todos esses três testes alcançaram um tempo de volta sobre-humano”.

GT Sophy foi testado contra um trio de pilotos de e-sports: Emily Jones, Valerio Gallo e Igor Fraga. Embora nenhum dos humanos tenha conseguido vencer a IA em contra-relógio, seus confrontos os levaram a descobrir novas táticas.

“Foi muito interessante ver as linhas para onde a IA iria, havia certos cantos onde eu estava abrindo e depois cortando, e a IA estava indo em toda a volta, então aprendi muito sobre as linhas, ” a piloto de e-sports Emily Jones disse em um depoimento no Natureza papel. “Indo para a curva 1, por exemplo, eu estava freando mais tarde que a IA, mas a IA conseguiria uma saída muito melhor do que eu e me venceria na próxima curva. Eu não percebi isso até ver a IA e dizer: 'Ok, eu deveria fazer isso em vez disso'."

Sony diz que está atualmente trabalhando na integração de GT Sophy no futuro Gran Turismo títulos, mas não ofereceu um cronograma para quando isso poderia acontecer.

Fonte: The Verge