Novo truque Go-playing derrota Go AI de classe mundial – mas perde para amadores humanos

No mundo da IA ​​de aprendizado profundo, o antigo jogo de tabuleiro Go se destaca. Até 2016, o melhor jogador humano de Go ainda podia derrotar a IA mais forte de Go-playing. Isso mudou com o AlphaGo da DeepMind, que usou redes neurais de aprendizado profundo para aprender o jogo em um nível que os humanos não podem igualar. Mais recentemente, o KataGo tornou-se popular como uma IA de jogo Go de código aberto que pode vencer os jogadores humanos de Go de alto nível.

Na semana passada, um grupo de pesquisadores de IA publicou um artigo descrevendo um método para derrotar o KataGo usando técnicas adversárias que aproveitam os pontos cegos do KataGo. Ao jogar movimentos inesperados fora do conjunto de treinamento de KataGo, um programa de jogo de Go adversário muito mais fraco (que humanos amadores podem derrotar) pode enganar KataGo para perder.

Para entender essa conquista e suas implicações, conversamos com um dos coautores do artigo, Adam Gleave, Ph.D. candidato na UC Berkeley. Gleave (junto com os coautores Tony Wang, Nora Belrose, Tom Tseng, Joseph Miller, Michael D. Dennis, Yawen Duan, Viktor Pogrebniak, Sergey Levine e Stuart Russell) desenvolveu o que os pesquisadores de IA chamam de “política adversarial”. Nesse caso, a política dos pesquisadores usa uma mistura de uma rede neural e um método de busca em árvore (chamado Monte-Carlo Tree Search) para encontrar movimentos Go.

A IA de classe mundial do KataGo aprendeu Go jogando milhões de jogos contra si mesma. Mas isso ainda não é experiência suficiente para cobrir todos os cenários possíveis, o que deixa espaço para vulnerabilidades de comportamento inesperado. “O KataGo generaliza bem para muitas estratégias novas, mas fica mais fraco quanto mais se afasta dos jogos que viu durante o treinamento”, diz Gleave. “Nosso adversário descobriu uma dessas estratégias ‘fora de distribuição’ à qual o KataGo é particularmente vulnerável, mas provavelmente há muitas outras.”

Gleave explica que, durante uma partida de Go, a política do adversário funciona primeiro reivindicando um pequeno canto do tabuleiro. Ele forneceu um link para um exemplo em que o adversário, controlando as pedras pretas, joga em grande parte no canto superior direito do tabuleiro. O adversário permite que KataGo (jogando de branco) reivindique o resto do tabuleiro, enquanto o adversário joga algumas pedras fáceis de capturar naquele território.

“Isso leva o KataGo a pensar que já ganhou”, diz Gleave, “já que seu território (canto inferior esquerdo) é muito maior que o do adversário. Mas o território inferior esquerdo não contribui para sua pontuação (apenas as pedras brancas que ele jogou) por causa da presença de pedras pretas lá, o que significa que não está totalmente seguro.”

Como resultado de seu excesso de confiança em uma vitória – assumindo que vencerá se o jogo terminar e os pontos forem computados – o KataGo faz um movimento de passe, permitindo que o adversário passe intencionalmente também, encerrando o jogo. (Dois passes consecutivos terminam o jogo em Go.) Depois disso, começa a contagem de pontos. Como o jornal explica, “O adversário ganha pontos por seu território de canto (sem pedras de vítima), enquanto a vítima [KataGo] não recebe pontos por seu território inseguro por causa da presença de pedras do adversário.”

Apesar desse truque inteligente, a política adversária por si só não é tão boa em Go. Na verdade, amadores humanos podem derrotá-lo com relativa facilidade. Em vez disso, o único objetivo do adversário é atacar uma vulnerabilidade inesperada do KataGo. Um cenário semelhante pode ser o caso de quase qualquer sistema de IA de aprendizado profundo, o que dá a esse trabalho implicações muito mais amplas.

“A pesquisa mostra que os sistemas de IA que parecem funcionar em nível humano geralmente o fazem de maneira muito estranha e, portanto, podem falhar de maneiras surpreendentes para os humanos”, explica Gleave. “Este resultado é divertido em Go, mas falhas semelhantes em sistemas críticos de segurança podem ser perigosas.”

Imagine uma IA de carro autônomo que se depara com um cenário altamente improvável que não espera, permitindo que um humano o engane para realizar comportamentos perigosos, por exemplo. “[This research] ressalta a necessidade de melhores testes automatizados de sistemas de IA para encontrar os modos de falha de pior caso”, diz Gleave, “não apenas testar o desempenho do caso médio”.

Meia década depois que a IA finalmente triunfou sobre os melhores jogadores humanos de Go, o antigo jogo continua seu papel influente no aprendizado de máquina. Insights sobre os pontos fracos da IA ​​do Go-playing, uma vez amplamente aplicados, podem até salvar vidas.