Man vs machine : beating humans in a multiplayer card game without lookahead
Vahteristo, Ilmari (2023)
Kandidaatintyö
Vahteristo, Ilmari
2023
School of Engineering Science, Laskennallinen tekniikka
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2023051644576
https://urn.fi/URN:NBN:fi-fe2023051644576
Tiivistelmä
Games offer a fun and challenging test bed for algorithms and artificial intelligence, due to their well-defined environment, potentially large complexity, and 'man vs machine' dichotomy. Since vacuum-tube computers, scientists have used games to test how intelligently they can make a computer play and to benchmark progress in hardware, computer science, and mathematics.
In this study, a representation for 'Team Machine' in the hidden information card game 'Moska' is created. Moska is a multiplayer, non-sequential, shedding-type card game with a large game tree complexity. It has similarities with the popular Russian card game 'Durak'.
We simulate Moska games and gather data from them to train a deep neural network to evaluate how good a position is from the player's perspective, i.e. with hidden information. We use this neural network for move selection with a look-ahead of one and test the performance of the agent by launching a website where people can play against the agent. We observe the agent successfully employ multiple strategies used by humans and reliably outplay even advanced human players. Pelit tarjoavat hauskan ja haastavan testialustan algoritmeille ja tekoälylle, koska niillä on hyvin määritelty ympäristö, mahdollisesti suuri kompleksisuus ja 'ihminen vastaan kone' -dikotomia. Jo tyhjiöputkitietokoneista lähtien tutkijat ovat käyttäneet pelejä testatakseen kuinka älykkäästi he saavat tietokoneen pelaamaan, sekä seuratakseen edistystä laitteistossa, tietojenkäsittelytieteessä ja matematiikassa.
Tässä tutkimuksessa luomme pelaajan 'Tiimi Koneelle' piilotetun tiedon korttipelissä nimeltä 'Moska'. Moska on moninpeli, jossa pelivuorot eivät kulje järjestyksessä ja jossa pelaajat pyrkivät eroon korteistaan. Moskalla on erittäin suuri pelipuu ja jo yhdestä aloitus konfiguraatiosta voi saada saman verran pelejä kuin koko universumissa on atomeja.
Simuloimme Moska-pelejä ja keräämme niistä dataa syvän neuroverkon kouluttamiseksi arvioimaan sitä, kuinka hyvä tilanne on pelaajan näkökulmasta - eli piilotetun tiedon kanssa. Käytämme tätä neuroverkkoa siirtovalinnassa vertaamalla jokaisen mahdollisen siirron hyvyyttä tutkimatta pelipuuta sen pidemmälle. Tutkimme luodun pelaajan taitoja tekemällä verkkosivun, jossa ihmiset voivat pelata tätä tekoälyä vastaan. Havaitsemme agentin käyttävän menestyksekkäästi useita ihmisten käyttämiä strategioita ja pelaavan paremmin kuin jopa kokeneet ihmispelaajat.
In this study, a representation for 'Team Machine' in the hidden information card game 'Moska' is created. Moska is a multiplayer, non-sequential, shedding-type card game with a large game tree complexity. It has similarities with the popular Russian card game 'Durak'.
We simulate Moska games and gather data from them to train a deep neural network to evaluate how good a position is from the player's perspective, i.e. with hidden information. We use this neural network for move selection with a look-ahead of one and test the performance of the agent by launching a website where people can play against the agent. We observe the agent successfully employ multiple strategies used by humans and reliably outplay even advanced human players.
Tässä tutkimuksessa luomme pelaajan 'Tiimi Koneelle' piilotetun tiedon korttipelissä nimeltä 'Moska'. Moska on moninpeli, jossa pelivuorot eivät kulje järjestyksessä ja jossa pelaajat pyrkivät eroon korteistaan. Moskalla on erittäin suuri pelipuu ja jo yhdestä aloitus konfiguraatiosta voi saada saman verran pelejä kuin koko universumissa on atomeja.
Simuloimme Moska-pelejä ja keräämme niistä dataa syvän neuroverkon kouluttamiseksi arvioimaan sitä, kuinka hyvä tilanne on pelaajan näkökulmasta - eli piilotetun tiedon kanssa. Käytämme tätä neuroverkkoa siirtovalinnassa vertaamalla jokaisen mahdollisen siirron hyvyyttä tutkimatta pelipuuta sen pidemmälle. Tutkimme luodun pelaajan taitoja tekemällä verkkosivun, jossa ihmiset voivat pelata tätä tekoälyä vastaan. Havaitsemme agentin käyttävän menestyksekkäästi useita ihmisten käyttämiä strategioita ja pelaavan paremmin kuin jopa kokeneet ihmispelaajat.