21 grudnia 2017 08:49
Zwycięstwo w NIPS Conversational Intelligence Challenge
Drużyna studentów i pracowników naszego Instytutu w składzie Jan Chorowski, Adrian Łańcucki, Szymon Malik, Maciej Pawlikowski, Paweł Rychlikowski, Paweł Zykowski zajęła pierwsze miejsce (ex aequo) w konkursie NIPS Conversational Intelligence Challenge.
Konkurs rozgrywany był od kwietnia do grudnia 2017. Celem było stworzenie systemu dialogowego (chatbota), który konwersowałby z użytkownikiem na temat losowego paragrafu artykułu (Wikipedia, wiadomości). Ten skomplikowany i złożony problem jest uważany za jedno z najważniejszych zadań sztucznej inteligencji.
W czasie zawodów programy rozmawiały z użytkownikami, którzy oceniali jakość rozmowy. Rozmowy przypominały test Turinga, tj. rozmówcy byli losowo parowani z chatbotami lub innym użytkownikami. W pierwszej rundzie oceny chatbotów dokonywali uczestnicy hackatonu w Neural Networks and Deep Learning Lab. Finałowa runda odbyła się w czasie konferencji NIPS, gdzie w rolę sędziów wcielili się uczestnicy konferencji. W jej trakcie przeprowadzono 3500 dialogów człowiek-chatbot, spośród których jedynie 400 zostało ocenionych jako znaczące.
Nasz zespół wygrał pierwszą rundę i z dużymi nadziejami udał się do Moskwy na finały. W finałach wzięło udział sześć zespołów, reprezentujących nasz uniwersytet, Moscow Institute of Physics and Technology, McGill University, KAIST & AIBrain & Crosscert, UMass Lowell's Text Machine Lab & Trinity College, Hong Kong Polytechnic University i Fudan University.
Główną nagrodę przyznano dwóm zespołom: reprezentantom gospodarzy, Moscow Institute of Physics and Technology team (Idris Yusupov, Yurii Kuratov) oraz naszemu zespołowi (Jan Chorowski, Adrian Lancucki, Szymon Malik, Maciej Pawlikowski, Pawel Rychlikowski, Pawel Zykowski). Zespoły te osiągnęły wyniki różniące się na tyle nieznacznie, że nie sposób było stwierdzić, czy ta różnica wynika z faktycznej różnicy w jakości, czy z przypadku (rozmówcy byli losowani).
Reguły i terminarz konkursu znajdują się na stronie https://github.com/DeepPavlovAdmin/convai/tree/master/2017.