Computer praat mens onder tafel
Snauwen tegen uw computer is niet meer vrijblijvend: straks gaat hij met u in debat, en wint hij het pleit nog ook. IBM demonstreerde Project Debater, het argumenterende AIsysteem.
Tijdens het eerste livedebat tussen mens en computer (volgens IBM) werd de mensheid vertegenwoordigd door debatkampioen Noa Ovadia, en voor de computers trad Project Debater in de arena. Het onderwerp: moet de verkenning van de ruimte worden gesubsidieerd?
Het debat vond maandag plaats in de kantoren van het computerbedrijf in San Francisco. Op het podium stond een manshoog zwart paneel, al zaten de computersystemen die Project Debater aandreven daar niet echt in.
Doorbraak
Het is altijd opletten met claims van ‘doorbraken’ in het vakgebied van de artificiële intelligentie. Maar IBM heeft al minstens twee belangrijke mijlpalen op zijn naam staan: in 1997 overwon de computer Deep Blue schaakkampioen Garri Kasparov en in 2011 haalde Watson het van twee menselijke topspelers in de quiz Jeopardy (bij ons Waagstuk).
Aan Project Debater werd zes jaar lang gewerkt bij IBM Research. Het systeem had tijdens de wedstrijd toegang tot 300 miljoen
documenten, waaronder krantenartikels. De onderwerpen voor de twee debatten (Project Debater nam het maandag ook op tegen debater Dan Zafrir) kreeg de computer niet op voorhand. Het systeem kreeg wel een aantal debatteertechnieken aangeleerd.
De debatten waren goed gestructureerd.
Eerst moesten beide ‘sprekers’ vier minuten lang hun argumenten formuleren. Vervolgens kregen ze nog eens vier minuten om de argumenten van de tegenstrever te ontkrachten. En tenslotte mochten ze op twee minuten de situatie nog eens opsommen. Het publiek vond in beide minidebatten dat Project Debater meer informatie wist aan te dragen.
Duplex
Vorige maand verraste Google nog met een andere AIdemonstratie: het computersysteem Duplex reserveerde een tafel in een restaurant, zonder dat de persoon aan de andere kant van de lijn doorhad dat zij met een machine sprak. Maar terwijl de reservering van een tafel een relatief beperkte gesprekssituatie is, kon het bij deze debatwedstrijd over zowat alles gaan.
Een volledige transcriptie van het debat was gisteren niet te vinden. Voor wie niet aanwezig was, is het dus moeilijk te beoordelen hoe goed Project Debater het er werkelijk vanaf bracht. In het publiek zaten veel medewerkers van IBM die misschien wel wat bevooroordeeld waren. Ook bij zijn vorige AIdemonstraties, zoals die quizoverwinning van Watson in 2011, was IBM nogal selectief met de informatie die het met het grote publiek deelde en zorgde het bedrijf voor strakke en soms wat misleidende regie.
Hier en daar ging het systeem in ieder geval in de fout. Zo argumenteerde het dat de verkenning van de ruimte belangrijker is dan goede wegen, betere scholen of be tere gezondheidszorg. Een menselijk debater zou zich zo’n pijnlijke overdrijving niet kunnen permitteren.
Gesprek
IBM’s AIsysteem Watson legt zich al enkele jaren toe op het analyseren van grote hoeveelheden documenten. De bedoeling is dat het systeem een menselijke expert kan helpen door precies de juiste informatie terug te vinden – bijvoorbeeld om geneesheren toe te staan om zeldzame symptomen te herkennen, of advocaten het juiste precedent te helpen terugvinden. Virtuele assistenten zoals Siri (Apple) en Google Assistant (Google) kunnen ons bijstaan in heel specifieke taken, en ze kunnen informatie opzoeken op het internet, maar veel verder gaat het niet. ‘AIassistenten zijn erg nuttig geworden omdat ze op een gesofisticeerde manier bepaalde woorden kunnen opzoeken en kunnen antwoorden op simpele vragen en verzoeken’, schrijft het hoofd van IBM Research, Arvind Krishna, in een blogbericht. ‘Project Debater verkent nieuw terrein: het verwerkt enorme en diverse sets van informatie en perspectieven om mensen te helpen bij het opbouwen van overtuigende argumenten en het nemen van goed geïnformeerde beslissingen.’ Project Debater kon dat bovendien doen in de vorm van een (grotendeels) coherent gesprek.
Het systeem deed daarvoor beroep op verschillende technieken. Het kan in teksten de argumenten herkennen. En het ‘weet’ ook dat het indruk kan maken wanneer het een expert citeert. Is het onderwerp atheïsme, dan kan het systeem bovendien achterhalen dat een argument van Richard Dawkings waarschijnlijk een argument pro atheïsme is – omdat de man (onder meer op Wikipedia) als atheïst wordt vermeld.
Maar net als Siri en Google As
Het publiek, onder wie veel IBMmedewerkers, vond dat Project Debater meer informatie wist aan te dragen dan de mens
sistant viel Project Debater soms ook terug op ‘ingestudeerde’ grapjes (door mensen op voorhand geschreven, dus). Zo merkte de computer op dat ‘mijn bloed zou koken, als ik bloed had’. Het systeem moest wel zelf kunnen inschatten op welk moment zo’n grapjes konden worden ingelast.
Turingtest
Het opzet van het debat doet wat denken aan de zogenoemde turingtest. De Britse computerpionier Alan Turing formuleerde die test in 1950 om te kunnen uitmaken of een computer intelligentie vertoont. Daarbij wisselt een jury tekstberichten uit met een computer en met een mens. Als de jury niet meer kan zeggen wie de mens is en wie de computer, dan heeft die computer de test doorstaan en is hij ‘intelligent’. In feite wordt die turingtest niet meer beschouwd als een zinvolle maatstaf voor AI. Chatbots die domweg zinnetjes uit bestaande conversaties uitspuwen, scoren namelijk vrij goed en kunnen een jury best wel een paar minuten om de tuin leiden.