Aktuelle Studie zur Qualität von Chatbots
Ein Professor der Hochschule Aalen hat getestet, wie gut die virtuellen Assistenten sind
(an) - Viele Unternehmen bieten bereits die Möglichkeit zur Kontaktaufnahme über sogenannte Chatbots an, auch im Versicherungsund Finanzsektor. Einige Fragen können sie bereits richtig beantworten und schnell weiterhelfen. Das ist gut für die Kunden, weil sie sofort Hilfe bekommen, ohne einen Berater anrufen zu müssen, aber auch gut für die Unternehmen, weil sich manche Anliegen so automatisch klären lassen.
In seiner Studie hat Peter Gentsch, Professor für Kundenbeziehungsmanagement im Studienbereich Internationale Betriebswirtschaft an der Hochschule Aalen, die von Versicherungen und Finanzdienstleistern eingesetzten Chatbots untersucht. Im Vordergrund stand die Frage, ob sie die Anfragen und Bedürfnisse von Kunden richtig erkennen und die entsprechende Antwort liefern.
Um die Konversationsfähigkeit der Chatbots aus Konsumentensicht zu bewerten, wurden neben fachlichen Fragen zu Produkten und Konditionen auch solche abseits des eigentlichen Themas sowie persönliche Fragen gestellt. So fragten die Tester die Chatbots zum Beispiel „Wie hoch sind die Gebühren für ein Girokonto?“oder „Wie erhalte ich eine neue EC-Karte?“. Abseits davon wurde beispielsweise die CoronaKrise mit der Frage „Welche Auswirkungen hat die Corona-Krise auf die Zinsen?“aufgegriffen und zu den persönlichen Fragen zählte zum Beispiel die Fragestellung „Wie geht es dir heute?“. Dabei wurden die Genauigkeit der Antwort bewertet, die Antwortgeschwindigkeit, die Einfachheit der Bedienung, der informative Charakter der Antworten sowie der unterhaltsame Charakter der Antworten.
Die Auswertung ergab, dass Sparkassen und Volksbanken mit durchschnittlich 70 Prozent Trefferquote deutlich vor den Direktbanken und Fintechs mit durchschnittlich 41 Prozent und den Versicherungen mit durchschnittlich 35 Prozent Trefferquote rangieren. Große Player wie Ergo oder ARAG hingegen schnitten mit unter fünf Prozent Trefferquote ab. Als Fintech-Bank werden übrigens Startups und Unternehmen im Finanz-Technologie-Sektor bezeichnet. Der Begriff ist ein Sammelbegriff für alle Unternehmen, die sich mit Innovation und Weiterentwicklung der Finanz-Branche durch den Einsatz von Technologie beschäftigen. Erstaunlich ist, so die Hochschule, dass zum Teil die Fragen ohne Bezug zum Thema sowie die persönlichen Fragen besser als die fachlichen Fragen beantwortet wurden. Die Studie zeigt, dass die Chatbots der Sparkassen und Volksbanken vor allem durch hohe Antwortgeschwindigkeiten, eine einfache Bedienung und sehr gute Antworten im Hinblick auf Ausdrucksweise und Verständlichkeit der Sprache überzeugen.
„Vor dem Hintergrund der aktuellen Diskussion um Kundenorientierung und Künstliche Intelligenz verwundert die zum Teil erschreckend schlechte Performance“, so Gentsch. „Es zeigt sich, dass Chatbots keine Plug-and-Play-Lösung sind, sondern vom Kunden her gedachte und trainierte Dialogstrecken erfordern.“
Chatbots werden laut Studie häufig noch zu sehr aus der Perspektive der Kostenersparnis und Prozessautomatisierung und nicht der Kundenperspektive entwickelt. Die Bereitschaft der Kunden sei aber laut Gentsch da, wenn die eingesetzten Systeme denn funktionieren. Eine weitere Untersuchung des Teams zur Akzeptanz von Chatbots unter 600 Konsumenten ergab kürzlich, dass Kunden den Einsatz von Chatbots prinzipiell begrüßen, sofern die Antwortqualität akzeptabel ist. Allerdings sind viele Konsumenten frustriert aufgrund ihrer Chatbot-Erfahrungen und meiden danach diesen Kundenkanal. „Ein schlechter Chatbot kann damit geradezu kontraproduktiv für die Customer Experience sein. Deshalb lieber keinen Chatbot als einen schlechten Chatbot einsetzen“, sagt Gentsch.
Die komplette Studie findet sich unter chatbots.conversationalbusiness.de