Seite - 201 - in Künstliche Intelligenz - Technologie | Anwendung | Gesellschaft

iit-Themenband – Künstliche Intelligenz 201 Die zentrale Technologie der Zukunft wird sicherlich ein selbstlernendes System jen- seits der rein statistischen Methoden sein. Das ist neben der reinen Qualitätsdebatte unter anderem auch begründet durch die Möglichkeit von Zero-Shot-Übersetzun- gen, das heißt direkte Übersetzungen zwischen Sprachenpaaren, für die keine paral- lelen Texte zum Training vorliegen (siehe auch Textfundus). Welche Ausprägung sich durchsetzt und welche Versprechen und Visionen damit tatsächlich erfüllt werden können, wird sich in den kommenden Jahren zeigen. Die technologischen Fort- schritte überholen sich gerade, die Nachfrage aus möglichen Anwendungen ist enorm. Die Themen Machine Learning (ML) und Deep Learning (DL) standen 2017 in Gartners Hype Cycle (Columbus 2017) auf dem höchsten Punkt, der für aufgebla- sene Erwartungen an diese Technologie steht. Der Antwort auf die Frage, wie nahe eine Übersetzung durch eine Künstliche Intelligenz der natürlichen Sprache kommen kann, werden uns die nächsten Jahre also zumindest etwas näher bringen. Evaluation Um eine definitive Aussage darüber treffen zu können, welcher Algorithmus die besse- ren Ergebnisse liefert, muss die Übersetzungsqualität objektiv gemessen werden. Das ist insbesondere wichtig, um die Parametereinstellungen vorhandener Algorithmen optimieren beziehungsweise weiterentwickeln zu können. Wird in anderem Kontext ein KI-System z.  B. trainiert, Straßenschilder in Videoströmen zu finden, lässt sich leicht überprüfen, wie viele Schilder richtig als solche identifiziert und wie viele übersehen wurden. Die quantitative Bewertung der Qualität einer automatischen Sprachüberset- zung ist jedoch selbst Gegenstand wissenschaftlicher Debatten. Wie die „beste“ Über- setzung eines Satzes lautet, ist subjektiv, es gibt oft mehrere inhaltlich und grammati- kalisch korrekte Versionen. Ein automatisierter, objektiver Vergleich mit einer subjekti- ven Referenzübersetzung wird nie eine absolute Aussagekraft haben. Eine weit verbreitete Metrik ist das BLEU-System (Papineni et al. 2002). Grundidee hier ist zu vergleichen, wie viele Wörter aus der automatischen Übersetzung auch in einer humanen Referenzübersetzung nahe zusammen vorkommen. Grammatik und Syntax werden nicht evaluiert. Schwächen dieser Metrik lassen sich am einfachsten an einem Extrembeispiel demonstrieren. Den englischen Satz „The food in prison was horrible.“ übersetzt Google Translate korrekt mit „Das Essen im Gefängnis war schrecklich“. Lautet der deutsche Referenzsatz, mit dem die Übersetzung für die Bewertung verglichen wird, aber „Die Nahrung in der Haftanstalt war fürchterlich.“, wird der BLEU-Wert miserabel ausfallen, da einzig das Wort „war“ identisch ist. Die Metrik kann wegen solcher Unzulänglichkeiten nicht zur Evaluierung eines einzelnen Satzes genutzt werden, sondern muss über längere Texte gemittelt werden. Mit der Veröffentlichung des NMT-Systems gab Google an, für die Übersetzung eines häufig verwendeten Referenztexts (WMF’14) vom Englischen ins Französische einen