Page - 202 - in Künstliche Intelligenz - Technologie | Anwendung | Gesellschaft

202 B Anwendung BLEU-Wert von 38.95 (aus 0 bis 100) zu erreichen und für die Übersetzung vom Englischen ins Deutsche 24,17 BLEU (Wu et al. 2016). DeepL gibt an, auf den glei- chen Testdaten 44,7 für Englisch-Französisch und 31,1 BLEU für Englisch-Deutsch zu erreichen. Kritiker der BLEU-Metrik bemerken jedoch, dass durch die Schwächen des Messverfahrens Änderungen um wenige Punkte nicht aussagekräftig sind (Pan 2016). Zusätzlich zur BLEU-Evaluierung ließ Google im Rahmen der gleichen Veröffentli- chung menschliche Prüfer drei Versionen einer Übersetzung bewerten: SMT, NMT und Human. Die Prüfer vergaben 0 bis sechs Punkte für die Qualität der Überset- zung. Abbildung 10.3 zeigt das Ergebnis und die Verbesserung der Qualität durch das neuronale Netz. Doch allein die Tatsache, dass selbst die Humanübersetzung nicht die volle Punktzahl erreichte, zeigt, wie subjektiv eine Qualitätsbewertung ist. Der Hersteller von Übersetzungssoftware Omniscien Technologies weist in einem White Paper außerdem darauf hin, dass die Qualität der Übersetzung sehr stark von verschiedenen Randbedingungen abhängt. Neben dem gewählten Algorithmus spie- len auch die Trainingsdaten (Qualität, Umfang, spezifische Domänen), das konkrete Sprachenpaar und die Art des Textes (technisch, formal, umgangssprachlich) wie auch die Zieldomäne und konkrete Anwendung eine wichtige Rolle. Abbildung 10.3: Die betrachtete SMT ist der phrasenbasierte Algorithmus „Google Translate“ und die NMT der neuronale Algorithmus „Google Neural Machine Translation (GNMT)“. Die Humanübersetzung wurde durch bilinguale Menschen erstellt. Die Zahlenwerte geben die Bewertung der jeweiligen Übersetzung durch menschliche Prüfer an (0 = schlecht, 6 = perfekt).