Christoph Engemann, Andreas Sudmann (Hrsg.): Machine Learning#
Christoph Engemann, Andreas Sudmann (Hrsg.): Machine Learning / Medien, Infrastrukturen und Technologien der Künstlichen Intelligenz, Transcript Verlag, 2018
Die beiden Medienwissenschaftler haben eine 17-teilige Textsammlung zum Machine Learning (ML) herausgegeben. Sie möchten einen Überblick über die angesprochenen informationstechnischen Entwicklungen aus historischer, epistemologischer, medienkultureller, technischer und philosophischer Sicht geben. Mit dem Begriff Maschine Learning (ML) werden eine Reihe von Verfahren zusammengefasst, bei denen Programme anhand von Daten "lernen" Aufgaben auszuführen. Maschine Learning benutzt in einer ersten "Lern"-Phase eine Menge von eingegebenen Daten dazu, sie zu klassifizieren, Muster zu finden oder aus ihnen Regeln abzuleiten, um diese dann in der Anwendungsphase auf neue Daten anzuwenden oder automatisierte Reaktionen auszulösen. Hier werden also nicht wie bei sonstiger Software Konzepte und Relationen einprogrammiert sondern durch Lernprogramme auf einer Metaebene anhand von Daten zu einem Programm auf Gebrauchsebene "erlernt". (Hieraus ergibt sich auch der Zusammenhang mit Big Data.) Techniken des Machine Learning werden jedoch erst im Interviewanhang, und nur am Beispiel von Deep Learning etwas klarer gemacht. Andere Techniken, wie Support Vector Machines, die auf geometrisch-topologischen Ansätzen beruhen und gern beim Versuch der Nachbildung von menschlichen Erkennungsleistungen in Verbindung mit fMRT-Bildern verwendet werden, oder die viel einfacheren Entscheidungsbäume, die immerhin den Vorteil von Reproduzierbarkeit und Nachvollziehbarkeit haben, werden nicht behandelt. Eher gewinnt die LeserIn Einsichten über die medienpolitischen Veränderungen durch Künstliche Neuronale Netze (KNNs), zu denen auch Deep Learning (DL) gehört; und diese im Wesentlichen mit Anwendungen im kommerziellen Bereich, zu denen auch soziale Netzwerke zählen.
Historisches dazu wird zwar angemessen dargestellt, aber diese Aufarbeitung ist bereits vielfach, etwa in den Bereichen Geschichte der Informatik und der KI erfolgt. Ebenso sind die philosophischen Überlegungen wohlbekannt. Es ist sicher ein Verdienst von Hermann Rotermund, Charles Babbage's Difference Engine und seine Analytical Engine nochmals eingehender zu beschreiben, sowie Ada Lovelace's zukunftsweisende Gedanken über die potentiellen Fähigkeiten der Analytical Engine zu erwähnen. Letztere rechtfertigen die Aufnahme in ein Buch über ML. Einige Texte befassen sich mit dem Lernen von ML an der Schule, es wird dadurch ein sukzessives Höherschrauben der Ansprüche an die SchülerInnen befürchtet, ja ein Kontrollverlust im Bildungssystem (J. Herberg). Einige Texte befassen sich Robotern und Robotik (F. Sprenger und J. Weber), wobei ersterer wieder auf Schule und Bildung zu sprechen kommt.
Ich greife hier einige der mir interessant erscheinenden Texte heraus: Eindrucksvoll ist Jutta Webers Darstellung der Disposition Matrix, auf der mittels Big Data Tötungslisten und Ziele für Drohneneinsätze für den "war on terror" zusammenführt sind. Sie beschreibt die soziotechnische Verflechtung von Artefakten und menschlichen Entscheidungsprozessen im Kontext datenzentrierter Kriegsführung, und diskutiert ausführlich die Probleme mit Big Data gespeistem ML. Zunächst eine beispielhafte Definition der automatisierten Kriegsführung durch das US Department of Defense 2012: “A weapon system that, once activated, can select and engage targets without further intervention by a human operator. This includes human-super-vised autonomous weapon systems that are designed to allow human operators to override operation of the weapon system, but can select and engage targets without further human input after activation.” Künstliche Intelligenz (KI) wird zur Navigation, Zielerkennung und -identifikation sowie Angriffsplanung und -ausführung genutzt. Als Assistenzsystem für Kampfpiloten werden ML-Systeme darauf trainiert, Ziele anhand des Radars zu erkennen, um aus größerer Entfernung Abschussentscheidungen zu treffen. Weiter entwickelte Systeme können navigieren, entwerfen eigenständig eine Route und suchen nach Zielen, bis das Missionsziel erreicht ist. Noch avanciertere Systeme können simultan Geschossen ausweichen, auf mehrere Ziele feuern, sich an koordinierten Manövern beteiligen, feindliche Taktiken registrieren und davon lernen. Diese KI lief sogar auf einem nur 35 USD teuren Computer (Raspberry Pi) und wurde vom US Air Force Colonel Gene Lee 2016 als „the most aggressive, responsive, dynamic and credible AI I’ve seen to date“ bezeichnet. Die Zielerfassung und -identifikation kann durch ML präzisiert werden, indem die typischen Fähigkeiten des DL – Wahrnehmung und Klassifikation von Objekten – eingesetzt werden. Die spezifischen Probleme solcher Software jedoch sind: systematische Lernfehler, mangelnde Nachvollziehbarkeit und die Anfälligkeit für Manipulationen.
Doch zu Webers Text: Die Disposition Matrix soll die Tötungslisten, die aus unterschiedlichen Quellen, CIA, NSA, aber auch den sozialen Medien, Journalistenkommunikation, NGOs etc. gespeist sind, "harmonisieren". Darin werden die Methoden, u.a. Social Network Analysen, Geodatenund Sentiment-Analysen integriert. Doch das Wissen darüber, wie und warum eine Relation in die Matrix gestellt wurde, geht während diesem vielschichtigen Prozess der Zusammenführung und Filterung der riesigen Mengen an Metadaten verloren und ignoriert jeglichen sozialen, politischen und kulturellen Kontext, aus dem die Daten stammen. Dazu bleibt auch geheim, wer und aufgrund welcher Indikatoren in die Liste aufgenommen wird. Und, so meint Weber, auch eine genauere Definition von Terrorismus oder eine Verfeinerung der Kriterien für die Aufnahme in die Listen, noch eine Verbesserung der Software behebe das eigentliche Problem nicht: den Mangel an Erklärung, an kausalen Zusammenhängen, an Kohärenz, Konsistenz und Transparenz. Denn der Mangel an all dem, was etwa Rationalität und Verlässlichkeit produzieren könnte, ist integraler Bestandteil des Verfahrens. Sie fasst es zusammen als "das Verkennen von Form als Inhalt", eine Verkürzung die m.E. Vieles vermischt. Ich würde es lieber nennen "das Verkennen von Resultaten chaotisch mit Big Data verschränkter KI-Formalismen, denen jede Möglichkeit der Herleitung oder Verifikation fehlt, als Bedeutung". Doch die beim Lernen erzeugten Modelle können, mit einer unwahrscheinlichen Datenverteilung konfrontiert, Fehler erzeugen. Zudem stellt die Möglichkeit, maschinelles Lernen mit Eingabedaten so zu manipulieren, dass die folgenden Daten falsch interpretiert werden, ein großes Sicherheitsrisiko dar. Das automatisierte Targeting produziert immer mehr Verdächtige, da mittels Metadaten die Beziehungen auf immer größere Umfelder ausgeweitet werden. Die "Entscheidung" über einen gefährlichen Terroristen, also als Tötungsziel, beruht also auf vagen Kategorisierungen, was als Terrorismus und als zentraler Knoten in dessen kartiertem Netzwerk betrachtet wird. Durch die präsidentielle Letztentscheidung wird die nicht menschliche Vorentscheidung verschleiert und der Souverän vorgeschoben. Denn John Brennan 2012: "we conduct targeted strikes because they are necessary to mitigate an actual ongoing threat. What do we mean when we say significant threat. Significant threat might be posed by an individual who is an operational leader of Al Qaeda or one of its associated forces. Or the individual is himself an operative, in the midst of actually training for all planning to carry out attacks against US persons and interests. The individual processes unique opera skills that are being leveraged in planned attack." Im Folgenden befasst sich Weber mit den KIBig Dataund ML-Methoden im Allgemeinen: Mit moderneren No-SQL-Datenbanken, die auf Kosten von Kausalität, Reproduzierbarkeit, oder Konsistenz flexibel und schnell mit Big Data umgehen können, werden Probleme behandelt, "gelöst", die nicht voll verstanden sind, und deren Lösungsweg im Dunkeln bleibt. Nach Haraway und Manovich sind die wichtigsten Merkmale dieser epistemologischen Logik formalisiertes und systematisiertes Tinkering. Man denke an evolutionäre, probabilistische oder genetische Algorithmen, an Trial-and-Error Verfahren, Suchheuristiken und Verfahren des Post-Processing. Die Methoden, Unberechenbares zu erschließen, seien Adaption, Imitation und Imagination. Im Gegensatz zur naturwissenschaftlichen Rationalität ist diese nicht an intrinsischen Eigenschaften von Objekten interessiert, sondern konzentriert sich auf deren Verhalten und ihre Relationen. Und sie ist auf mögliche Rekombinationen von Modulen, Codefragmenten, sowie das Erstellen von Systemblöcken hin orientiert. Techniken wie risk profiling, algorithmic modeling, information integration und Data Analytics ersetzen zunehmend die Prinzipien der Re- präsentation und des Verstehens mit den Prinzipien der Investigation und der Intervention. Data Mining rekonfiguriert die Welt als flexibel, offen und unvorhersehbar, als einen Ort der Kombination, der Rekombination und des Redesigns (Haraway 1985/91), wo Daten klassifiziert, gruppiert, kombiniert und neu gruppiert werden, um Vorhersagen zu machen, Hypothesen zu testen und Suchen zu optimieren. Heuristiken, stochastische Prozesse statistische Methoden können kontingente Ergebnisse, zufällige Relationen und Rekombinationen produzieren. Auch die Tötungslisten sind flexibel und dynamisch, da sich nicht nur die Datenlagen sondern auch die Regeln für ihre Auswahl ständig ändern. Das riesige Daten-Universum wird nach Schlüsselwörtern, Mustern, Assoziationen, Anomalien und Abweichungen untersucht. Gelöst werden soll nicht ein genau definiertes Problem, sondern es wird gemäß einem breit beschriebenen Ziel emergentes Verhalten in einem veränderlichen Problemraum unter gegebenen Randbedingungen beobachtet. Die offene Suchheuristik kennzeichnet die postmoderne präemptive Technosecurity um Ungewissheiten und unberechenbare Risiken, die mit vagen Kriterien wie worst case Szenarien die Imagination über Fakten stellen und so die alle möglichen Bedrohungen vorweg nehmen und abwehren möchte.
Obgleich der Text relevante Informationen bietet un interessante genderund medientheoretische Schlüsse zitiert, leidet er an einer gewissen Unschärfe und an Wiederholungen.
Ch. Engemanns Text "Rekursion über Körper. Machine-Learning-Trainingsdatensätze als Arbeit am Index," bezeichnet die Erstellung von Lerndatensätzen als "eine zeitlich und prozessual gespreizten Form der Verschränkung von Menschen und Computern", wobei Menschen als indexikalische Zeichengeber eingebunden werden. Engemann interessiert sich v.a. für die Trainingsdatensätze für ML, denn insbesondere die kommerziell eingesetzten DL-Verfahren beim überwachten und halbüberwachten Lernen sind auf die Interaktion mit Menschen angewiesen. Dieses sei nicht nur als Voraussetzung für die spätere AutonomieAnmutung, sondern auch medienwissenschaftlich bedeutungsvoll, jedoch bisher wenig erforscht. Beim überwachten Lernen werden während des Trainings (schichtweise) Korrelationen zwischen den Eingabedaten und Zielwerten gebildet. Die trainierten Modelle, welche die Zielwerte am besten treffen werden am Ende genutzt. Beim Matching von Daten und Begriffen müssen für jedes lernrelevante Datum im Trainingsdatensatz – bisher händisch – Annotationen, labels, vergeben werden. Da ML umso besser funktioniert je mehr und "qualitätvollere" Daten dem System zu Verfügung gestellt werden, für die Bilderkennung etwa Millionen von Bildern, ist dies eine aufwändige Arbeit. Bislang sind automatisierte Verfahren noch recht fehleranfällig, weisen "noise" auf. Zur Erkennung von Bildern werden auch "boundary boxes" eingefügt, welche gesuchte Features im Bild einrahmen. Für das Labeling von MLErgebnissen werden von Firmen wie Facebook und Google die Kunden oft als Klick-Worker gebraucht, auch für Objekte im Straßenverkehr, wie Verkehrsschilder, Hauseingänge oder Autobusse. Um der Ambiguität bei der Interpretation und Annotation von Bildern beizukommen, wird zur Qualitätskontrolle "ein statistisch organisiertes Misstrauen", d.h. die statistische Mittelung der Klicks vieler Nutzer, angefügt. Engemann beschreibt die dreiteiligen ML Verfahren als maschinisierte statistische Inferenz von Relationswahrscheinlichkeiten, hier für die Spracherkennungsund Sprachausgabe Software an Assistenzsystemen wie Siri oder Alexa und die Nachverwertung ihrer so gewonnenen Daten, nicht nur zur Optimierung der Systeme sondern auch zur Individualisierung, Profilbildung und weiteren verschränkten Nutzungen. Während die Verfahren selbst von den Firmen derzeit sehr offen mit dem Ziel der Rekrutierung der besten MitarbeiterInnen publiziert werden, bleiben die Verfahren der Datenerschließung und des Labeling proprietär, von der Verwendung der Nutzenden als Klickworker abgesehen. Hier ziehen Google oder Facebook auch Relationen zwischen Bildern und Text, z.B. der Google-reCatcha-Service, der unter anderem zur Annotation von Bildern aus Streetview, etwa Verkehrsschildern, auffordert, oder Facebook mit der Aufforderung an die Nutzenden, Personen auf Fotos mit Namen zu versehen, wodurch Labels entstehen, an denen Gesichtserkennungsnetzwerke trainiert werden können. So entstehen Trainingsdatensätze, die Dinge, Daten und Wörter einander zuordnen. Dies verweist schon auf die semiotische Frage, ob solchen Annotaten Indexikalität, d.h. eine Verbindung zwischen Wort und Ding, innewohnt. Zwar ist die Bindung von Daten, die als Adressen für Objekte, Prozesse oder Personen gelten sollen, aufgrund von Verfahren wie Metadaten-, relationalen Analysen etc. notwendigerweise unsicher. Doch wenn in die Lücke zwischen Wörtern, Daten und Dingen wie beim überwachten ML der etikettierende Mensch als verknüpfendes Relais gezogen wird, bleibt diese Zuordnung als Indexeffekt aufgezeichnet und sie garantiert durch die gewesene körperliche Anwesenheit die Passung von Datum, Label und Wirklichkeit. Engemann sieht dies als Verbindung von Körper zu Körpern, als verteiltes embodiment, das auf eine genuin soziale Ressource zurückgreift, da es auf die Akquise und Konzentration anhand von Populationen kalibrierten Wissens angewiesen ist. Überwachtes ML also fragt nach Körpern, um eine großindustriell organisierte Indexikalisierung zu zeitigen, bei der durch massenhaftes Klickworken und statistische Kopplung Zeichen auf Referenten verwiesen wurden, wobei die körperlichen Interaktionen die Referenten sind. Diese Human Computer Relation ist nicht Anpassung zu menschengerechter Benutzung wie bei Human Computer Interfaces, noch Immersion, bei der virtuelle Körper auf reale Körper verweisen, sondern es ist eine rekursive Relation zwischen Körpern und lernenden Computern, von der vielfach iteriert auf menschliche schriftliche Aktionen rekurriert wird. Der politische Akt, der in den Verfahren zur Rekrutierung und den Prüfverfahren der zum Etikettieren akquirierten Menschen be- steht, woraus die Trainingsdatensätze gebildet werden, ist bisher weder von staatlicher noch von zivilgesellschaftlicher Seite kontrolliert worden, und das obgleich diskriminierende Effekte Legion sind.
Im gleichen Buch übersetzte Engemann auch einen Text von Lev Manovich in Media Analytics und Gegenwartskultur, in dem letzterer, nach Kreation, Publikation und Distribution die neue Stufe der Entwicklung technologischer Medien, die Computerisierte Analyse sämtlicher online verfügbaren Inhalte diskutiert. Am Beispiel von Spotify wird beschrieben, welche Features dort aus dem Streaming von Songs extrahiert werden, um Nutzenden neue Playlisten anzubieten. Die Internet-Dienste für alle möglichen Spezialisierungen analysieren und wälzen minütlich Terabytes von Daten, für die die Informatik Methoden wie Information retrieval, data mining, KI, Text-, Ton-, Sprachund Geo-Analysemethoden entwickelt hat, die inzwischen unter dem Begriff "data science" zusammengefasst werden. In Echtzeit ablaufende Media Analytics sind heute Bestandteil aller großen Unternehmen, die soziale Netzwerke anbieten oder Mediengüter online verkaufen, sowie Social Media Dashboards i.e. Web-Tools für die Überwachung und Analyse von Benutzungsaktivitäten und Posting-Inhalten verfügbar machen. Die Diskussion über politische und soziale Fragen bei Erfassung und Analyse von Benutzerinteraktionsdaten haben zu Unrecht bisher mehr Aufmerksamkeit erregt als die gleichermaßen folgenreichen politischen Praxen der automatisierten Analyse aller Arten von Online-Medieninhalten. Zusammengenommen haben sie nämlich durch den Einbau in Web-Services und Apps zu großen Verschiebungen der gesamten Medienkultur und Kulturindustrie geführt, die Millionen Personen nicht nur als Konsumenten, sondern auch als Contentund Meinungsbildner beteiligen. In diesem "Prosumer Kapitalismus" etwa nutzen Konsumer-Produzenten die Services Google Analytics für Websites und Blogs, oder Analytics Dashboards von Facebook und Twitter zur Feinabstimmung ihrer Posting-Strategien und Inhalte. Solche interpersonale und Gruppen-Interaktionen sind seiner Meinung nach historisch neu, denn sie zeigen eine Industrialisierung der Kultur-Produktion in zweierlei Hinsicht: automatisiertes Aufzeigen von Inhalten, Updates und Informationen in Netzwerken einerseits und das optimierende Durchtesten von User Interfaces an großen Nutzerpopulationen andererseits.
Manovich untersucht dann die Werkzeuge der "Big Media"-Datenverarbeitung in der Kulturindustrie, Media Analytics, die online verfügbare Medienin- halte verarbeiten, und die der Cultural Analytics, die sich um Interaktionen zwischen Benutzenden, Softwarediensten und Apps kümmern, so dass individualisiert Inhalte angezeigt werden können. Erstere erlauben die Präsentation und das Abrufen relevanter Inhalte bezogen auf die Gesamtheit der Webinhalte. Komplexität und kontextuelle Vielfalt der angebotenen Tools sind unermesslich, und so sieht er mit ihnen eine neue Logik, wie Medien im Internet arbeiten und wie sie in der Gesellschaft funktionieren, erreicht. Media Analytics Werkzeuge wurden demokratisiert, so dass jede z.B. ihren Blog damit ausstatten kann, deren Ergebnisse dann aber auch für die Firmen verfügbar sind. Google hat das Verfahren, jede Nutzende zum Beta-Testen zu gebrauchen, popularisiert, so dass sämtliche Systeme durchgehend auf Grundlage der Interaktionen der Nutzenden lernen. Die neueren Akteure im Bereich der Kulturindustrie fungieren als Schnittstellen zwischen Menschen, professionellen Inhalten und "User generated Content". In der Tat haben Durchdringung und Produktion mittels dieser Werkzeuge in einigen Branchen, etwa dem Journalismus, der Verlagsproduktion, etc. bereits den Status von Totalität erreicht, wird doch inzwischen jedes kulturelle Artefakt automatisch verarbeitet. Automatisiert optimiert werden gleichzeitig auch Vertrieb, Marketing, Werbung, Entdecken und Empfehlen. Die heutige Medien-Materialität umfasst Big Data Speicherund Verarbei- tungstechnologien, sowie überwachtes ML, DL und andere maschinelle Lernparadigmen, wie Entscheidungsbäume, Support Vector Machines und Convolutional Neural Networks, aber auch tagzeitbasiert prädiktive Modelle für das Verhalten aller Personen. Am Ende wendet er sich der auf Auswertung und Echtzeitanalysen beruhen- den Automation von Medienaktivitäten zu. Solche können durch Benutzereingaben gesteuert werden oder auch nicht, und sie können in deterministischer oder, wenn Zufallsparameter integriert sind, in nicht-deterministischen Weise zustandekommen. In jedem Fall sind die Ergebnisse verschiedener Medienaktivitäten kontingent. Manovich hält die Bezeichnung von Konzepten der automatisierten Analyse und Entscheidungsfindung als "Algorithmen" für irreführend, da sie zumeist auf ML beruhen. Solche Anwendungen sind, anders als Algorithmen, selten interpretierbar, womit er meint, dass die Schritte die bei ML zu Ergebnissen geführt haben, nicht nachvollziehbar sind, sie wirken als Black Box. Besser sollten sie mit dem allgemeineren Begriff "Software" gefasst werden. Schließlich kritisiert er die von kommerziellen Interessen geleiteten Metaanalysen und deren Veröffentlichung durch die Kulturindustrie, welche dann auch der Öffentlichkeit und der Wissenschaft nicht in wünschenswerter Weise zur Verfügung stehen.
Der Text "Ein Meer von Daten" der Künstlerin Hito Steyerl bringt die Metapher der Apophänie ins Spiel, einer Art Clustering Illusion, aus der Psychiatrie bekannt, um die menschliche ebenso wie die maschinelle Wahrnehmung von verschlüsselten oder verrauschten Bildern zu fassen. Denn auch für die NSA, für Google und andere Datenabsauger ist die Extraktion von Informationen aus den ungeheuren und inkompatiblen Massen von Big Data ein enormes Problem. Sie zitiert Benjamin Bratton, dass es darum gehe "Verbindungen und Schlussfolgerungen aus Quellen zu ziehen, die keine direkte Verbindung, außer der zu ihrer eigenen unaufhebbaren Wahrnehmungsgleichzeitigkeit haben", die Analyse also oft der Apophänie gleichkommt. Google Forscher bezeichnen das Erstellen eines Musters aus Rauschen als Inceptionism oder "Deep Dreaming". Mag es als digitale Wahnvorstellung erscheinen, bringt diese Bildwahrsagerei durch schrittweise Aufversionierung doch oft das Unterbewußte eines Prosumer-Netzwerks ins Bild, etwa unzählige Augen, die einen durchlöchern, oder in Produkte eingebettete Bilder von Katzenbabys, die die Produktions-mittel entlarven. Sie fördert so einen unternehmerischen Animismus zutage, der nicht nur Waren fetischisiert, sondern seine Chimären in Franchises verwandelt. Geschieht diese Apophänie jedoch nicht, so landen die Lernresultate als schmutzige Daten. Leider resultiert aber ein Vorgehen, das aus an wohlhabenden weißen Männern trainierter Sprache und Mustern, etwa die Unterscheidung von Lärm und Sprache trifft, zu Ungleichheit, ja Diskriminierung von Bevölkerungsgruppen, wirkt als politischer Spamfilter. Als "schmutzig" erkannte und gesammelte Daten bilden andererseits auch einen Speicher heimlicher Ablehnung: sie drücken die Verweigerung aus, gezählt oder gemessen zu werden. Steyerl erkennt auch im Ansturm der online-Formulare eine Maschine zur Akkumulation schmutziger Daten, da in der bürokratischen Verengung der Antwortmöglichkeiten notwendigerweise gelogen werden muss. Das Ausfüllen sinnloser Formulare hat auch eine Form "freiwilliger" Reproduktionsarbeit erzeugt, von unterbezahlten Daten-HausmeisterInnen verwaltet. Kein Wunder dass im Gesundheitswesen der schmutzigste Sektor des Datensammelns identifiziert wird. "Schmutzige Daten sind echte Daten, die den Kampf echter Menschen mit Bürokratien bezeugen". Und noch mehr: die omnipräsente Überwachung durch versklavte Objekte, Autos, Uhren,..., sagt uns: "du denkst vielleicht, dass du uns besitzt, aber wir werden über dich informieren. Warte ab, welches Wesen wir in dir erkennen." Und Menschen die keine Daten produzieren, werden als Abweichungen wahrgenommen, vielleicht als potentielle Terroristen. Mit Scoring könnte man ihnen beikommen, einem Bedrohungsscore oder einem sozialen Bonitätsscore, wie es in China bereits geschieht. Die aus diesen Technologien emergierenden Regierungsformen erscheinen der Autorin sowohl veraltet als auch abergläubisch und sie fragt: wie verbindet sich die Welt der Big Data Wahrsagerei mit den aktuellen Oligokratien, den Trollfarmen, Hackersöldnern, Botregierungen? Wie radikalisieren sie bestehende soziale Hierarchien? Ist der Staat in Zeiten von Deep Mind, Deep Lernen und Deep Dreaming ein Deep State? Einer in dem es keinen Einspruch oder angemessene Verfahren gegen maschinisierte Erlasse und Wahrsagerei gibt? Dabei sind es in Wahrheit doch nur Ergebnisse probabilistischer Projektionen.
Das Buch endet mit zwei Interviews, die Andreas Sudmann führte, das erste Yoshua Bengio, dem Direktor Test Montreal Institute for Learning Algorithms, das zweite mit dem dortigen Assistenzprofessor Roland Memisewic. Zuerst wird die Geschichte des ML beschrieben, der wichtigen Etappen, wie Backpropagation, tiefere Neuronale Netzwerke aus stückweise linearen gleichgerichteten Neuronen (ReLU), überwachtes, halbund unüberwachtes Lernen, und die Zeitlichkeit berücksichtigende rekurrente Netzwerke. Medientheoretisch interessant ist, dass er als seine wichtigsten Werkzeuge immer noch Kugelschreiber, Bleistift und eine Tafel sieht, und dass er die Kommunikation mit Kollegen, die freie akademische Umgebung ohne vordefinierte Perspektiven als wichtigste Bedingungen für seine Kreativität erachtet. Zentral ist für ihn auch nicht hierarchisch organisiertes Labor, in dem den Studierenden viel Freiraum geboten wird: "Sie sind wie Katzen, sie haben ihren eigenen Kopf und lassen sich nicht einhegen. Die Belohnung für ein solches Vorgehen ist jedoch immens." Das zweite Interview "Wunderwerke der Parallelisierung" beschreibt nun das Funktionieren von künstlichen neuronalen Netzwerken (KNNs), als sehr grobe Abstraktionen der Informationsverarbeitung in Gehirn. Eine genauere Orientierung an den Neurowissenschaften hat einerseits das Problem, dass mit dem vielen Detailwissen eine genauere Nachbildung extrem komplex würde, während andererseits bereits mit der groben Annäherung gute Lern-Ergebnisse erzielt werden können. Bei der Frage wie sich ML von menschlichem Lernen unterscheidet, kann die Adaption von Verbindungsstärken und deren Proportionalität zu neuronalen Größen (Hebb'sche Regel) als ähnlich angenommen werden. ML benötigt jedoch beim überwachten Lernen eine große Zahl gelabelter Beispiele, die auf eine bestimmte Lernaufgabe fokussiert sind, wohingegen Menschen sehr verschiedene Aufgaben quasi gleichzeitig erlernen, mit komplexeren Vorgängen als dem Zählen von Klassifikationserfolgen. Verkörperte Erfahrung ist wahrscheinlich der einzige Weg zu irgendeiner menschenähnlichen Intelligenz zu gelangen, was sich im Wort be-greifen äußert.
Die für ML relevanten Medien sind natürlich die Hardware, GPUs, Netzwerktopologie sind unverzichtbarer Bestandteil von Deep Learning. Erst sehr spät allerdings hat man die Hardware an KNNs adaptiert, denn der vonNeumann-Rechner verliert im Flaschenhals viel Zeit bei der Simulation. 2012 beschrieben Krizhevsky, Sutskever und Hinton Neuronale Netze auf GPU Hardware, was seither eingesetzt wird und u.a. den enormen Fortschritt auf dem Gebiet erzeugt hat. Von enormer Wichtigkeit sind die Datenmengen, oft auf online Marktplätzen wie Amazon's Mechanical Turk gelabelt, und natürlich die die Software, etwa für Backprop. Dass DL heute auf digitalem Substrat funktioniert, ist nicht essentiell, es könnte ebenso auf analoger Hardware laufen. Im Prinzip kommen auch analoge Repräsentationen statt Zahlen infrage, in gewisser Weise zeigt die subsymbolische Repräsentation schon einen Weg dorthin. Ein Aspekt von KNNs ist der "population code", eine Repräsentation durch gemeinsame Aktivität mehrerer Neuronen entstanden. Diese ist gewissermaßen analog, kann als Punkt in einem hochdimensionalen Raum verstanden werden, als reelle Zahl, aber in Fließkomma kodiert. Die Umgebung, die Situierung, die beim Menschen so wichtig ist, spielt auch hier eine Rolle. Zwar benötigt ML nicht den Umweg über Kommunikation oder Belohnungsmechanismen. Dennoch spielt Situiertheit eine wichtige Rolle, weil viele Konzepte, die für Menschen relevant sind, in Alltagssituationen durch körperliche Erfahrung erworben werden. Lernen in Netzen ist nicht lokalisierbar, aber Zeitaspekte spielen sehr wohl eine Rolle, etwa bei der gradientenbasierten Optimierung von grob zu fein, wo zunächst die grobe Struktur des Problems verstanden wird und im Laufe der Zeit feinere Unterscheidungen gelernt werden. Auch ist "sparsity" ein zeitlicher Aspekt: die Zahl der von null verschiedenen Werte in einer Schicht von Neuronen kann im Laufe des Trainings zunehmen. Im Extremfall, wenn für jedes Inputdatum nur ein Neuron in einer Schicht aktiv ist, kollabiert das System zu einer symbolischen Repräsentation, da jedem einzelnen Neuron hier die Rolle eines Symbols zukommt, das den Input eindeutig repräsentieren muss. Die Tendenz zur sparsity kann man also als Tendenz zum Symbolischen im Laufe des Lernprozesses auffassen, vermutlich ähnlich wie bei menschlichen Lernvorgängen. Auch gibt es wie bei Menschen Schwankungen im Lernfortschritt. Menschliches Lernen ist von Analogie-Bildungen geprägt, da wir gezwungen sind, Brücken zwischen verschiedenen Aufgabenbereichen zu schlagen. Eine Denkmaschine, die auf Analogiebildung beruhen würde, hätte einfach mehr Daten zum Lernen.