Ist künstliche Intelligenz gefährlich?

PD Dr. Ullrich Köthe, SS 2017
Mittwoch, 16:00-18:00, Seminarraum A, Mathematikon (INF 205)

Anmeldung: mit Themenwünschen per Email an mich (ullrich.koethe AT iwr.uni-heidelberg.de).
Falls Sie gleich in den ersten drei Wochen vortragen wollen, melden Sie sich bitte so schnell wie möglich, damit der Vortrag gut vorbereitet werden kann.

Im Film stehen künstliche Intelligenzen selten auf der Seite des Guten, und auch reale Systeme machen oft negative Schlagzeilen, z.B. bei Unfällen mit selbstfahrenden Autos. In diesem Seminar betrachten wir das Problem jedoch weniger voreingenommen: natürlich gibt es Gefahren, aber es gibt auch jede Menge interessante Ideen für effektive Gegenmaßnahmen. Dabei wollen wir uns nicht nur der hypothetischen "starken" KI der Zukunft widmen (10-14 Vorträge), sondern auch dem Vorbild Gehirn (3-6 Vorträge) und dem derzeitigen Stand der Kunst (8-12 Vorträge).

Das Seminar ist interdisziplinär angelegt und für Teilnehmer aus den verschiedensten Fächern, z.B. Informatik, Scientific Computing, Physik, Mathematik, Computer Linguistik und Psychologie, geeignet. Sie sollten allerdings keine Abneigung gegen mathematische Formeln haben. Bitte erkundigen Sie sich in Ihren jeweiligen Prüfungssekretariaten wegen der Formalitäten zur Anerkennung der Credit Points und lassen Sie mich wissen, was ich gegebenenfalls tun muss.

Wir werden pro Woche ein bis zwei Vorträge von den Teilnehmern hören (z.B. jeweils ein Vortrag auf Bachelor- und Master-Niveau). Danach ist Zeit zur freien Diskussion. Gelegentlich werden wir uns zusätzlich einen Film zum Thema anschauen. Eine große Auswahl an Themenvorschlägen und geeigneten Quellen finden Sie in der folgenden Liste. Sie dürfen aber auch gern selber googeln und eigene Ideen einbringen. Falls Ihr Lieblingsthema schon vergeben ist, können Sie trotzdem danach fragen, denn alle Themen bieten genug Stoff für mehrere Vorträge.

Vortragsprogramm

19. April	Julian Bucher: Der Turingtest und seine Varianten	Folien | Bericht
26. April	Nasim Rahaman, Nicolas Roth: Neuronale Netze Film: Colossus - The Forbin Project	Folien | Bericht2
3. Mai	Sabrina Holldorb: Navigationssysteme	Folien
10. Mai	Enes Witwit: Spracherkennung Maximilian Müller-Eberstein: Automatisches Übersetzen	Folien Folien
17. Mai	Christin Lassow: Steueralgorithmen für autonome Fahrzeuge Jochen Clormann: Was passiert bei Unfällen mit selbstfahrenden Autos? Film: Humans - Episodes 1 and 2	Folien Folien | Bericht
24. Mai	Nora Schröter: IBM Watson Andreas Haller: Kann man verstehen, wie intelligente Algorithmen entscheiden?	Folien | Bericht Folien | Bericht
31. Mai	Daniela Schacherer: Evolution Strategies und deren Anwendungen Bernd Rößler: Robotik Film: Humans - Episodes 3 and 4	Folien | Bericht Folien | Bericht
7. Juni	Carine Dengler: Homomorphe Verschlüsselung Mira Boehme: Differential Privacy Film: Humans - Episodes 5 and 6	Folien | Bericht Folien | Bericht
14. Juni	Letitia Parcalabescu, Lukas Schott: Gehirnforschung	Folien1, Folien2 | Bericht1
21. Juni	Robert Fietz: Neuromorphic Computing Film: Humans - Episodes 7 and 8	Folien
28. Juni	Patrick Dammann: Einführung in Reinforcement Learning Florian Fallenbüchel: Anwendungen von Reinforcement Learning Film: Her	Folien | Bericht Folien | Bericht
5. Juli	Stefan Radev: Intelligenz aus Sicht der Psychologie Marvin Schmitt: Motivation	Folien | Story Folien | Bericht
12. Juli	Jacqueline Wagner: Selbst-verbessernde Systeme und die Intelligenzexplosion Dominique Cheray: The Red Button	Bericht Folien | Bericht
19. Juli	Matthias Rein: Boxed AI Vadim Tschernezki: Friendly AI Julian Heiss: Team AI	Folien | Bericht Folien | Story Folien | Bericht
26. Juli	Julius Steen, Philip Hausner, Philipp Jung, Simon Guist, Dennis Aumiller, Gloria Feher: Abschlussdebatte	Bericht | Story1 | Story2 | Story3
AI short stories by seminar participants (highly recommended):
	Dennis Aumiller: The Awakening Gloria Feher: The Soul of mine within the Heart Simon Guist: Zappen durch die Debatte Stefan Radev: The necessary changes have been made Vadim Tschernezki: Jenseits von Mensch und Maschine

Thema 1: Künstliche Intelligenz heute (8-12 Vorträge)

[Vortrag: Nora Schröter] IBM Watson: der Computer, der das Jeopardy!-Quiz gewann

• Offizielle Webseite: http://www.ibm.com/watson/ und Wikipedia
• Ferrucci et al. Building Watson: An Overview of the DeepQA Project (2010) ‒ technischer Überblick
• Ferrucci et al. Watson - Beyond Jeopardy (2012) ‒ medizinische Anwendungen
• donotpay.co.uk ‒ der erste Computerrechtsanwalt der Welt (schreibt z.B. Beschwerdebriefe gegen Knöllchen)

[Vortrag: Sabrina Holldorb, Raphael Schönball] Navigationssysteme: z.B. bahn.de

• Müller-Hannemann et al. Timetable Information: Models and Algorithms (2007) ‒ Überblicksartikel
• Wang: Analyse von Algorithmen zur Bahnverbindungssuche (2014) ‒ Masterarbeit
• Böhmova et al. Modelling urban public transportation networks to support robust routing (2015) ‒ Algorithmus, der auch Verspätungen berücksichtigt

[Vortrag: Patrick Dammann, Florian Fallenbüchel] Reinforcement Learning: lernfähige autonome Agenten

• Harmon and Harmon: Reinforcement Learning: A Tutorial (1996) ‒ gute Einführung
• TD-Gammon ‒ der erste lernfähige Algorithmus für ein Spiel (Backgammon)
  Tesauro: Temporal Difference Learning and TD-Gammon (1995)
• Kunstflug mit autonomen Hubschraubern: http://heli.stanford.edu/ (krasse Videos)
  Abbeel et al. Autonomous Helicopter Aerobatics through Apprenticeship Learning (2010)
• [Vortrag: Daniela Schacherer] Evolution Strategies ‒ einfachere Alternative zu Reinforcement Learning
  Salimans et al. Evolution Strategies as a Scalable Alternative to Reinforcement Learning (2017)

[Vortrag: Nasim Rahaman, Nicolas Roth] Neuronale Netze: der Durchbruch in der Mustererkennung

• Karn: An Intuitive Explanation of Convolutional Neural Networks (2016) ‒ gute Einführung
• Spiele-Engines ‒ keine Chance mehr für den Menschen
  • Mnih et al. Human-level control through deep reinforcement learning (2015) ‒ Atari-Computerspiele auf professionellem Niveau
  • Silver et al. Mastering the game of Go with deep neural networks and tree search (2016)
  • Moravcik et al. DeepStack: Expert-Level Artificial Intelligence in No-Limit Poker (2017)
• [Vortrag: Enes Witwit, Maximilian Müller-Eberstein] automatisches Übersetzen, z.B. Skype translate
  • Hinton et al. Deep Neural Networks for Acoustic Modeling in Speech Recognition (2012)
  • Deng and Yu: Deep Learning - Methods and Applications (2014), Kapitel 7 und 8
  • Hirschberg und Manning: Advances in natural language processing (2015)
  • Lewis: Skype Translator: A Behind the Scenes Look at Near Real-Time Speech Translation (2015) ‒ Skype Echtzeit-Übersetzung
  • Wu et al. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (2016) ‒ Google translate
  • Saon et al. English Conversational Telephone Speech Recognition by Humans and Machines (2017) ‒ IBM's Variante
• Differentiable Computing: ‒ Computer lernen, selbst zu programmieren
  • Graves et al. Neural Turing Machines (2014)
  • Graves et al. Hybrid computing using a neural network with dynamic external memory (2016)

[Vortrag: Andreas Haller] Kann man verstehen, wie intelligente Algorithmen entscheiden?

• Goodman and Flaxman: European Union regulations on algorithmic decision-making and a "right to explanation" (2016)
• Ribeiro et al. "Why Should I Trust You?" - Explaining the Predictions of Any Classifier (2016)
• Goyal et al. Towards Transparent AI Systems: Interpreting Visual Question Answering Models (2016)
• Park et al. Attentive Explanations: Justifying Decisions and Pointing to the Evidence (2016)
• Lipton: The Mythos of Model Interpretability (2017)
• Moosavi-Dezfooli et al. Universal adversarial perturbations (2017) ‒ zeigt, wie einfach man Daten konstruieren kann, bei denen ein Neuronales Netz meistens falsch entscheidet

[Vortrag: Carine Dengler, Mira Boehme] Datenschutz ‒ wie analysiert man Daten, die man nicht sehen darf?

• Gentry: Computing Arbitrary Functions of Encrypted Data (2010) ‒ die homomorphe Verschlüsselung erlaubt Datenanalyse ohne Entschlüsselung
• Popa et al. CryptDB: Protecting Confidentiality with Encrypted Query Processing (2011) ‒ Datenbanksystem für verschlüsselte Daten und Anfragen
• Rane und Boufounos: Privacy-preserving nearest neighbor methods: comparing signals without revealing them (2013) ‒ die verschlüsselte Version des einfachsten Lernalgorithmus
• Ji et al. Differential privacy and machine learning: a survey and review (2014) ‒ Wie verhindert man, dass Individuen trotz Anonymisierung erkennbar bleiben?
• Papernot et al. Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data (2017) ‒ Trainieren eines neuronalen Netzes mit privaten (=unsichtbaren) Daten

Was passiert bei Unfällen mit selbstfahrenden Autos?

• [Vortrag: Christin Laßow] Steueralgorithmen für autonome Fahrzeuge
  • Paden et al. A Survey of Motion Planning and Control Techniques for Self-driving Urban Vehicles (2016)
  • Khaksar et al. Application of Sampling-Based Motion Planning Algorithms in Autonomous Vehicle Navigation (2016)
  • Noreen et al. Optimal Path Planning using RRT* based Approaches: A Survey and Future Directions (2016)
  • Pendleton et al. Perception, Planning, Control, and Coordination for Autonomous Vehicles (2017)
• [Vortrag: Jochen Clormann] ethisches Verhalten im Verkehr
  • Entscheide selbst über ethisches Verhalten: http://moralmachine.mit.edu/
  • Maurer et al. (Eds.) Autonomous Driving (2016) ‒ ein umfassendes Buch zum Thema, besonders
    Kapitel 2: Lin: Why Ethics Matters for Autonomous Cars
    Kapitel 3: Gerdes und Thornton: Implementable Ethics for Autonomous Vehicles
    Kapitel 23: Reschka: Safety Concept for Autonomous Vehicles
  • Dennis et al. Towards Verifiably Ethical Robot Behaviour (2015)
  • Bonnefon et al. The Social Dilemma of Autonomous Vehicles (2016)

[Vortrag: Bernd Rößler] Robotik: Franka Emika, der Durchbruch bei sicheren und feinfühligen Robotern

• Issac Asimov: I, Robot (1950) ‒ auch nach fast 70 Jahren noch aktuell: "Three Laws of Robotics" und was dabei schief gehen kann
• Anderson: Asimov’s "Three Laws of Robotics" and Machine Metaethics (2008)
• Murphy and Woods: Beyond Asimov: The Three Laws of Responsible Robotics (2009)
• Korean Robot Ethics Charter (2012) ‒ praktische Umsetzung der Roboterregeln
• Haddadin: Towards safe robots : approaching Asimovs 1st law (2011)
• Haddadin: Physical safety in robotics, Seiten 249-271 (2015)
• Kuen und Haddadin: An Artificial Robot Nervous System To Teach Robots How To Feel Pain And Reflexively React To Potentially Damaging Contacts (2017)

Thema 2: Das Gehirn als Vorbild für intelligente Computer (3-6 Vorträge)

[Vortrag: Stefan Radev] Was ist Intelligenz?

• Legg und Hutter: A Collection of Definitions of Intelligence (2007)
• Goertzel: Toward a Formal Characterization of Real-World General Intelligence (2010)
• Roser und Gazzaniga: Automatic Brains - Interpretive Minds (2004) ‒ der "left-hemisphere interpreter" erzeugt rationale Erklärungen im Nachhinein (mehr dazu in Gazzaniga: The Ethical Brain, 2005)

[Vortrag: Marvin Schmitt] Motivation und Ziele

• Armstrong: General purpose intelligence: arguing the orthogonality thesis (2013) ‒ sind Motivation und Intelligenz unabhängig voneinander?
• Duckworth et al. GRIT: perseverance and passion for long-term goals (2007) ‒ Ausdauer ist wichtiger als Intelligenz
• Simonton: Reverse engineering genius: historiometric studies of superlative talent (2016) ‒ Intelligenz allein macht noch kein Genie
• Baumeister et al. Self-Regulation and the Executive Function: The Self as Controlling Agent (2007) ‒ wie steuern Menschen ihr Verhalten?
• Papies und Aarts: Automatic self-regulation: From habit to goal pursuit (2016) ‒ wie steuern Menschen ihre Ziele?
• Heatherton Neuroscience of Self and Self-Regulation (2011) ‒ wie lösen Menschen den Konflikt zwischen dem Selbst und sozialen Erwartungen?
• Cornwell et al. Truth, control, and value motivations: the "what", "how", and "why" of approach and avoidance (2014) ‒ wie Menschen (und Tiere) nach Positivem streben und Negatives vermeiden
• Berkman et al. Self-Control as Value-Based Choice (2016) ‒ beruht Selbstkontrolle auf der Abwägung von Werten?
• Baumeister und Vohs: Handbook of Self-regulation (2011, 2016)

[Vortrag: Letitia Parcalabescu, Lukas Schott] Gehirnforschung

• Herculano-Houzel: The human brain in numbers: a linearly scaled-up primate brain (2009)
• de Boor et al. Correlated light and electron microscopy: ultrastructure lights up! (2015)
  
• Begemann und Galic: Correlative Light Electron Microscopy: Connecting Synaptic Structure and Function (2016) ‒ neueste Mikroskopietechnologie im Dienste der Hirnforschung
• Swanson und Lichtman: From Cajal to Connectome and Beyond (2016)
• Ashby und Helie: A Tutorial on Computational Cognitive Neuroscience: Modeling the Neurodynamics of Cognition (2011)
• Stefanovski et al. Linking connectomics and dynamics in the human brain (2016) ‒ Open-source Gehirnsimulation mit www.thevirtualbrain.org
• Jonas und Kording: Could a Neuroscientist Understand a Microprocessor? (2017) ‒ was kommt heraus, wenn man eine CPU mit den Methoden der Gehirnforschung anschaut?

Thema 3: Die Zukunft ‒ Artificial General Intelligence (AGI, 10-14 Vorträge)

[Vortrag: Julian Bucher] Der Turingtest und seine Varianten: Woran erkennt man intelligentes Verhalten?

• Das Original:
  • Turing: Computing Machinery and Intelligence (1950)
  • Saygin et al. Turing Test: 50 Years Later (2000)
  • Loebner Prize ‒ $100,000 für die erste KI, die den Test besteht
  • Yampolskiy: AI-Complete CAPTCHAs as Zero Knowledge Proofs of Access to an Artificially Intelligent System (2011) (CAPTCHA ist die Abkürzung von "Completely Automated Public Turing test to tell Computers and Humans Apart")
• Kritik und alternative Vorschläge:
  • Cohen: If Not Turing's Test, Then What? (2006)
  • Levesque: The Winograd Schema Challenge (2011)
  • French: Moving Beyond the Turing Test (2012)
  • Riedl: The Lovelace 2.0 Test of Artificial Creativity and Intelligence (2014)
  • Schoenick et al. Moving Beyond the Turing Test with the Allen AI Science Challenge (2017)

Superintelligenz ‒ Chance oder Bedrohung? Ray Kurzweil vs. Nick Bostrom

• Debatte im British Parliamentary Style oder als Offene Parlamentarische Debatte unter Anleitung von Julius Steen, Debattierclub Die Rederei, Heidelberg
  [Debattierer: Julius Steen, Philip Hausner, Philipp Jung, Simon Guist, Dennis Aumiller, Gloria Feher]
• Der Optimist: Ray Kurzweil: The Singularity is Near (2005)
  (kann bei mit entliehen werden), daraus
  • Kapitel 2: The Law of Accelerating Returns ‒ Kurzweils's Zukunftsprognosen (und was 12 Jahre später daraus geworden ist)
  • Kapitel 5: Three Overlapping Revolutions (besonders die dritte: Strong AI) sowie Kapitel 6 und 7: die (überwiegend positiven) Folgen
• Der Pessimist: Nick Bostrom: Superintelligence ‒ Paths, Dangers, Strategies (2014)
  (kann bei mit entliehen werden), daraus
  • Kapitel 6: Cognitive superpowers (Wird die KI die Weltherrschaft übernehmen?) und Kapitel 8: Is the default outcome doom? (Was passiert dann mit den Menschen?)
  • Kapitel 7: The superintelligent will (Welche Ziele wird eine KI verfolgen?, frühere Version als PDF)
• [Vortrag: Jacqueline Wagner] Selbst-verbessernde Systeme und die Intelligenzexplosion
  • Good: Speculations Concerning the First Ultraintelligent Machine (1965)
  • Vinge: The Coming Technological Singularity (1993)
  • Omohundro: The Nature of Self-Improving Artificial Intelligence (2007)
  • Allen: The Singularity Isn't Near (2011)
  • Modis: Why the singularity cannot happen (2012)
  • Hutter: Can Intelligence Explode? (2012)
  • Yampolskiy: On the Limits of Recursively Self-Improving AGI (2015)

Ideen für "menschenfreundliche KI"

• [Vortrag: Dominique Cheray] The Red Button ‒ wird sich die KI wehren, wenn wir sie notfalls abschalten wollen?
  • Jacobsen: The Shutdown Problem (2015)
  • Soares at al. Corrigibility (2015)
  • Orseau und Armstrong: Safely Interruptible Agents (2016)
  • Hadfield-Menell et al. The Off-Switch Game (2016)
• [Vortrag: Matthias Rein] Boxed AI ‒ kann man die KI einsperren?
  • Yudkowsky: The AI-Box Experiment (2002) ‒ gelingt es einer realen Intelligenz, aus der Box zu entkommen?
  • Yampolskiy: Leakproofing the Singularity: Artificial Intelligence Confinement Problem (2012)
  • Armstrong et al. Thinking Inside the Box: Controlling and Using an Oracle AI (2012) ‒ KI, die nur Fragen beantworten, aber nicht handeln kann
  • Karnofsky: Thoughts on the Singularity Institute ‒ we should prefer Tool AIs over autonomous agents (2012) und Entgegnung von Branwen: Why Tool AIs Want to Be Agent AIs (2017)
  • Bostrom (2014), Kapitel 10: Oracles, genies, sovereigns, tools ‒ Erfolgsaussichten verschiedener Restriktionen
  • Babcock et al. The AGI Containment Problem (2016)
• [Vortrag: Vadim Tschernezki] Friendly AI ‒ kann man garantieren, dass sich die KI ethisch verhält?
  • Waser: Rational Universal Benevolence: Simpler, Safer, and Wiser than "Friendly AI" (2011)
  • Yudkowsky Complex Value Systems are Required to Realize Valuable Futures (2011)
  • Dewey: Learning what to value (2011)
  • Yampolskiy und Fox: Safety Engineering for Artificial General Intelligence (2013)
  • Yampolskiy: Utility function security in artificially intelligent agents (2014)
  • Everitt und Hutter: Avoiding Wireheading with Value Reinforcement Learning (2016)
  • Taylor: Quantilizers: A Safer Alternative to Maximizers for Limited Optimization (2016)
  • Amodei et al. Concrete Problems in AI Safety (2016) ‒ diskutiert Probleme, die auch heute schon relevant sind
     
  • KI im Lichte der Chaostheorie ‒ ist das Verhalten kreativer Systeme prinzipiell unvorhersehbar? (freies Thema für ambitionierte Studenten)
     
• [Vortrag: Julian Heiss] Sind kooperierende KIs sicherer?
  • Dietterich: Ensemble methods in machine learning (2000)
  • Dietsch: "Friendly" AGI via Human Emotion: the Vital Link (2014)
  • Hadfield-Menell et al. Cooperative Inverse Reinforcement Learning (2016)
  • Whitaker et al. How cooperative behaviour could make artificial intelligence more human und A dominant social comparison heuristic unites alternative mechanisms for the evolution of indirect reciprocity (2016)
  • Understanding Agent Cooperation und Leibo et al. Multi-agent Reinforcement Learning in Sequential Social Dilemmas (2017)

Scheitert die KI am Energieverbrauch?

• Der Energieverbrauch des Gehirns:
  • Merkle: Energy Limits to the Computational Power of the Human Brain (1989)
  • Sengupta und Stemmler: Power Consumption During Neuronal Computation (2014)
• [Vortrag: Robert Fietz] Neuromorphic Computing: analoge Hardware verbraucht viel weniger Energie als digitale
  • Schemmel et al. A wafer-scale neuromorphic hardware system for large-scale neural modeling (2010)
  • Indiveri at al. Neuromorphic silicon neuron circuits (2011)
  • Benjamin at al. Neurogrid: A Mixed-Analog-Digital Multichip System for Large-Scale Neural Simulations (2014)
  • Furber et al. The SpiNNaker Project (2014)
• [Vortrag: Konstantinos Spanos] Reversible Computing: Ist das thermodynamische Limit des Energieverbrauchs erreichbar?
  • Fredkin: A Physicist's Model of Computation (1991)
  • Frank: Introduction to Reversible Computing (2005)
  • Yokoyama at al. Principles of a reversible programming language (2008)
  • James und Sabry: Theseus: A High Level Language for Reversible Computing (2014)

KI-Kurzgeschichten, über die wir diskutieren können

• Jamie Brindle: Advance Directive
• Greg Egan: Learning to be me
• Andrej Karpathy: A Cognitive Discontinuity
• David Levine: Damage