KI-Forscher Eliezer Yudkowsky diskutiert die Schwierigkeiten, seine komplexen Konzepte anderen nahezubringen und stellt die Frage nach problemorientierten Übungsaufgaben. Eine kritische Betrachtung der Konsistenztheoreme in der AI Safety-Community wird ebenfalls angesprochen. Trotzdem bleibt die Diskussion darüber aus, was diese Argumente tatsächlich beweisen. Eine faszinierende Zusammenfassung der Debatte über die Zukunft der künstlichen Intelligenz.
Die 5 wichtigsten Aussagen:
– Menschen haben aus Eliezers Schriften nicht die tieferen Prinzipien der Bayesianismus-Thermodynamik oder der bayesianischen Strukturen verstanden, sondern eher eine allgemeine Herangehensweise ans Denken und Argumentieren.
– Eliezer behauptet, dass seine Erfahrung mit leistungsstarker Optimierung es ihm ermöglicht, das Denken einer KI mit Zuversicht zu verstehen.
– Es gibt keine öffentlich verfügbare Sammlung von Aufgaben, die die Prinzipien veranschaulichen, über die Eliezer spricht.
– Die Behauptungen von EJT, dass es keine Kohärenztheoreme gibt, wurden von der Gemeinschaft nicht ausreichend analysiert oder widerlegt.
– Obwohl die Kohärenzargumente immer noch eine wichtige Grundlage für die Argumentation zur KI-Sicherheit sind, scheint EJTs Beitrag von der Gemeinschaft nicht richtig berücksichtigt worden zu sein.
Ganzen Artikel lesen (englisch): https://www.lesswrong.com/posts/GPuXM3ufXfmaktYXZ/what-do-coherence-arguments-actually-prove-about-agentic