KI-Modelle auf dünnem Eis: Wenn synthetische Daten zum Kollaps führen
Direkt zum Podcast:https://www.deutschlandfunk.de/ki-kollaps-daten-sprachmodelle-training-dlf-d0b03f04-100.html
Künstliche Intelligenz braucht massenhaft Daten fürs Training. Weil die verfügbaren Texte, Bilder und Videos begrenzt sind, nutzen Entwickler von Sprachmodellen zunehmend Datenfutter, das von KI erzeugt wurden. Doch das ist riskant.
Moritz Metz und Maximilian Brose schauen sich an, was passiert, wenn KI-Modelle aufgrund synthetischer Daten kollabieren und ob es Lösungen für das Problem gibt.
Das erwartet euch in dieser Folge:
(00:40) Der wortgewandte Sam Altman von OpenAI kommt ins Stocken
(02:46) Wozu synthetische Daten beim Training von KI-Systemen gut sind
(09:40) Zwei Brüder, ein Lunch und die neue Gefahr für große Sprachmodelle
(14:20) Warum synthetische Daten Modelle vergessen lassen, dass es braune Schafe gibt
(22:02) Was helfen könnte gegen die Schlange, die sich selber frisst
(27:41) Frage an die Hörer: Wie viele Anspielungen auf Max und Moritz waren in der Folge?
Unsere Gesprächspartner in dieser Folge:
- Ilia Shumailov, Computerwissenschaftler, Christ Church College, University of Oxford
- Phillip Hennig, Professor für die Methoden des Maschinellen Lernens, Universität Tübingen
- Julia Kempe, Professorin für Informatik, Mathematik und Datenwissenschaften, New York University
Weiterführende Links:
- Artikel von Politico (englisch): Das Rennen um dieDaten-Dominanz im KI-Zeitalter
- Artikel im Time Magazine (englisch): Warum dieGeschichte des Erdölsdafür spricht, dass KI-Modellen nicht die Daten ausgehen
- Nature-Artikel von Ilia Shumailov und seinem Team (englisch):Warum KI-Modelle kollabieren, wenn sie mit synthetischen Daten trainiert werden
- Studie von Julia Kempe (englisch):Wege aus Modelle-Kollaps
- Eine Sammlung der Streicheder fiktiven Lausbuben Max und Moritz von Wilhelm Busch
Mehr zum Thema in der Deutschlandfunk App:
- „KI verstehen“ stellt die Frage:Beuten Tech-Firmen Data Worker aus?
- Diese Folge von „KI verstehen“ erklärt, wieKI die Forschung umkrempelt
- Wissenschaft im Brennpunkt: Wie weit noch bis zurSuperintelligenz?
Wenn Euch diese Episode gefallen hat, abonniert uns und empfehlt uns gerne weiter. Für Kritik, Fragen und Anregungen aller Art schickt uns eine E-Mail ankiverstehen@deutschlandfunk.deoder eine Sprachnachricht per Signal oder Whatsapp an 0152-59529753.
Noch mehr spannende Podcasts gibt’s in der Deutschlandfunk App. Zu finden in den App-Stores vonAppleundGoogle.