KI-Forschung: Verbesserte Interpretierbarkeit von Merkmalen in Claude 3 Sonnet
Eine neue Studie von Anthropic zeigt, dass die Interpretierbarkeit von Merkmalen in KI-Modellen verbessert werden kann. Durch den Einsatz von Sparse Autoencodern (SAEs) konnten spezifische Merkmale extrahiert werden, die Interventionsmöglichkeiten ermöglichen. Allerdings besteht noch Forschungsbedarf hinsichtlich der Genauigkeit der Merkmalsfindung und der Beziehung zwischen Merkmalen und Neuronen. Die Architektur der SAEs ähnelt der von GPT-3, weist jedoch ein höheres Verhältnis von Merkmalen zur Eingabedimension auf. Die Korrelation zwischen Merkmalen und Neuronen ist überraschend hoch und wirft Fragen auf. Weitere Tests und Forschung werden empfohlen, um die Ergebnisse zu erweitern und zu validieren.
Die 5 wichtigsten Aussagen:
– Anthropic hat ein SAE auf einem sprachlichen Modell trainiert und konnte damit interpretierbare Merkmale finden.
– Es besteht jedoch die Sorge, dass die Benennung der Merkmale nach hochaktivierenden Beispielen zu einer falschen Sicherheit führen kann.
– Es ist unklar, ob das SAE spezifische interessante Merkmale finden kann, was die aktuelle Technik einschränkt.
– Die Architektur des SAE ähnelt der bisherigen Vorgehensweise von Anthropic und anderen Teams, hat jedoch ein höheres Verhältnis von Merkmalen zur Eingabedimension.
– Die Korrelationen zwischen Merkmalen und Neuronen scheinen bemerkenswert hoch zu sein, was im Widerspruch zur Aussage von Anthropic steht.
– Es gibt immer noch keinen Durchbruch bei der Bewertung der Qualität eines Dictionary-Learning-Laufs, was die Entwicklung der Technik einschränkt.
– Eine Funktion ist nicht allein durch ihre am stärksten aktivierenden Beispiele definiert, sondern kann auch auf andere Weise interpretiert werden.
– Es ist fraglich, ob SAEs alle oder eine bestimmte Menge interessanter Merkmale finden können.
– Anthropic verwendet eine klassische Architektur für das SAE, hat aber eine höhere Anzahl von Merkmalen im Vergleich zu früheren Arbeiten.
– Die Korrelationen zwischen Merkmalen und Neuronen scheinen ungewöhnlich hoch zu sein.
– Es gibt immer noch keine Methode, um die Qualität eines Dictionary-Learning-Laufs zu bewerten.
– Es werden einige Tests vorgeschlagen, die auf diesen Forschungsergebnissen aufbauen könnten.
Ganzen Artikel lesen: https://www.lesswrong.com/posts/zzmhsKx5dBpChKhry/comments-on-anthropic-s-scaling-monosemanticity