In der ersten Folge der Podcast-Reihe „The Shape of Things to Come“ sprechen Doug Burger, Nicolò Fusi von Microsoft Research und Subutai Ahmad von Numenta darüber, ob heutige Maschinen wirklich intelligent sind. Die Diskussion vergleicht transformerbasierte Large Language Models mit dem menschlichen Gehirn und behandelt dabei vor allem Effizienz, Repräsentation, kontinuierliches Lernen und sensorisch-motorische Verankerung.
Fusi beschreibt Transformer im Kern als Zusammenspiel von Attention- und Feedforward-Schichten. Die tokenisierte Eingabe werde in Beziehungen zwischen Tokens aufgelöst, während in den Feedforward-Teilen viel von dem im Modell gespeicherten Wissen liege. Transformer seien aus seiner Sicht nicht deshalb erfolgreich, weil nur sie solche Daten lernen könnten, sondern weil sie Informationen ohne den Engpass rekurrenter Zustände verarbeiten und rechnerisch effizient parallelisierbar sind. Durch wiederholtes Attending, Mischen und Reprojizieren werde relevante Information hervorgehoben und Irrelevantes unterdrückt, bis im latenten Raum eine Repräsentation von Eingabe, Absicht und benötigtem Wissen entstehe. Im Decoder werde diese Information wieder in eine ausgabefähige Form projiziert; das Training erfolge über den Fehler beim vorhergesagten Token.
Ahmad stellt dem die Architektur des Gehirns gegenüber. Anders als bei einem Modell mit einem einzelnen latenten Raum gebe es im Neokortex viele verteilte Verarbeitungseinheiten. Er verweist auf die bei Numenta vertretene „Thousand Brains Theory of Intelligence“, nach der etwa 100.000 kortikale Säulen mit ähnlicher Mikroarchitektur parallel arbeiten. Jede dieser Säulen verarbeite sensorisch-motorische Eingaben, bilde eigene Weltmodelle und trage zu einer gemeinsamen Interpretation der Wahrnehmung bei. Es gebe dabei keine zentrale Instanz, sondern viele gleichzeitig aktive Systeme, die kooperieren.
Ein wiederkehrendes Thema ist das kontinuierliche Lernen. Anhand des Beispiels einer veränderten Treppenstufe beschreibt Burger, wie biologische Systeme ihre Vorhersagen nach wenigen Erfahrungen anpassen. Ahmad ergänzt, dass das Gehirn solche Änderungen kontextuell und fein granular vornehmen könne, ohne anderes Wissen zu überschreiben. Neurotransmitter und Neuromodulatoren spielten dabei eine Rolle, insbesondere bei schnellen Anpassungen nach auffälligen Ereignissen.
Außerdem hebt Ahmad hervor, dass das Gehirn asynchron und parallel arbeite. Wenn einzelne kortikale Säulen künstlich verzögert würden, würde das Denken darunter leiden. Die Säulen seien zudem nicht gleichmäßig über alle sensorischen Bereiche verteilt; Regionen wie die Fingerspitzen verfügten über mehr entsprechende Verarbeitungskapazität als andere Körperstellen. Fusi greift diesen Punkt auf und verbindet ihn mit einer bekannten Schwäche vieler heutiger Modelle: Sie verwenden unabhängig von der Schwierigkeit der Eingabe oft eine konstante Menge an Rechenaufwand.
Ein weiterer Unterschied liegt in der Rolle von Vorhersagen. Nach Ahmads Darstellung erzeugen kortikale Säulen fortlaufend sehr viele feingranulare Predictions über sensorische Eindrücke. Wenn Erwartung und Wahrnehmung nicht übereinstimmen, entstehe verstärkte Aktivität, und Lernen werde angestoßen. Diese Vorhersagen seien zudem in sensorisch-motorische Schleifen eingebettet: Menschen könnten aufgrund ihrer Weltmodelle und Bezugsrahmen auch mit begrenzter unmittelbarer Wahrnehmung zielgerichtet handeln und Abweichungen schnell bemerken.
Die Folge skizziert damit zwei unterschiedliche Auffassungen davon, wie Intelligenz organisiert sein kann: auf der einen Seite Transformer mit effizienter, schichtweiser Verarbeitung und einem durch Training geformten Wissensspeicher, auf der anderen Seite ein massiv verteiltes, ständig lernendes und sensorisch-motorisch gekoppeltes System im Gehirn. Offen bleibt in der Diskussion, in welchem Maß künftige KI-Systeme diese Lücke schließen können und welche architektonischen Eigenschaften dafür nötig wären.
