DeepMind Transformer
Der 2017 vorgestellte Transformer war ein wichtiger Schritt in der Entwicklung moderner KI-Systeme. Das Paper „Attention Is All You Need“ zeigte, dass sich relevante Teile einer Eingabe direkt gewichten lassen, statt Sequenzen ausschließlich Schritt für Schritt zu verarbeiten. Dadurch wurde das Training stärker parallelisierbar. Transformer bilden heute die Grundlage vieler Sprach-, Code-, Bild- und Multimodalmodelle.
Aus wirtschaftlicher Sicht betreffen Transformer mehrere Ebenen der Wertschöpfung, von Chips und Cloud-Infrastruktur über Daten- und Modellplattformen bis zu Anwendungen in Medizin und Wissenschaft. Ein bekanntes Beispiel ist DeepMinds AlphaFold. Die damit verbundene Forschung wurde 2024 mit dem Nobelpreis für Chemie ausgezeichnet und zeigt den Einsatz neuronaler Architekturen außerhalb der Textverarbeitung.
Weiterführende Links: