Transformer
Eine 2017 von Google veröffentlichte neuronale Netzarchitektur, die mit Self-Attention parallel Kontext erfasst. Basis aller modernen LLMs wie GPT-4, Claude und BERT.
Der Transformer wurde 2017 im Paper Attention is All You Need vorgestellt und löste rekurrente Netze (RNN, LSTM) ab. Sein Kerntrick: Self-Attention, jedes Token im Input darf alle anderen Tokens gleichzeitig anschauen und gewichten. Das macht Training massiv parallelisierbar und damit erst skalierbar.
Warum das alles veränderte
Vor Transformern las ein Modell Text Wort für Wort sequenziell, langsam und mit kurzem Gedächtnis. Transformer lesen den gesamten Kontext auf einmal. Diese Eigenschaft + GPU-Skalierung führten direkt zu GPT (2018), BERT (2018) und allen späteren LLMs. Heute basieren auch Bild- (Vision Transformer), Audio- und Multimodal-Modelle auf derselben Architektur.
Beispiele aus der Praxis
Beispiel GPT-4: Decoder-only Transformer mit geschätzt ~1,7 Billionen Parametern, der Token für Token das nächste wahrscheinlichste Wort vorhersagt, die Architektur ist 2017er-Stand, die Skalierung neu.
Beispiel BERT: Encoder-only Transformer von Google, der seit 2019 in der Google-Suche Anfragen versteht, er liest links und rechts vom maskierten Wort gleichzeitig, statt nur in eine Richtung.
Verwandte Begriffe
:quality(85))
Solche Begriffe sicher anwenden — im IHK-Lehrgang
„Transformer" ist einer von 9 Schlüsselbegriffen, die wir im Manager-Lehrgang in praxisnahen Modulen vertiefen. Hol dir das offizielle IHK-Zertifikat.
Kostenlos testenthekey.academy ist eine deutsche Online-Lernplattform für IHK-zertifizierte berufliche Weiterbildung — 25 Lehrgänge zu KI, Führung, Resilienz, Marketing und HR. 100 % online, self-paced, mit IHK-Zertifikat.