Attention-Mechanismus
Der Attention-Mechanismus ist die Art, wie ein Sprachmodell Zusammenhänge in einem Text herstellt. Er berechnet für die aktuelle Eingabe, wie stark die verfügbaren Tokens aufeinander bezogen werden. Die dafür verwendeten Parameter lernt das Modell im Training.
Ein Sprachmodell zerlegt deinen Text in Token und übersetzt jedes davon in eine Zahlenreihe, ein Embedding. Damit ist die ungefähre Bedeutung einzelner Bausteine erfasst. Was ein Wort im konkreten Satz meint, ergibt sich aber erst aus dem Zusammenhang. Hier setzt Attention an: Das Modell verteilt bei jedem Token seine Aufmerksamkeit auf die übrigen Tokens, viel auf das, was den Sinn bestimmt, wenig auf Nebensächliches. Auch weit auseinanderliegende Wörter lassen sich so aufeinander beziehen, und der Vorgang läuft in vielen übereinanderliegenden Schichten parallel.
Woher der Begriff kommt
Attention gab es schon vorher als Zusatz in Modellen für maschinelle Übersetzung. Zum Kern einer Architektur wurde der Mechanismus mit dem Transformer: Vaswani und Kollegen stellten 2017 in der Arbeit „Attention Is All You Need“ ein Netzwerk vor, das allein auf Attention beruht und ohne die bis dahin üblichen rekurrenten und faltenden Netze auskommt. Der Lehrgang beschreibt den Transformer als die Architektur hinter heutigen Sprachmodellen.
Warum das für deine Prompts zählt
Der Lehrgang zieht daraus eine praktische Folgerung: Deine Eingabe wirkt wie ein Signal für die Gewichtung. Ist sie mehrdeutig, verteilt das Modell seine Aufmerksamkeit unsicher, und die Antwort fällt verwaschen aus. Eindeutige, widerspruchsfreie Vorgaben helfen ihm, das Richtige zu gewichten. Ein längerer Prompt ist deshalb nicht automatisch besser, ein klarer schon eher.
Quelle: Vaswani et al., „Attention Is All You Need“ (arXiv 1706.03762, 2017).
Beispiele aus der Praxis
Beispiel · unklare Gewichtung (illustrativ): „Fass die Kundenrückmeldungen zusammen. Die Beschwerden sind wichtig, das Lob aber auch, wobei das von letzter Woche eher nebensächlich ist.“ Der Auftrag zieht in mehrere Richtungen. Aus ihm geht nicht eindeutig hervor, was Vorrang hat; die Antwort kann deshalb andere Schwerpunkte setzen als beabsichtigt.
Beispiel · klare Gewichtung: „Fass die Beschwerden aus den Kundenrückmeldungen der letzten vier Wochen zusammen. Lob nur, wenn es ein bestimmtes Produkt betrifft.“ Hier ist eindeutig, worauf es ankommt.
Solche Begriffe sicher anwenden — im IHK-Lehrgang
„Attention-Mechanismus" ist einer von 9 Schlüsselbegriffen, die wir im Manager-Lehrgang in praxisnahen Modulen vertiefen. Hol dir das offizielle IHK-Zertifikat.
Kostenlos testenthekey.academy ist eine deutsche Online-Lernplattform für IHK-zertifizierte berufliche Weiterbildung — 24 Lehrgänge zu KI, Führung, Resilienz, Marketing und HR. 100 % online, self-paced, mit IHK-Zertifikat.