Britzel
Was ist Self-Attention (Aufmerksamkeit)? Einfach erklärt
Self-Attention ist der Kern-Trick im Transformer: Für jedes Wort wägt das Modell ab, welche anderen Wörter im Text gerade wichtig sind, um es richtig zu verstehen. So erfasst es den Zusammenhang statt nur einzelne Wörter.
Die Alltagsanalogie
Wie ein Scheinwerfer, der im Satz genau die Wörter anleuchtet, die zusammengehören: Bei „die Bank am Fluss“ leuchtet er auf „Fluss“ — und dir ist klar, dass kein Geldinstitut gemeint ist.
Im Job heißt das
Dass eine KI am Kontext merkt, ob mit „Schloss“ das Gebäude oder das Türschloss gemeint ist, verdankt sie diesem Aufmerksamkeits-Trick.
Eselsbrücke
Der TRANSFORMER ist die ganze Maschine, SELF-ATTENTION nur ihr wichtigster Handgriff darin — die Maschine vs. der eine Trick, der sie besonders macht.
Auf Englisch
self-attention, attention mechanism
Self-attention is the core trick inside the transformer: for each word, the model weighs which other words in the text currently matter for understanding it correctly. This lets it capture context instead of just individual words.