Parametrisches Wissen ist das, was ein Sprachmodell gewissermaßen auswendig weiß. Wer ein KI-System wie ChatGPT, Gemini oder Claude fragt, was ein Akkuschrauber ist oder wofür eine bekannte Automarke steht, bekommt oft eine Antwort, ohne dass das System etwas nachschlägt: Sie stammt aus dem Wissen, das sein Sprachmodell im Training erworben hat. Andere Bezeichnungen sind parametrisches Gedächtnis und Modellwissen; vereinfacht ist auch von Trainingswissen die Rede.
Wo das Wissen steckt
Parametrisches Wissen entsteht im Training. Ein großes Sprachmodell lernt dabei aus riesigen Textmengen, seinen Trainingsdaten, und passt seine Parameter so lange an, bis es Texte möglichst treffend fortsetzt. Parameter, oft auch Gewichte genannt, sind die Zahlenwerte, aus denen das Modell besteht. Nebenbei verankert sich in ihnen auch Faktenwissen, etwa wo ein Unternehmen sitzt, was ein Produkt kann oder welche Anbieter es in einer Branche gibt. Dass Sprachmodelle manches Faktenwissen ohne Nachschlagen wiedergeben können, zeigte 2019 eine Forschungsarbeit mit dem Titel „Language Models as Knowledge Bases?“, auf Deutsch „Sprachmodelle als Wissensdatenbanken?“.
Ein Archiv, in dem das Modell nachschlagen könnte, ist das parametrische Wissen trotzdem nicht. Es ist über die Parameter verteilt und zeigt sich erst, wenn das Modell eine Antwort Stück für Stück formuliert. Nach dem Training bleibt dieses Wissen unverändert, bis der Anbieter das Modell weiter trainiert oder eine neue Modellversion veröffentlicht. Bis zu welchem Zeitpunkt es reicht, beschreibt der Knowledge Cutoff.
Parametrisches und abgerufenes Wissen
Das Gegenstück zum parametrischen Wissen sind Inhalte, die ein KI-System erst im Moment der Frage abruft, etwa Webseiten. Die Forschung nennt solches Wissen nicht-parametrisch, weil es außerhalb der Parameter liegt. Der Unterschied ähnelt dem zwischen einer Prüfung ohne Unterlagen und einer mit Unterlagen. Er zeigt sich vor allem in drei Punkten:
- Herkunft: Abgerufene Inhalte stammen von bestimmten Seiten, die eine Antwort als Quelle angeben kann. Antworten allein aus parametrischem Wissen nennen dagegen meist keine Quellen.
- Aktualität: Parametrisches Wissen bleibt auf dem Stand des Trainings. Abgerufene Inhalte können aktuell sein: Ändert sich eine Webseite, kann ein KI-System die neue Fassung abrufen, sobald sie erfasst ist, etwa in einem Webindex; neu trainiert werden muss das Modell dafür nicht.
- Verlässlichkeit: Fakten über bekannte Entitäten, etwa große Marken oder Unternehmen, gibt ein Modell aus dem Gedächtnis zuverlässiger wieder als Fakten über wenig bekannte; bei Letzteren hilft das Abrufen passender Inhalte besonders. Wo ein Modell wenig gelernt hat, kann es Lücken mit plausibel klingenden, aber falschen Angaben füllen, sogenannten Halluzinationen.
Viele KI-Systeme verbinden beide Wissensquellen: Laut den Entwicklerdokumentationen von Google und Anthropic entscheiden etwa Gemini und Claude, wenn der Webzugriff eingeschaltet ist, je nach Frage selbst, ob sie zusätzlich aktuelle Inhalte aus dem Web abrufen. Das Verfahren, eine Antwort auf zuvor abgerufene Inhalte zu stützen, heißt Retrieval-Augmented Generation (RAG).
Was parametrisches Wissen für GEO bedeutet
Für GEO ist parametrisches Wissen die Grundlage aller Antworten, für die ein KI-System nichts abruft. Nennt ein Sprachmodell darin dein Unternehmen, ist das in der Regel eine Erwähnung ohne Quellenangabe und kein KI-Zitat. Ob und wie zutreffend ein Modell dein Unternehmen kennt, hängt unter anderem davon ab, was vor seinem Training über dich veröffentlicht war und in seine Trainingsdaten gelangt ist: auf deiner eigenen Website, aber auch in Medien, Verzeichnissen und Bewertungen.
Eine falsche oder veraltete Angabe im parametrischen Wissen lässt sich nicht direkt korrigieren. Richtigstellen lässt sie sich in einer Antwort vor allem durch Inhalte, die das KI-System für die Frage abruft, sofern es überhaupt etwas abruft.
Daraus ergeben sich zwei Hebel, die sich ergänzen. Zum einen können aktuelle Inhalte deiner Website in Antworten einfließen, für die ein KI-System das Web einbezieht, sofern sie crawlbar sind, also für die Programme erreichbar, mit denen KI-Anbieter Webseiten abrufen. Zum anderen kann eine zutreffende, einheitliche Darstellung deines Unternehmens auf der eigenen Website und in vielen fremden Quellen prägen, was künftige Modelle über dich wissen; wie sich das erreichen lässt, beschreibt der Eintrag zu konsistenten Markeninformationen.