Kapitel 9: Monitoring & Messbarkeit von LLM-Sichtbarkeit
“Was man nicht messen kann, kann man nicht lenken.” Das Problem: Wenn ein Nutzer ChatGPT fragt und die KI antwortet mit Ihrer Marke, erfährt Ihr herkömmliches Tracking davon absolut nichts – es sei denn, der Nutzer klickt auf den winzigen Quellenlink. LLMO braucht neue Metriken.
9.1 Die Ablösung der Klickrate: Share of Model Voice (SoMV)
Die wichtigste neue Metrik im LLMO ist der Share of Model Voice (SoMV). Er beschreibt den prozentualen Anteil, mit dem Ihre Marke in den Antworten einer KI im Vergleich zu Ihren Wettbewerbern auftaucht.
SoMV = (Anzahl der Nennungen der eigenen Marke / Gesamtzahl der Markennennungen im Test-Set) × 100
Um den SoMV zu ermitteln, nutzen wir eine statistische Stichprobe von standardisierten Prompts (z. B. 100 Variationen einer Kaufberatungs-Anfrage) und werten die Ergebnisse aus.
9.2 Qualitative Metriken: Sentiment & Entity Affinity
Es reicht nicht mehr, nur genannt zu werden. Wir müssen wissen, wie die KI über uns spricht.
1. Sentiment Alignment
Bewertet die KI Ihre Marke als “kosteneffizient”, “innovativ” oder “kompliziert”? Wir messen hier die Abweichung zwischen Ihrem gewünschten Marken-Image und der synthetischen Zusammenfassung der KI.
2. Entity Affinity (Vektor-Zugehörigkeit)
Wie nah liegt Ihre Marke im Vektorraum der KI an bestimmten Problemstellungen? Wenn ein Nutzer nach “Sicherheit” fragt, taucht Ihre Marke auf? Diese Affinität zeigt uns, für welches Segment die KI uns als “Lösung” abgespeichert hat.
| Metrik | SEO-Äquivalent | LLMO-Bedeutung |
|---|---|---|
| Citation Frequency | Backlinks | Wie oft wird Ihre URL als Primärquelle herangezogen? |
| Response Placement | Ranking (Pos. 1–10) | Erscheint Ihre Marke im ersten Absatz der KI-Antwort? |
| Brand Hallucination Rate | Bounce Rate | Wie oft gibt die KI falsche Fakten über Sie aus? |
| Share of Model Voice | Share of Voice | Ihr prozentualer Anteil aller Nennungen in Ihrer Branche |
| Sentiment Alignment | Brand Perception Score | Stimmt die KI-Tonalität mit Ihrem Marken-Image überein? |
9.3 Technisches Monitoring: Der “Synthetic Audit”
Da wir nicht wissen können, was Millionen von Nutzern in ihre KIs tippen, simulieren wir diesen Prozess. Ein modernes LLMO-Monitoring besteht aus automatisierten Skripten, die über die APIs von OpenAI, Anthropic und Google regelmässige Abfragen durchführen.
Der Prozess des Synthetic Audits:
- Seed-Prompts: Definition von 500 kritischen Fragen aus der Customer Journey.
- API-Run: Monatliche Abfrage dieser Fragen bei verschiedenen Modellen (ChatGPT, Claude, Gemini, Perplexity).
- Parsing: Extraktion der genannten Marken und Quellen-Links.
- Gap-Analysis: Identifikation von Fragen, bei denen die Konkurrenz dominiert oder die KI falsche Fakten liefert.
LLMO-Monitoring-Tools (Auswahl):
| Tool | Fokus | Besonderheit |
|---|---|---|
| Profound | SoMV-Tracking über mehrere LLMs | Automatisiertes Prompt-Testing |
| Trackr.ai | Brand Mention Monitoring in KI-Antworten | Sentiment-Analyse inklusive |
| Perplexity API | Echtzeit-RAG-Abfragen simulieren | Zeigt, welche Quellen die KI aktuell nutzt |
| Google Search Console | AI-Overview-Impressions | Zeigt Klicks aus Google SGE |
Mini-Case Study: Die Metrik-Wende bei “FinFlow SaaS”
Szenario: Das FinTech-Startup FinFlow sah einen Rückgang des organischen Traffics um 20 %. Der Investor war besorgt. Das Marketing-Team behauptete jedoch, sie seien erfolgreicher als je zuvor.
Die Analyse: Durch ein SoMV-Tracking stellte das Team fest, dass FinFlow bei der Frage “Beste Buchhaltungssoftware für Freelancer” in 85 % der Fälle von ChatGPT als erste Empfehlung genannt wurde. Vor sechs Monaten lag dieser Wert noch bei 10 %.
Das Ergebnis: Trotz weniger Klicks stieg die Brand-Search um 40 %. Die Nutzer nutzten die KI zur Vorauswahl und kamen erst auf die Seite, als sie bereits kaufbereit waren. Die Cost-per-Acquisition (CPA) sank um 30 %, da der Traffic “heisser” war.
Checkliste: Das LLMO-Reporting
- Baseline-Messung: Haben wir erhoben, wie oft wir aktuell in den Top-3-KIs bei Kernfragen auftauchen?
- Competitor-Watch: Welche Konkurrenten werden von der KI bevorzugt und welche Quellen nutzt die KI dafür?
- Halluzinations-Check: Listet die KI falsche Preise oder veraltete Features auf?
- Conversion-Attribution: Tracken wir “Direct-Traffic”-Anstiege nach grossen LLMO-Content-Updates?
- Source-Link Audit: Funktionieren die Links, die die KI aus unserem Schema.org zieht, einwandfrei?
Typische Fehler & Mythen
- Mythos: “Man kann LLMO mit herkömmlichen SEO-Tools messen.” → Realität: Tools wie Semrush oder Ahrefs messen Google-Rankings. Sie wissen nichts darüber, was innerhalb eines geschlossenen KI-Chats passiert. Sie brauchen dedizierte LLMO-Monitoring-Lösungen.
- Fehler: Nur auf Klicks schauen. Im LLMO ist die indirekte Konvertierung (Nutzer liest Empfehlung in KI → sucht später direkt nach der Marke) der wichtigste Hebel.
- Fehler: Die Bedeutung von “Sentiment” ignorieren. Wenn die KI Sie oft nennt, aber immer mit dem Zusatz “...ist jedoch teurer als der Durchschnitt”, haben Sie ein Positionierungsproblem, kein Sichtbarkeitsproblem.
LLMO-Unterstützung?
Suchen Sie einen Experten im Bereich LLMO oder KI-Sichtbarkeit? Kontaktieren Sie mich unverbindlich.