„Frag doch einfach die KI nach dem ROAS.“ Klingt praktisch. Ist aber riskanter, als die meisten Marketingteams ahnen.

Large Language Models wie ChatGPT oder Claude sind brillant im Formulieren, Zusammenfassen und Erklären. Bei einer Aufgabe versagen sie jedoch überraschend häufig: beim zuverlässigen Rechnen mit echten Geschäftszahlen. Und genau das ist die Kernaufgabe jedes Marketing-Dashboards – KPI, Conversion Rates, Kampagnenvergleiche, Forecasts.

Sprachmodell, kein Taschenrechner

Ein LLM erkennt Zahlen nicht im mathematischen Sinn, sondern als Muster in Text – „18,4 % ROAS“ ist für das Modell zunächst eine Zeichenkette, kein Wert mit fester Bedeutung. Genau das zeigten 2024 die vielzitierte GSM-Symbolic-Studie von Apple-Forschern: Änderten sie in identischen Matheaufgaben nur unwichtige Nebensätze oder Zahlenwerte, brach die Trefferquote der Modelle teils deutlich ein. Die Schlussfolgerung: Die Modelle rechnen nicht formal, sie erkennen Muster – mathematisch identische Aufgaben werden je nach Formulierung unterschiedlich beantwortet.

Was die Forschung übereinstimmend zeigt

Es blieb nicht bei dieser einen Studie. Weitere unabhängige Untersuchungen bestätigen das Bild:

NumericBench (2025) zeigt, dass selbst leistungsstarke Modelle wie GPT-4 bei grundlegenden numerischen Fähigkeiten schwächeln – besonders bei Tabellen, langen Kontexten und mehrstufigem Rechnen.

Eine Studie der NYU Abu Dhabi (2025) zu wachsenden Zahlenbereichen fand: Je größer oder ungewöhnlicher die Zahlen in einer Aufgabe, desto mehr logische Fehler passieren – bis zu 14 Prozentpunkte mehr, bei sonst identischer Aufgabe.

ToRR (2025/2026), ein Benchmark für das Rechnen mit Tabellen, kommt zum Schluss: Kein einziges der getesteten Modelle arbeitete über alle Tabellenformate hinweg konsistent zuverlässig.

FinChain (2025) prüfte mehrstufiges, finanzmathematisches Schlussfolgern bei 26 führenden Modellen – selbst die stärksten Frontier-Modelle zeigten klare Grenzen bei nachvollziehbaren, verifizierbaren Rechenketten.

Der gemeinsame Nenner: Marketingdaten bestehen fast ausschließlich aus genau dem, womit LLMs am meisten kämpfen – Tabellen, Zeitreihen, Kennzahlen, mehrstufige Berechnungen.

Warum das für dein Marketing-Betriebssystem fatal wäre

Stell dir vor, dein Kampagnen-Reporting würde bei exakt denselben Daten unterschiedliche Zahlen ausspucken – je nachdem, wie die Frage formuliert war. Genau das beschreibt die Forschung. Für ein System, das Budgetentscheidungen, Lead-Bewertungen oder Next-Best-Actions ableitet, ist das nicht tragbar. KPIs müssen reproduzierbar sein – unabhängig von Formulierung, Tageszeit oder Modellversion.

Und Code Execution löst das nicht allein

Anthropic hat mit dem Code-Execution-Tool selbst eine Antwort auf das Problem entwickelt: Claude kann kontrolliert Python-Code ausführen und dadurch numerisch deutlich zuverlässiger rechnen – ein echter Fortschritt für explorative Analysen. Aber selbst Anthropic betont die Grenzen: Code Execution entscheidet nicht automatisch, welche Kennzahl überhaupt die richtige ist, welche Filter fachlich sinnvoll sind oder wie ein Ergebnis zu interpretieren ist. Das bleiben fachliche Entscheidungen – keine Rechenaufgaben.

Die Lösung: Rechnen trennen von Sprechen

Die robusteste Antwort aus Forschung und Praxis ist keine bessere Prompt-Formulierung, sondern eine andere Architektur: neurosymbolische Systeme, die klar trennen zwischen einem deterministischen Rechenkern (Business-Logik, KPI, Regeln – klassischer Code) und einem Sprachmodell, das Ergebnisse erklärt, einordnet und kommuniziert. Aktuelle Forschung zu solchen Hybrid-Architekturen zeigt: Wo Zahlen, Regeln oder Compliance-Prüfungen entscheidend sind, gehört die Berechnung in symbolische, deterministische Systeme – die KI liefert Sprache und Kontext, nicht das Ergebnis selbst.

Ergänzt wird das idealerweise durch Verifikationsschleifen (Ergebnis gegen Referenzwert prüfen, Toleranzband einhalten) und ein Human-in-the-Loop-Gate für alles, was über reine Zahlen hinausgeht – etwa Ursache-Wirkungs-Interpretationen oder strategische Empfehlungen.

Genau nach diesem Prinzip bauen wir die Architektur von PinkBridge: KPI, Business Rules und Next Best Actions werden deterministisch in der PinkBridge-Engine berechnet. Claude als KI-Partner erklärt die Ergebnisse, führt den Dialog und unterstützt bei Content – rechnet aber nie selbst die Zahlen, die am Ende über Budget oder Kampagnenerfolg entscheiden.

Fazit: KI ist ein exzellenter Erklärer, aber kein Rechenzentrum

Die aktuelle Forschung ist eindeutig: LLMs sind beeindruckend in Sprache, Kontext und Dialog – aber (noch) keine verlässlichen Rechner für geschäftskritische Kennzahlen. Wer KI im Marketing produktiv einsetzen will, sollte deshalb nicht fragen: „Kann die KI das ausrechnen?“, sondern „Wo trennen wir Rechnen und Sprechen sauber?“ Unternehmen, die diese Trennung architektonisch verankern, bekommen das Beste aus beiden Welten: zuverlässige Zahlen und eine KI, die sie verständlich macht.

Noch Fragen? Sichere Dir ein Early-Access-Gespräch.

Quellen

• Mirzadeh et al. (Apple): GSM-Symbolic – Understanding the Limitations of Mathematical Reasoning in LLMs (2024)
• Li et al.: NumericBench – Exposing Numeracy Gaps (2025)
• Shrestha, Kim, Ross (NYU Abu Dhabi): Mathematical Reasoning in LLMs: Assessing Errors across Wide Numerical Ranges (2025)
• Exploring the Robustness of Language Models for Tabular Question Answering (2024)
• The Mighty ToRR: A Benchmark for Table Reasoning and Robustness (2025/2026)
• FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning (2025)
• Anthropic: Code Execution Tool – Dokumentation