Wie misst man den Erfolg einer Produkteinführung oder einer wichtigen Produktänderung?

Vorausdenken

Metriken festzulegen, bevor überhaupt etwas Greifbares existiert, ist eine echte Herausforderung. Trotzdem müssen wir vorausdenken. Zuerst sollten wir uns auf die Datenerhebung konzentrieren und erst danach darauf, ob und wie diese Daten Sinn ergeben. Aber wie und wo fängt man an, wenn wir eine neue Produktidee haben oder eine große Änderung planen? Die ernsthaften Fragen haben wir vielleicht schon gestellt: „Woran erkennst du, dass das gut für Nutzer ist?“ oder „Funktioniert es?“. Es ist verlockend, sie zu ignorieren und sich stattdessen auf die Produktpromotion zu konzentrieren. Oder – noch gefährlicher – in Vanity-Metriken nach Bestätigung zu suchen, nur um Investoren oder Sponsoren zufriedenzustellen.

Vanity-Metriken

Der schwierige Teil liegt hinter dir. Du hast dein Produkt definiert (oder eine wesentliche Änderung ausgerollt). Jetzt musst du nachweisen, dass das, was du dir ausgedacht hast, tatsächlich Sinn ergibt. Content mag in Social Media King sein, aber hier hat Data das Sagen. Fangen wir mit dem an, was du nicht tun solltest. Die sogenannten Vanity-Metriken gehören als Erstes aussortiert. Zum Beispiel Page Views oder Downloads. Das macht sich gut in Marketingbroschüren. Aber in der Datenwelt gibt es keine Korrelation zwischen Produkterfolg und Page Views. Allgemeine Metriken liefern zu wenig brauchbare Erkenntnisse. Mit solchen „einfachen“ Kennzahlen lässt sich zwar ein Produkt verkaufen. Um Sponsoren jedoch wirklich zu überzeugen, müssen wir tiefer gehen und belastbarere Belege liefern. Um mehr Aussagekraft herauszuholen, staffele die Page Views über die Zeit. So erkennst du, wer wann tatsächlich für diese Aufrufe sorgt. Du kannst hier mehr über Vanity-Metriken erfahren.

Ansatz mit einer einzigen Kennzahl

Eine der gängigen Metriken, die Croll & Yoskovitz in „Lean Analytics“ propagieren, ist OMTM — One Metric That Matters. Sie ist auch als North Star Metric bekannt. Dabei muss es nicht zwingend eine einzelne Variable sein, sondern kann ein komplexerer Wert sein. Mehr Komplexität sorgt jedoch nicht automatisch für mehr Erkenntnis. Für SaaS‑Startups kann das z. B. das LTV/CAC Ratio sein (dazu gleich mehr).

Eine einzige Kennzahl für ein neues Produkt oder ein bedeutendes Feature zu definieren, hat auch geschäftlichen Mehrwert. Sie gibt dir ein klares Ziel. Ist sie nicht zu verkopft, ziehen alle mit – und bald wird das ganze Team verrückt nach der von dir definierten Metrik sein. Ihr Auf und Ab zu beobachten, fühlt sich dann an wie Börsen- oder Spielstandsanzeige.

Einfache Metriken

Zusätzlich zu deiner OMTM kannst du weitere Metriken einsetzen, um Entscheidungen zu stützen. Nimm die bereits erhobenen Daten und segmentiere sie. Eine Kohortenanalyse – genau das machst du hier – liefert dir einen guten Einstieg. Wenn du ein großes Feature launchst, musst du sicherstellen, dass sein Einfluss auf die Nutzer sichtbar wird. Spanne dazu die für dich relevante Kohorte entlang einer Zeitachse „vor“ und „nach“ der ersten Nutzung des neuen Features auf. Tust du das statt einer Standard‑Zeitachse, erkennst du die Korrelation zwischen Ursache und Wirkung deutlich besser. Weitere nützliche Metriken sind Business‑ und User‑Engagement.

User‑Engagement‑Metriken

Sessions per User. Anders gesagt: Wie oft loggen sich Nutzer ein oder öffnen die App. Hier ist der Median besser als der Durchschnitt. Warum? Beispiel:

„Ein Unternehmen mit 10 Angestellten gibt 50.000 $ für Gehälter aus. 1 Person im Reinigungsteam verdient 500 $, 8 Buchhalter bekommen je 1.500 $ und 1 Manager wird mit 37.500 $ bezahlt (!). Der Durchschnittslohn liegt bei 5.000 $, der Median bei 1.500 $.“

Welcher Wert klingt realistischer?

% der Nutzer, die einen Schlüssel‑Workflow abschließen. Wenn du am Ende deines Schlüssel‑Workflows einen erfolgreichen Kauf definierst, willst du wissen, wie viele Nutzer bis dorthin gelangen.

Key User Actions per Session. Definiere deine Key Actions in der Customer‑Engagement‑Pyramide und setze Ziele. Im Social‑Media‑Beispiel übernehmen nur 1 % der Nutzer die Key Action – Content erstellen. 10 % interagieren, und 100 % beobachten passiv. 

Session Duration (denk daran: kohortenbasiert über die Zeit betrachten). Wie viel Zeit ein Nutzersegment mit Interaktionen in der App oder auf der Website verbringt.

Business‑Metriken

Customer Lifetime Value (LTV). Wie viel Umsatz du mit einem Nutzer erzielen kannst, bevor er abwandert oder aufhört zu zahlen. Es gibt verschiedene Methoden zur Berechnung – mehr dazu hier.

Customer Acquisition Cost (CAC). Wie viel dich die Gewinnung eines einzelnen Nutzers kostet. Nimm alle Marketingkosten und teile sie durch die Anzahl zahlender Kunden.

LTV/CAC Ratio. Versprochen, wir kommen darauf zurück. Das LTV/CAC Ratio ist für Sponsoren besonders wichtig. Für ein gesundes Startup gilt ein Wert ab 3 als gut.

Monthly Recurring Revenue (MRR). Erklärt sich von selbst.

Logo Churn. Der Prozentsatz an Nutzern, die du monatlich verlierst. Statistiken sagen, dass nur 23 % der Nutzer innerhalb von 3 Tagen nach der Installation zu einer App zurückkehren. Diese Kennzahl sollte bei deinem Produkt negativ sein.

Revenue Churn Rate. Eine alternative Darstellung des Prozentsatzes an Umsatz, den ein Unternehmen monatlich durch abwandernde Nutzer verliert.

Customer‑Engagement‑Pyramide

Bislang haben wir über Einzelmetriken und High‑Level‑Metriken gesprochen. Manche sagen, das seien alles nur Symptome und brächten keinen echten Mehrwert. Mit einer soliden OMTM sowie unterstützenden Business‑ und User‑Metriken, aufgeteilt nach Kohorten und in passenden Zeitfenstern, kannst du jedoch sehr viel erkennen. Wenn du tiefer in die Treiber dieser Metriken einsteigen willst, baue deine Customer‑Engagement‑Pyramide. Dazu brauchst du zwei Schritte:

Definiere die Spitze der Pyramide als die Aktionen der am stärksten engagierten Nutzer. Das kann Content veröffentlichen, eine Reservierung vornehmen oder einen Kauf abschließen sein. Diese Aktionen sollten das Fundament deines Produkts bilden.

Liste alle Aktionen auf, die ein Nutzer in deiner App oder auf deiner Website ausführen kann. Ordne sie anschließend absteigend – von den am stärksten engagierenden bis zu denen mit dem geringsten Aufwand.

Hier ein Beispiel für eine Customer‑Engagement‑Pyramide einer Car‑Sharing‑App:

Was nimmst du aus dieser Pyramide mit? Erstens kannst du prüfen, ob die von dir erhobenen Daten relevant sind. Das ist ein guter Boxenstopp, um sicherzugehen, dass das, was du misst, Sinn ergibt. Die Spitze der Pyramide zeigt dir, welche Nutzeraktionen zentral sind. Wenn du deine UX/UI verbessern willst, fang am besten dort an.

Komplexe Metriken

Wenn du noch tiefer in die Datenwelt eintauchen willst, kannst du mit einem ersten Blick auf die Ökonometrie beginnen. Ein Einstieg ist Propensity Score Matching. Diese Methode ist hilfreich, wenn du den Einfluss neuer Features auf das User‑Engagement messen willst. Ein Vergleich zweier Nutzergruppen anhand ihres Verhaltens nach einer großen Änderung in der App ist sonst meist ungenau: Eine Gruppe hatte gar nicht die Gelegenheit, das Feature zu nutzen – und diese Gruppe muss irgendwie definiert werden. Randomisierung hilft hier wenig. Zu viele Einflussfaktoren auf den Nutzer und fehlende Informationen verzerren das Bild. Ein vereinfachtes Beispiel:

„Angenommen, es gibt zwei Arten (A und B) klinischer Behandlungen für Menschen mit derselben Krankheit. In Gruppe A sind 200 Patienten, in Gruppe B 50. Du willst den Einfluss eines Medikaments nach der Behandlung messen. Wenn du es allen gibst, woher wüsstest du, dass nicht die Behandlung die Veränderung verursacht hat? Du würdest es nicht wissen. Mit Propensity Score Matching kannst du 50 homogene Gruppen bilden – jeweils aus 1 Patient aus Gruppe B und 4 aus Gruppe A. So wird der Vergleich des Medikamenteneinflusses genauer. Noch besser, wenn wir zusätzlich andere statistische Methoden einsetzen).“

Wie du siehst: Je präziser du messen willst, desto komplexer werden die Berechnungen. Versuche nicht, mehr aus Daten herauszulesen, als wirklich drinsteckt. Starte langsam, indem du deine Pyramide und unterstützende Metriken definierst. Danach baust oder wählst du deine OMTM. Und schon bist du bereit – egal, ob du ein neues Produkt launchst oder ein bestehendes veränderst!

Definiere deine eigenen Metriken

An diesem Punkt solltest du genug Input haben, um die passenden Metriken für deinen Product Launch (oder die Änderung) zu definieren. Wenn du glaubst, dass mehrere Metriken stark korrelieren und ihre Kombination sinnvoll ist – mach es. So erhältst du eine personalisierte Messgröße. In Konzernen werden solche Metriken oft als KPI definiert. Doch Organisationen vergessen mit der Zeit leicht, warum sie einst festgelegt wurden. Tappe nicht in diese Falle. Und vergiss nicht, die nötigen Daten kontinuierlich zu sammeln. Selbst wenn du deine Metriken änderst (weil du lernst, dass eine keinen Sinn mehr ergibt), hast du einen Benchmark. Denke daran: Das Feedback aus diesen Metriken dient als Orientierung, nicht als Absolution. Der sehr populäre Net Promoter Score ist nicht nachweislich mit Unternehmenserfolg korreliert. Er ist jedoch ein starker Indikator dafür, dass du auf dem richtigen Weg bist, deine Kunden glücklich zu machen.
 

Weiterführende Lektüre:

„Lean Analytics: Use Data to Build a Better Startup Faster“ von Alistair Croll und Benjamin Yoskovitz