Jak zmierzyć wpływ wprowadzenia produktu na rynek lub kluczowej zmiany w produkcie?

Myśl z wyprzedzeniem

Zdefiniowanie metryk, zanim jeszcze masz coś namacalnego, to spore wyzwanie. A jednak trzeba myśleć z wyprzedzeniem. Najpierw skupmy się na zbieraniu danych, a dopiero potem — na tym, jak i czy te dane mają sens. Ale jak i od czego zacząć, jeśli mamy nowy pomysł na produkt albo chcemy wprowadzić w nim dużą zmianę? Zadaliśmy już sobie poważne pytania w stylu: „Skąd wiesz, że to dobre dla użytkowników?” lub „Czy to działa?”. Łatwiej je zignorować i skupić się na promocji. Albo — co może być jeszcze groźniejsze — szukać wsparcia w vanity metrics, by zadowolić inwestorów czy sponsorów.

Metryki próżności (vanity metrics)

Najtrudniejsze masz już za sobą. Zdefiniowałeś produkt (albo wprowadziłeś do niego znaczącą zmianę). Teraz musisz udowodnić, że to, z czym wyszedłeś, naprawdę ma sens. W mediach społecznościowych content może być królem, ale tutaj rządzą dane. Zacznijmy od tego, czego nie robić. Tzw. vanity metrics to te, których w pierwszej kolejności powinieneś się pozbyć. Na przykład wyświetlenia strony lub liczba pobrań. Świetnie wyglądają w materiałach marketingowych. Ale w świecie danych nie ma korelacji między sukcesem produktu a liczbą wyświetleń. Ogólne metryki nie niosą wystarczająco użytecznych wniosków. Takimi „łatwymi” pomiarami możesz sprzedać produkt. Żeby jednak naprawdę uszczęśliwić sponsora, trzeba zejść głębiej po twardsze dowody. Aby wycisnąć więcej sensownych informacji, zacznij od rozłożenia wyświetleń stron w czasie. W ten sposób zobaczysz, kto i kiedy faktycznie je generuje. Więcej o vanity metrics możesz przeczytać tutaj.

Jedna metryka podejścia

Jedną z popularnych metryk promowanych przez Crolla i Yoskovitza w „Lean Analytics” jest OMTM — One Metric That Matters. Znana też jako North Star Metric. To nie musi być pojedyncza zmienna, ale bardziej złożona wartość. Dodawanie kolejnych poziomów złożoności niekoniecznie jednak sprawi, że będzie ona bardziej zrozumiała. Dla startupów SaaS może to być współczynnik LTV/CAC (wrócimy do tego).

Zdefiniowanie jednej metryki dla nowego produktu lub znaczącej funkcji ma też wartość biznesową. Daje jasny cel do realizacji. Jeśli nie będzie zbyt zawiła, inni pójdą za tobą i wkrótce cały zespół będzie żył zdefiniowaną przez ciebie metryką. Obserwowanie jej wahań będzie jak śledzenie giełdy albo tablicy wyników.

Proste metryki

Oprócz OMTM możesz używać innych metryk wspierających decyzje. Zacznij od tego, co już zebrałeś, i spróbuj segmentować te porcje danych. Analiza kohortowa — bo o niej tu mowa — da ci punkt wyjścia. Jeśli uruchamiasz dużą funkcję, musisz mieć pewność, że jej wpływ na użytkowników jest odpowiednio uwidoczniony. Aby to zrobić, rozciągnij interesującą cię kohortę na osi czasu „przed” i „po” pierwszym użyciu nowej funkcji przez użytkowników. Zamiast standardowej osi czasu zobaczysz wówczas bliższą korelację między przyczyną a skutkiem. Inne przydatne metryki to metryki biznesowe oraz zaangażowania użytkowników.

Metryki zaangażowania użytkowników

Sesje na użytkownika. Innymi słowy: jak często użytkownicy logują się lub otwierają aplikację. Tutaj lepiej używać mediany niż średniej. Dlaczego? Rozważ ten przykład:

„Firma zatrudniająca 10 pracowników wydaje 50 tys. dolarów na pensje. 1 osoba z ekipy sprzątającej zarabia 500 dolarów, 8 księgowych po 1500, a 1 menedżer dostaje 37 500 (!). Średnia w tej firmie to 5000 dolarów, ale mediana to 1500.”

Która wartość brzmi bliżej rzeczywistości?

% użytkowników kończących kluczową ścieżkę (workflow). Jeśli za sukces uznajesz zakup na końcu kluczowej ścieżki, chcesz wiedzieć, ilu użytkowników dociera do końca.

Kluczowe akcje na sesję. Zdefiniuj kluczowe akcje w swojej piramidzie zaangażowania klientów i ustaw cele. Jeśli weźmiemy przykład social mediów, tylko 1% użytkowników wykonuje kluczową akcję — tworzy treści. 10% wchodzi w interakcje, a 100% pasywnie obserwuje. 

Czas trwania sesji (pamiętaj, by analizować go kohortowo, w czasie). Ile czasu dana kohorta użytkowników spędza na interakcji z aplikacją lub stroną.

Metryki biznesowe

Customer Lifetime Value (LTV). Ile możesz „wyciągnąć” z użytkownika, zanim odejdzie lub przestanie płacić. Istnieje kilka metod liczenia, więcej przeczytasz tutaj.

Customer Acquisition Cost (CAC). Ile musisz zapłacić, by pozyskać pojedynczego użytkownika. Zsumuj koszty marketingu i podziel je przez liczbę płacących klientów.

Wskaźnik LTV/CAC. Obiecałem, że wrócimy. Wskaźnik LTV/CAC jest szczególnie ważny dla sponsorów. Dla zdrowego startupu wartość od 3 w górę uchodzi za dobrą.

Monthly Recurring Revenue. Tego nie trzeba szerzej tłumaczyć.

Logo churn. To % użytkowników traconych co miesiąc. Statystyki mówią, że tylko 23% użytkowników wraca do aplikacji w ciągu 3 dni od instalacji. Ta metryka powinna być ujemna dla twojego produktu.

Revenue churn rates. Inny sposób pokazania % przychodu, który firma traci co miesiąc z powodu odchodzących użytkowników.

Piramida zaangażowania klientów

Do tej pory mówiliśmy o pojedynczych i wysokopoziomowych metrykach. Niektórzy twierdzą, że wszystkie są objawowe i nie dają prawdziwej wartości. Jednak posiadanie jednego solidnego OMTM oraz wspierających metryk biznesowych i użytkowych, podzielonych na kohorty i właściwe ramy czasowe, może być naprawdę informacyjne. Jeśli chcesz zejść jeszcze głębiej do czynników napędzających te metryki, zbuduj piramidę zaangażowania klientów. Aby to zrobić, postępuj według 2 kroków:

Zdefiniuj szczyt piramidy jako akcje najbardziej zaangażowanych użytkowników. Może to być publikowanie treści, rezerwacja lub zakup. Te działania powinny być fundamentem twojego produktu.

Rozważ wszystkie akcje, jakie użytkownik może wykonać w twojej aplikacji lub na stronie. Następnie ułóż je malejąco — od najbardziej angażujących do tych wymagających najmniej wysiłku.

Oto przykład piramidy zaangażowania klientów dla aplikacji carsharingowej:

Jaki jest wniosek z tej piramidy? Po pierwsze, możesz sprawdzić, czy zbierane dane są relewantne. To dobry pit stop, by upewnić się, że to, co mierzysz, ma sens. Szczyt piramidy mówi, które akcje użytkowników są kluczowe. Jeśli planujesz poprawę UX/UI, rozważ rozpoczęcie właśnie od nich.

Złożone metryki

Jeśli chcesz wejść jeszcze głębiej w świat danych, możesz zacząć od muśnięcia ekonometrii. Pierwszym krokiem będzie poznanie metody propensity score matching (PSM). Ta metoda przydaje się, gdy mierzysz wpływ nowych funkcji na zaangażowanie użytkowników. Wyniki porównania 2 grup użytkowników, na podstawie ich zachowań po wdrożeniu dużej zmiany w aplikacji, najpewniej będą niedokładne. Jedna z grup nie będzie miała okazji z niej skorzystać — i jakoś trzeba ją zdefiniować. Randomizacja niewiele tu pomoże. Wynika to z wielu czynników wpływających na użytkownika i braku informacji. Oto uproszczony przykład:

„Załóżmy, że masz 2 typy (A i B) terapii klinicznych dla osób z tą samą chorobą. W grupie A jest 200 pacjentów, w grupie B — 50. Chcesz zmierzyć wpływ leków po leczeniu na osoby z tą chorobą. Jeśli podasz lek wszystkim, skąd będziesz wiedzieć, że to nie terapia spowodowała zmianę? Nie będziesz. Korzystając z propensity matching, możesz stworzyć 50 jednorodnych grup. Każda składa się z 1 pacjenta z grupy B i 4 z grupy A. W ten sposób porównanie wpływu leku będzie bardziej precyzyjne. Tym bardziej, jeśli użyjemy też innych metod statystycznych).”

Jak widać, im lepszego pomiaru oczekujesz, tym bardziej złożone stają się obliczenia. Nie próbuj wyczytać z danych więcej, niż w nich jest. Zacznij spokojnie od zdefiniowania piramidy i metryk wspierających. Potem zbuduj lub wybierz swoje OMTM. I możesz ruszać — niezależnie od tego, czy uruchamiasz nowy produkt, czy zmieniasz obecny!

Zdefiniuj własne metryki

Na tym etapie masz już wystarczająco dużo informacji, by określić, jakie metryki najlepiej pasują do premiery (lub zmiany) twojego produktu. Jeśli uważasz, że istnieje silna korelacja między kilkoma metrykami i ich łączenie ma sens — zrób to. Otrzymasz spersonalizowany pomiar. W korporacjach dość powszechne jest definiowanie takich metryk jako KPI. Organizacje mają jednak tendencję do zapominania z czasem, dlaczego zostały zdefiniowane. Nie wpadaj w tę pułapkę. Pamiętaj też o systematycznym zbieraniu niezbędnych danych. Dzięki temu, nawet jeśli zmienisz metryki (bo okaże się, że jakaś przestała mieć sens), będziesz mieć punkt odniesienia. Pamiętaj, że informacje zwrotne z metryk powinny być wskazówką, a nie walidacją. Bardzo popularny Net Promoter Score nie został udowodniony jako skorelowany z sukcesem firmy. Jest jednak silnym wskaźnikiem tego, że podążasz właściwą drogą do uszczęśliwienia klientów.
 

Polecane lektury:

„Lean Analytics: Use Data to Build a Better Startup Faster” — Alistair Croll i Benjamin Yoskovitz