metriche - ldb

1. 27 gennaio 2015 COSIMO PANETTA
cosimo@thedoers.co
METRICHE E IMPATTO

2. SIAMO TUTTI BUGIARDI

3. INTRODUZIONE
NESSUN IMPRENDITORE AMA
LA CONTABILITA’
SPECIE QUELLA TRADIZIONALE
(la prima figura manageriale assunta dalle Startup che
si strutturano è il CFO)

4. INTRODUZIONE
LA CONTABILITA’ E’ ALLA BASE
DELLA VALUTAZIONE DELLE
PRESTAZIONI, E QUINDI DELLA
BONTA’, DI UN’AZIENDA.
PER QUESTO E’ FONDAMENTALE.

5. INTRODUZIONE
LA CONTABILITA’
TRADIZIONALE PER LE
AZIENDE STARTUP NON
FUNZIONA

6. INTRODUZIONE
LA CONTABILITA’ TRADIZIONALE DELL’INNOVAZIONE
PER LE AZIENDE STARTUP NON FUNZIONA E’
FONDAMENTALE PER VALUTARE IL PROGRESSO
DEL PROGETTO E LA BONTA’ DEL VOSTRO
OPERATO.
PER QUESTO E’ NECESSARIO CONOSCERLA E
GOVERNARLA.

7. SIAMO TUTTI BUGIARDI
IN PARTICOLARE SIAMO BRAVISSIMI A
MENTIRE A NOI STESSI.
(BUGIA = CREDERE (E FAR CREDERE) IN QUALCOSA IN ASSENZA DI FORTE EVIDENZA.)

8. SIAMO TUTTI BUGIARDI
NEL MOMENT0 DI FORMULAZIONE DELLA NOSTRA
VISIONE, E DI TUTTE LE IPOTESI CHE ACCOMPAGNANO
LO SVILUPPO DEL NOSTRO PROGETTO, LE BUGIE SONO
NECESSARIE

9. SIAMO TUTTI BUGIARDI
… MA SONO NEGATIVE
QUANDO ARRIVANO A
CONFONDERCI, E CI
IMPEDISCONO DI
PROGREDIRE

10. GUT FEELING/ISTINTO
L’ISTINTO E’ ISPIRAZIONE E VISIONE
L’ISTINTO E’ IL VOSTRO SUPERPOTERE -
VI PERMETTE DI VEDERE COSE CHE GLI
ALTRI NON VEDONO

11. FATEVI ILLUMINARE DALL’ISTINTO,
MA NON APPOGGIATE IL VOSTRO PROGETTO
SULL’ISTINTO.
DOVETE METTERLO ALLA PROVA DEI FATTI,
TESTARLO
GUT FEELING / ISTINTO

12. L’ISTINTO VI DICE
QUALI ESPERIMENTI
FARE.
GUT FEELING / ISTINTO
I DATI SONO
I FATTI.

13. MISURA
“If you can’t
measure it, you can’
t manage it.” Peter Drucker

14. SCHIANTO
MOLTI IMPRENDITORI SI
SONO SCHIANTATI
CONTRO I FATTI, PIU’ DI
UNA VOLTA.

15. SCHIANTO
SE NON VI SIETE SCHIANTATI A
SUFFICIENZA COI FATTI,
PROBABILMENTE NON STATE
PROCEDENTO NEL MODO
GIUSTO.

16. SE NON VI SIETE SCHIANTATI A
SUFFICIENZA COI FATTI,
PROBABILMENTE SIETE VICINI
AD UNO SCHIANTO TROPPO
VIOLENTO DA SOPPORTARE, IN
CUI L’UNICA FORMA DI
SALVEZZA E’ LA RINUNCIA.
SCHIANTO

17. QUANDO SAI CHE LO
SCHIANTO CON LA REALTA’
STA PER ARRIVARE, MA
CONTINUI A MENTIRE A TE
STESSO, E LO DISCONOSCI.
FATTORE CASSANDRA

18. FATTORE CASSANDRA

19. CAMPO DI DISTORSIONE DELLA REALTA’
REALITY DISTORSION FIELD

20. charm + charisma + bravate + iperboli + marketing
+ calma conciliante + persistenza
RDF è in grado di distorcere il senso delle proporzioni dell’
audience e la percezione delle difficoltà, convincendo che
tutto è possibile.
REALITY DISTORSION FIELD
CAMPO DI DISTORSIONE DELLA REALTA’

21. L’RDF E’ IMPORTANTE.
OCCORRE SOLO RIUSCIRE A CREARVI
ALCUNI BUCHI, PER VEDERE LO SCHIANTO
PRIMA CHE ACCADA ED EVITARLO!
REALITY DISTORSION FIELD
CAMPO DI DISTORSIONE DELLA REALTA’

22. PER AFFIDARVI UN PO’ DI MENO AL VOSTRO RDF
E UN PO’ DI PIU’ SUI DATI, I FATTI, LE
EVIDENZE.
LEAN ANALYTICS

23. AIRBNB

24. AIRBNB

25. A CHE COSA SERVONO I TEST E I DATI
AIRBNB - ESEMPIO
CONCIERGE MVP
FOTOGRAFIE PROFESSIONALI
→ 3X PRENOTAZIONI
→ +LOYALITY DELL’HOST (ENTUSIASTI DI VEDERE LA LORO
VALORIZZATA DA FOTOGRAFI PROFESSIONISTI)

26. A CHE COSA SERVONO I TEST E I DATI
AIRBNB - ESEMPIO
EVOLUZIONE
> FOTOGRAFIE WATERMARKED
> SERVIZIO DI FOTOGRAFIA PROFESSIONALE
> AUMENTO DELLA QUALITA’ MEDIA DELLE FOTO
> MAGGIORE ATTENZIONE ALLA QUALITA’ DELLE FOTO
WATERMARK

27. A CHE COSA SERVONO I TEST E I DATI
AIRBNB - ESEMPIO
METRICA =
SHOOTS X MONTHS
perchè aveva gia’ provato con il suo concierge MVP che il numero di foto professionali era
connesso con il numero di prenotazioni.

28. AIRBNB - ESEMPIO
A CHE COSA SERVONO I TEST E I DATI

29. RIASSUNTO
1. ISTINTO: FOTO MIGLIORI >> MAGGIORI PRENOTAZIONI
2. TEST: CONCIERGE MVP (MINIMO SFORZO > MASSIMO
RISULTATO)
3. CONFRONTO CON LE METRICHE: FOTO >> 3X
PRENOTAZIONI
4. SVILUPPO DI UN SERVIZIO INTEGRATO DI FOTOGRAFIA
PROFESSIONALE PER SCALARE IL RISULTATO SU TUTTA
LA COMMUNITY
AIRBNB - ESEMPIO

30. APPRENDIMENTO
LA CRESCITA SPESSO E’
INNESCATA DA RAGIONI
IMPREVISTE

31. SE PENSI DI AVER INTUITO LA CHIAVE
DELLA CRESCITA > TESTALA
VELOCEMENTE, CON IL MINIMO
INVESTIMENTO
APPRENDIMENTO

32. ● DECIDI LE METRICHE DEL
SUCCESSO A PRIORI,
● RACCOGLI TUTTI GLI INSIGHT,
● CONFRONTATI CON LE METRICHE E
● STABILISCI COME PROCEDERE
APPRENDIMENTO

33. LEAN ANALYTICS
LEAN STARTUP + CONTABILITA’ DELL’INNOVAZIONE
= LEAN ANALYTICS

34. LEAN ANALYTICS
E’ UN PROCESSO
E’ UN APPROCCIO MENTALE

35. LEAN ANALYTICS
POSSEDERE UN APPROCCIO
MENTALE LEAN & ANALITICO
SIGNIFICA SAPERSI PORRE LE
DOMANDE GIUSTE E RIMANERE
FOCALIZZATI NELLA METRICA
FONDAMENTALE CHE
PRODURRA IL CAMBIAMENTO A
CUI ASPIRI.

36. LEAN ANALITICS
COME USARE I DATI PER
COSTRUIRE UNA MIGLIORE
STARTUP, PIU’ VELOCEMENTE

37. ANALISI COMPUTAZIONALE
SISTEMATICA DI DATI E
STATISTICHE
DEFINIZIONE
ANALYTICS

38. DEFINIZIONE
ANALYTICS
MONITORARE LE METRICHE
CRITICHE PER LA VITA E LA
CRESCITA DEL PROGETTO.

39. COME TENERE LE MISURE

40. DEFINIZIONE
METRICHE CRITICHE
LE METRICHE CRITICHE SONO
QUELLE CHE RIGUARDANO LE
COMPONENTI DEL MODELLO DI
BUSINESS
da dove vengono i soldi, quanto costa produrre, quanti clienti ci sono,
quanto efficaci sono le strategie di acquisizione clienti.

41. IN UNA STARTUP
METRICHE CRITICHE
NON E’ FACILE RICONOSCERLE,
PERCHE’
● IL MODELLO DI BUSINESS NON E’ ANCORA
DEFINITO
● CAMBIA SPESSO L’OGGETTO DELLA
MISURAZIONE
● IL PRODOTTO NON E’ ANCORA DEFINITO
● IL TARGET POTREBBE ESSERE ANCORA
INCERTO

42. RIFORMULANDO
LEAN ANALYTICS PER STARTUP
L’OBIETTIVO DELLA CONTABILITA’
DELL’INNOVAZIONE E’ VALIDARE
IL MODELLO DI BUSINESS PRIMA
DI FINIRE I SOLDI.

43. METRICHE BUONE
● COMPARATIVE
● COMPRENSIBILI
● RELATIVE (UN TASSO O UNA %)
● ACTIONABLE : DANNO INDICAZIONI
SU COME MODIFICARE IL PROPRIO
COMPORTAMENTO

44. METRICHE COMPARATIVE
CONVERSIONI DEL 2% 10% PIU’ CONVERSIONI
DELLA SETTIMANA
SCORSA

45. ESEMPIO: COHORT ANALYSIS
METRICHE COMPARATIVE

46. ESEMPIO: COHORT ANALYSIS
METRICHE COMPARATIVE
USER RETENTION

47. COMPRENSIBILI
SE SONO DIFFICILI DA RICORDARE,
● E’ DIFFICILE DISCUTERNE,
● QUINDI E’ ANCORA PIU’ DIFFICILE
DIFFICILE TRASFORMARE UNA
VARIAZIONE DI UN DATO IN UNA
VARIAZIONE DI COMPORTAMENTO O
CULTURA.
.

48. DANNO INDICAZIONI SU COME AGIRE
TASSO O PERCENTUALE
DISTANZA VELOCITA’
Puoi agire sulla velocità per percorrere più distanza nello stesso tempo, o per raggiungere
una distanza in un dato tempo.

49. SONO INTRINSICAMENTE COMPARATIVE
TASSO O PERCENTUALE
VELOCITA’ ISTANTANEA VELOCITA’ ISTANTANEA
VELOCITA’ MEDIA IN UN’
ORA
Come sta evolvendo il tuo
comportamento? Acceleri?
Rallenti? Ti stabilizzi?

50. PERMETTONO IL RAFFRONTO DI
GRANDEZZE INVERSAMENTE CORRELATE
TASSO O PERCENTUALE
DISTANZA DISTANZA
MULTE
A parita’ di tempo, ha senso
andare più veloce, e quindi più
lontano, comparato col costo
della multa?

51. ESEMPIO
Considerate una startup con una versione free e una versione a pagamento del suo
software.
La startup fronteggia una scelta: offrire molte funzionalità gratis per acquisire nuovi
utenti, oppure riservarle per i clienti paganti - in modo che spendano più soldi per
sbloccarle. Nel primo caso potrebbero ridurre le vendite, ma nel secondo caso
potrebbero rallentare l’acquisizione di nuovi utenti.
I founder non vorrebbero far crescere le vendite a scapito della crescita degli utenti.
Che metrica potrebbero usare?
ESERCIZIO

52. DANNO INDICAZIONI SU COME MODIFICARE IL PROPRIO COMPORTAMENTO
ACTIONABLE | PERSEGUIBILI
SE CAMBIA IL VALORE DELLA METRICA, COME POSSO RISPONDERE?
REPORTISTICA
FINANZIARIA
METRICHE SPERIMENTALI

53. UNA BUONA AMICA
UNA BUONA METRICA E’ LA
MIGLIORE AMICA PERCHE’ E’
ALLINEATA AI TUOI OBIETTIVI REALI
(LA SCEGLI TU) E TI AIUTA A
MANTENERTI LUCIDO NEL
VALUTARE AZIONI E OPPORTUNITA’.

54. METRICA FALSATA
“Riceverà a breve una chiamata dal
Customer Service della Skoda, le
chiederanno di valutare l’esperienza d’
aquisto su una scala da 1 a 5. Si ricordi
per favore di dare a tutte le domande
una valutazione di 5, le sarei molto
grato, è l’unico punteggio che interessa
alla Skoda. In cambio avrà diritto ad un
controllo omaggio…”

55. Per la Skoda questa è una metrica
falsata, perchè il veditore ha speso
più energia a chiedere una
valutazione positiva di quanta ne
abbia spesa a fornire un’esprienza d’
acquisto a 5 stelle.
METRICA FALSATA

56. METRICA FALSATA
SE MISURI QUALCOSA MALAMENTE, INVECE DI
INNESCARE UN CAMBIO DI COMPORTAMENTO:
● CAUSI PERDITE DI TEMPO
● TI ILLUDI CHE SIA TUTTO OK
● CONTINUI A MENTIRE A TE STESSO

57. ESEMPIO
VIAGGIANO A COPPIE
TASSO DI
CONVERSIONE
TEMPO D’
ACQUISTO
COEFFICIENTE
VIRALE
DURATA
DEL CICLO
VIRALE

58. NON TUTTE LE METRICHE SONO UGUALI
TIPI DI METRICHE
● QUALITATIVE VS QUANTITATIVE
● VANITY VS REALI
● ESPLORATIVE VS DESCRITTIVE
● ANTERIORI VS POSTERIORI
● CORRELATE VS CAUSALI

59. QUALITATIVE vs QUANTITATIVE
VALUTAZIONE MEDIA
● DATI PULITI
● ESTRAPOLABILI
● ORDINABILI
RISPONDONO AL “COSA E
COME”

60. SI RIFERISCONO A DATI
QUALITATIVE vs QUANTITATIVE
FEELING
● DISORDINATI
● SOGGETTIVI
● IMPRECISI
RISPONDONO AL “PERCHE’”

61. LE METRICHE QUALITATIVE SONO
QUALITATIVE
FEELING
● LE PIU’ UTILI NELLA FASE
INZIALE DI ESPLORAZIONE
● RICHIEDONO MOLTA
PREPARAZIONE PER ESSERE
RACCOLTE

62. VANITY
VANITY vs REALI
-# OF ACTIVE USERS
-# OF (UNIQUE) VISITORS
-# OF FOLLOWERS/LIKES
-#OF DOWNLOADS
-#PAGE VIEWS
-TIME OF SITE
-% OF ACTIVE USERS
-# OF USERS ACQUIRED IN
A TIME PERIOD
-CONVERSION RATE
REAL

63. ESEMPIO: METRICA REALE DI INTERESSE
% DI UTENTI ATTIVI
VANITY vs REALI

64. ESEMPIO: METRICA DI REALE ATTRAZIONE
#DI UTENTI ACQUISITI
NELL’UNITA’ DI TEMPO
Per valutare, per esempio, l’efficacia di diverse campagne di marketing.
VANITY vs REALI

65. ESPLORATIVE vs DESCRITTIVE
COSE CHE
sappiamo di sapere
di non sapere
di sapere
di non sapere
non sappiamo
Sono FATTI, che posono essere sbagliati e vanno confrontati coi dati
Sono DOMANDE che possono essere indirizzate e ricevere risposte
precise e descrittive
Dono INTUIZIONI, che dobbiamo trasformare in esperimenti
Sono il risultato inaspettato di ESPLORAZIONI, e ci mettono in una
posizione di unfair advantage.

66. CHE SAPPIAMO DI NON SAPERE - ESEMPIO
● QUANTE PERSONE SONO VENUTE
ALLA LEZIONE DI INSIGHT DI OGGI?
● SONO PIU’ PERSONE SOPRA O SOTTO I
35 ANNI?
DESCRITTIVE

67. CHE NON SAPPIAMO DI NON SAPERE
ESPLORATIVE
_LE SI TROVA SOLO SE SI ADOTTA L’
ATTEGGIAMENTO DI CHI ESPLORA
_VI CONFERISCONO UN UNFAIR
ADVANTAGE PERCHE’ SONO VISIBILI
SOLO AI VOSTRI OCCHI, IN QUEL
MOMENTO.

68. ESEMPIO
CIRCLE OF MOMS FRIENDS

69. COS’HA TROVATO CHE NON SAPEVA DI NON SAPERE
CIRCLE OF MOMS
● messaggi 50% più lunghi
● 115% più disponibili ad allegare foto
● 110% più disponibili ad intrattenere
lunghe conversazioni
● invitano amici che convertono con 50%
in più di probabilità

70. COS’HA TROVATO CHE NON SAPEVA DI NON SAPERE
CIRCLE OF MOMS
● 75% più disponibili a cliccare sulle
notifiche Facebook
● 180% più curiose rispetto alle news di
Facebook
● 60% più disponibili ad accetare un
invito all’app

71. 2008
CIRCLE OF MOMS
CUSTOMER SEGMENT
PIVOT!

72. CIRCLE OF MOMS

73. METRICHE ANTERIORI vs POSTERIORI
PRE-DICONO IL
FUTURO
es.
# prospects

74. RIFERISCONO
IL PASSATO
es. tasso di
abbandono
degli utenti
METRICHE ANTERIORI vs POSTERIORI

75. QUAL E’ PER UNA SOCIETA’
TELEFONICA LA METRICA
ANTERIORE PER PRE-DIRE IL TASSO
DI ABBANDONO DEI CLIENTI?
METRICHE ANTERIORI vs POSTERIORI

76. E QUELLA POSTERIORE?
METRICHE ANTERIORI vs POSTERIORI

77. ESEMPIO
#LEAD QUALIFICATI
+
TASSO MEDIO DI CONVERSIONE
+
LUNGHEZZA MEDIA DEL CICLO DI
VENDITA
LE METRICHE ANTERIORI VIAGGIANO IN GRUPPO

78. METRICHE CORRELATE vs CAUSALI
MENO INCIDENTI D’
INVERNO, QUANDO SI
METTONO I PNEUMATICI
INVERNALI
PIU’ INCIDENTI D’ESTATE?

79. METRICHE CORRELATE vs CAUSALI
NOT CONTROL CONTROL
VANITY
REAL
%UTENTI ATTIVI
TEMPO
#OF FOLLOWERS
TEMPO ADV CAMPAIGN
ADV CAMPAIGN
CONVERSION
RATE
#OF FOLLOWERS

80. METRICHE CORRELATE vs CAUSALI
ESPERIMENTO: ANALISI DI
SENSITIVITA’ DI UNA METRICA
RISPETTO AL VARIARE DI UN
SOLO FATTORE
...O ANALISI MULTIVARIATA

81. OBIETTIVI MOBILI E CICLI RETROATTIVI
AGGIORNARE
OBIETTIVI ED
ASSUNZIONI IN CORSO
D’OPERA E’ NORMALE,
DELICATO, DIFFICILE.

82. ESEMPIO
HIGH SCORE HOUSE
ACTIVE USER = UTENTE CHE
USA L’APP ALMENO 4 VOLTE
ALLA SETTIMANA

83. HIGH SCORE HOUSE

84. HIGH SCORE HOUSE

85. APPRENDIMENTO
1. CONOSCI IL TUO UTENTE
2. NON CI SONO SOSTITUTI DELLA CONOSCENZA DIRETTA, TUTTI I NUMERI DEL
MONDO NON POSSONO DIRTI PERCHE’ LE COSE ACCADONO
3. STABILISCI DEGLI OBIETTIVI EX-ANTE, SPERIMENTA VELOCEMENTE, MA NON
RIMANERCI INCHIODATO
4. CAMBIALI, SE NECESSARIO (NON PER MENTIRE A TE STESSO)
5. USA I DATI QUALITATIVI PER COMPRENDERE IL VALORE CHE STAI CREANDO
HIGH SCORE HOUSE

86. TEST ANALITICI
● SEGMENTAZIONE
● ANALISI DI COORTI
● A/B TEST

87. SEGMENTAZIONE

88. SEGMENTAZIONE

89. COHORT ANALYSIS | ANALISI DI COORTI
LONGITUDINAL STUDIES

90. FONDAMENTALE PER
GESTIRE I PROCESSI
SPERIMENTALI
ITERATIVI, I CUI CICLI SI
RIPETONO NEL TEMPO.
COHORT ANALYSIS | ANALISI DI COORTI

91. ESEMPIO: SHOP ON LINE
COHORT ANALYSIS | ANALISI DI COORTI

92. ESEMPIO: SHOP ON LINE
COME STANNO ANDANDO
LE COSE?
COHORT ANALYSIS | ANALISI DI COORTI

93. COHORT ANALYSIS | ANALISI DI COORTI
COORTI
JAN FEB MAR APRL MAY
SPESA MEDIA MENSILE

94. COHORT ANALYSIS | ANALISI DI COORTI
COORTI
JAN FEB MAR APRL MAY
SPESA MEDIA MENSILE
STA ANDANDO ALLA
GRANDE!!

95. LETTURA ALTERNATIVA: AGGREGAZIONE
SECONDO USER EXPERIENCE
COHORT ANALYSIS | ANALISI DI COORTI
STA ANDANDO ALLA
GRANDE… ANCHE SE I
RICAVI PRECIPITANO
DOPO IL PRIMO MESE,
REGOLARMENTE!

96. COHORT ANALYSIS | ANALISI DI COORTI
PERMETTE DI EVIDENZIARE ANDAMENTI
FONDAMENTALI CHE SEGUONO IL CICLO DI
VITA DEL CLIENTE

97. A/B TEST E TEST MULTIVARIATI
CROSS SECTIONAL STUDIES

98. A/B TEST

99. A/B TEST

100. A/B TEST

101. SEMBRANO SEMPLICI...
MA SPESSO SI HANNO PIU’ COSE DA
TESTARE CHE UTENTI!
sarebbe troppo dispendioso e lungo fare un test
alla volta.
A/B TEST

102. QUALE TRA I TANTI FATTORI IN FASE DI
TEST E’ CORRELATO CON LA METRICA
CHIAVE?
TEST MULTIVARIATI

103. A/B TEST
RICAPITOLANDO
TEST
LONGITUDINALI
COHORT ANALYSIS
analisi per coorti
CROSS SECTIONAL TEST
SEGMENTI ANALISI MULTIVARIATA
analisi di diversi
gruppi di persone in
base a demografia/
attitudinei
quando si misura la
matrica principale al
variare di un fattore
(es. colore, un testo,
etc)
quando si misura la
matrica principale al
variare di molti fattori,
alla ricerca della
correlazione più alta