Comment l'obsession client de Netflix a créé une obsession client

Note de Nir: Cet article est écrit par Gibson Biddle, ancien vice-président de Netflix et CPO de Chegg. Gibson prend la parole lors du Habit Summit à San Francisco le 11 avril.

En 2005, alors que je rejoignais Netflix en tant que vice-président des produits, j'ai demandé à Reed Hastings, le directeur général, ce qu'il espérait de son héritage. Sa réponse: «Science du consommateur». Il explique: «Les dirigeants tels que Steve Jobs ont un sens du style et ce que les clients recherchent, mais je ne le fais pas. Nous avons besoin de la science de la consommation pour y arriver. "

L’aspiration de Reed était que l’équipe Netflix découvre ce qui enthousiasme les clients grâce au processus scientifique: création d’hypothèses à partir de données existantes, études qualitatives et enquêtes, puis test de ces idées par A / B pour voir ce qui fonctionne. Sa vision était que les leaders produits de Netflix développeraient une connaissance remarquable du consommateur, alimentée par les résultats et tirant des enseignements de milliers d'expériences.

Au cours de mon séjour chez Netflix, et plus tard lors de mon prochain démarrage, Chegg, j’ai appris à passer de la focalisation sur le client à l’obsession du client et à adopter la notion de Reed de la science de la consommation. Voici comment je pense à la transition:

Au fil des ans, mon objectif est passé de «Que disent les clients?» À la mentalité «Faisons le test!» De la science de la consommation. Les connaissances des consommateurs de mon équipe se sont améliorées, l’apprentissage s’est accéléré et nous avons développé des hypothèses plus solides sur ce qui ravirait les clients.

Voici les techniques de recherche que nous avons utilisées et comment elles ont contribué à la fois à la science de la consommation et à l'obsession des clients:

  • Nous avons utilisé les données existantes pour comprendre le comportement passé et actuel.
  • Nous avons organisé des réunions qualitatives - groupes de discussion, rencontres individuelles, convivialité - pour connaître la façon dont les gens pensent et réagissent à notre travail.
  • Nous avons réalisé des enquêtes pour déterminer qui était le client et comment y penser - par données démographiques, par utilisation de produits concurrents, par préférences de divertissement, etc.
  • Ensuite, nous avons testé les hypothèses formées via les entrées ci-dessus pour voir ce qui fonctionnait.

Pour moi, l’obsession des clients signifie une préoccupation saine pour les besoins imprévus et futurs de leurs clients grâce à un ensemble de techniques de recherche qui placent le client au centre de tout ce que vous faites, afin que vous commenciez à voir le produit à travers ses yeux. J'ai découvert que la science de la consommation - la méthode scientifique consistant à formuler des hypothèses, puis à les tester - est le meilleur moyen de créer une culture de l'obsession des clients et de découvrir ce qui ravit les clients de manière à ce qu'il soit difficile de les copier ou d'accroître les marges.

Mon introduction à l’approche axée sur les données de Netflix a commencé par une réunion du personnel électronique le lundi matin, au cours de laquelle nous avons examiné les «métriques relatives au personnel électronique». Quinze dirigeants se sont assis dans la salle, parcourant les données et posant des questions. Les mesures mesuraient la rétention, les revenus et les coûts, mais le comportement des clients était tout aussi important. Nous avons gardé un œil attentif sur les métriques et avons recherché des changements inexpliqués.

Au printemps 2005, les statistiques indiquaient une augmentation soudaine du taux d'annulation mensuel. Les équipes se sont mobilisées pour découvrir la raison. Voici un fac-similé simplifié des données:

Notez la ligne rouge qui remonte après juin - une augmentation surprise du taux d’annulation en juin 2005.

La hausse des annulations a motivé une recherche rapide pour découvrir ce qui était arrivé. Était-ce une erreur de données? Avions-nous mis en place un changement de site avec des conséquences inattendues?

Après avoir fouillé les données, l’hypothèse de départ était que les membres annulés à l’approche de l’été: ils voulaient passer plus de temps à l’extérieur. Mais pourquoi n’avons-nous pas vu cette augmentation dans le passé? Le temps était-il meilleur cette année? (Non) At-on atteint un plateau de taux d'annulation? (Peu probable.) Je me souviens d’être impressionné par le nombre croissant d’analystes que nous avons critiqués contre le problème - la curiosité intellectuelle de l’équipe était insatiable.

Nous avons résolu le mystère le mois prochain. Avec le recul, cela semble simple, mais dans le «brouillard de la guerre», il a fallu un certain temps pour que la question soit mise au point. À la fin du printemps, au cours des quatre dernières années, nous avions réduit les prix. Cela masquait une augmentation annuelle du taux d'annulation en raison des conditions météorologiques estivales. 2005 était la première année où nous n'avions pas baissé nos prix à l'approche de l'été.

Cette exploration des taux d'annulation a permis de former une nouvelle hypothèse sur la manière d'améliorer la rétention. En examinant les données régionales, nous avons constaté une amélioration étonnamment rapide des taux d’annulation à Hawaii. Ci-dessous, je reproduis vaguement les données pour Hawaii, San Jose et Boise:

Le taux d'annulation à Hawaii baisse rapidement - pourquoi?

Le taux d’annulation le plus bas (San Jose) était logique puisque nous y avions lancé le service en premier. Boise s’était lancé quelques années plus tard et son taux d’annulation se rapprochait lentement du taux de San Jose. La surprise a été le taux d'amélioration à Hawaii. Pourquoi est-il passé de 8% à moins de 6% en moins de deux mois?

La réponse était simple. Lorsque nous avons offert le service pour la première fois à Hawaii, nous avons expédié des disques à partir de notre hub de Los Angeles. Les DVD ont pris trois jours pour arriver. En août, toutefois, nous avons lancé un nouveau centre de traitement des DVD par courrier à Honolulu. La vitesse de livraison du disque est passée de trois jours à une nuit et a entraîné une réduction des taux d'annulation.

Nous avons formulé une nouvelle hypothèse: «Augmenter la vitesse d’expédition de DVD améliorera la rétention.» Nous avons également ajouté une nouvelle métrique à la métrique d’e-staff: «Le pourcentage de DVD livrés le lendemain.» Au cours des prochaines années, notre L’équipe des opérations a étendu notre système automatisé de distribution de DVD de vingt concentrateurs à l’équivalent de cent. Nous avons également lié notre système d’inventaire au système de marchandisage du site Web et affiché uniquement les titres sur le site d’un membre si le DVD était disponible pour expédition le lendemain à partir du hub local de ce membre.

Le pourcentage de DVD livrés le lendemain a atteint 95%, le nombre total de concentrateurs étant passé à 100.

Les données d'Hawaï nous ont conduits à la joie à travers le pays grâce à une livraison plus rapide de DVD. Mieux encore, l’expansion des centres d’opérations automatisés dans l’ensemble du pays a permis d’améliorer les marges et le système de livraison était extrêmement difficile à copier pour Blockbuster. La rapidité avec laquelle les DVD sont livrés a réussi à séduire les clients par des moyens difficiles à copier et à améliorer les marges.

Recherche qualitative: groupes de discussion, rencontres individuelles et convivialité

Ma première année à Netflix a présenté un autre défi. Reed était un fervent défenseur de l'hypothèse selon laquelle des outils uniques de recherche de films amélioreraient la conservation des données en aidant les clients à trouver les films qu'ils aiment. Ces outils amélioreraient également la marge en commercialisant les titres avec des droits de licence moins élevés.

Dans un prototype de prévisualisations, les membres sont arrivés sur leur page d'accueil et les prévisualisations de vidéos étaient automatiquement lues. Dans un autre, il y avait un gros bouton de lecture sur la page d'affichage du film sur lequel les membres ont cliqué pour démarrer un aperçu.

Exemple d'une des cellules de test pour le test de prévisualisation

Nous avons exploré différents prototypes dans des groupes de discussion, mais les clients étaient prudents. Ils ont indiqué que la principale raison pour laquelle ils regardaient les avant-premières était parce qu'ils étaient au théâtre tôt pour avoir une bonne place - ils étaient un public captif. D'autres clients ont estimé que les aperçus révélaient trop d'informations sur le film.

Reed et moi avons parlé de ces problèmes, mais il ne voulait pas prendre de décision fondée sur des considérations qualitatives. Les groupes de discussion étaient composés d'un petit auditoire qui n'était probablement pas représentatif de notre auditoire national.

Nous avons exécuté le test A / B et les «aperçus» n’ont pas amélioré la métrique de rétention, de marge ou d’autre proxy. J’étais heureux, cependant, j’ai fait le qualitatif car j’ai compris la raison de l’échec du test - les clients ont estimé que les aperçus étaient un mal nécessaire. Et lorsque des membres de l'équipe ont craint que le test ait échoué en raison d'une mauvaise exécution, j'ai signalé que la convivialité était excellente, sur la base de nombreuses sessions utilisateur individuelles.

Un domaine dans lequel j'ai trouvé que qualitatif était particulièrement utile concernait l'optimisation de notre page de non-membre, la «porte d'entrée» de notre site. Pendant des années, Netflix a exploré diverses approches - modifications de l’aspect visuel, du langage et de la conception interactive - pour inciter les clients à commencer un essai gratuit. Chaque mois, nous organisions des groupes de discussion, des activités conviviales et des rencontres individuelles dans tout le pays.

Le site non membre de Netflix (2006)

Les groupes de discussion nous ont aidés à atténuer notre «malédiction du savoir». J'entends par là que nous connaissions si bien notre produit qu'il nous était difficile de penser comme des clients normaux. Par exemple, nous nous sommes grattés la tête en réfléchissant à la manière de baisser les prix de 22 à 15 dollars par mois. L'idée: contrairement aux «cinéphiles» de Netflix, les clients n'avaient besoin que d'un ou deux DVD parmi lesquels choisir lorsqu'ils se sont assis pour regarder un film. Ainsi, les plans à un et deux disques à la fois à 9 $ et 15 $ ont été testés, réussis et diffusés à tous.

Il y avait aussi des nuances autour du langage et des éléments visuels que nous ne pouvions évaluer que via qualitatif. Quelques exemples:

  • Dans les premières années, le moyen le plus efficace de nous positionner contre Blockbuster consistait à utiliser l'expression «Pas de frais de retard».
  • La «famille heureuse sur un canapé» a communiqué des avantages émotionnels convaincants.
  • Au début de la diffusion numérique, le mot «streaming» n'existait pas et il était mal compris par «rationaliser» - une mauvaise chose. Nous avons utilisé l'expression «Watch Instantly» pour décrire notre service naissant jusqu'à ce que «streaming» soit largement compris.

Toutes ces informations ont été formées de manière qualitative, puis testées et confirmées dans des tests A / B.

Nous avons appris à organiser des groupes de discussion dans tout le pays et, en tant qu'équipe, nous avons écouté attentivement, appris de nos clients et avons lentement abandonné notre «fantasme» de la Silicon Valley. Le résultat a été une équipe produit dotée d'une «voix du client» beaucoup plus forte. dans leurs têtes.

Données de l'Enquête

Quand j'ai rejoint Netflix, je me méfiais des enquêtes. J'ai reconnu que ce que les clients disent est souvent différent de leur comportement. Néanmoins, trois types d’enquêtes ont été utiles à Netflix:

  • Enquête démographique. C’est bien de savoir qui sont vos clients - nous avons souvent été surpris.
  • Annuler le sondage. Lorsque les clients ont annulé leur réservation, nous leur avons demandé pourquoi ils étaient partis. Cela nous a donné une ligne de tendance - si un problème s'intensifiait avec le temps, nous le réglerions rapidement.
  • Échantillon de données. Au fur et à mesure de l'augmentation de notre clientèle, nous avons eu recours à des sondages pour évaluer la qualité des attributs clés tels que la vitesse de livraison des DVD et la qualité de la lecture en continu. Nous avons recruté nos membres comme testeurs, ce qui nous a permis de publier les fonctionnalités plus rapidement, puis nous avons réagi rapidement si des problèmes se posaient.
  • Score de promoteur net. Il s’agit d’un indicateur indirect de la qualité générale du produit. Netflix disposait de données beaucoup plus significatives sur la conservation, mais j’ai trouvé que c’était un indicateur raisonnable pour la qualité du produit et sa facilité d’exécution. En travaillant avec d’autres sociétés, j’espère que si le score NPS est supérieur à 50, et je suis enthousiasmé par son ascension dans les années 70. (Dans le passé, Netflix avait un NPS proche de 80.)
Une estimation raisonnable du Net Promoter Score actuel pour Netflix.

Pour les startups qui ne disposent pas des ressources ou de l’échelle pour exécuter des tests A / B, ainsi que pour les entreprises à croissance rapide qui ont besoin de moyens évolutifs pour rester en contact avec leurs clients, les enquêtes sont un élément utile du mix des études de consommation.

Chez Netflix, les bonnes idées venaient de partout - via les données existantes, les données qualitatives, les enquêtes et les résultats de tests A / B antérieurs. Mais les tests A / B étaient la seule technique que nous utilisions pour voir si nous pouvions changer le comportement des clients et pour mesurer l’équilibre plaisir / marge.

Cet équilibre a été présenté aux résultats d'un «test parfait de nouvelle version». Lorsque j'ai rejoint Netflix, la principale requête des membres était de «rendre les nouvelles versions plus rapides et plus faciles». En réponse, Netflix a créé une cellule de test où les membres ont reçu de nouvelles versions le lendemain de leur ajout en tête de liste. Les membres de la cellule de contrôle devaient attendre des jours ou des semaines pour obtenir un nouveau DVD de publication.

Le résultat du test: une très légère amélioration de la rétention, mais le coût différentiel du service amélioré était élevé, nécessitant des millions de dollars pour acheter un stock coûteux de nouvelles versions. Dans ce cas, l’amélioration du coût du service dépassait de loin les avantages du plaisir. En d’autres termes, les clients n’accordent pas suffisamment d’importance à l’amélioration pour justifier un investissement plus important dans les stocks.

Nous avions une formule qui permettait de définir cet équilibre. Nous étions disposés à dépenser jusqu'à 200 USD pour chaque «client enregistré», soit deux fois la valeur cumulative d'un client. Le double facteur de «bouche à oreille» était notre façon d’encourager les chefs de produit à doubler de plaisir. La raison en était que non seulement une amélioration inciterait un client à rester, mais que ce client ravirait le service, amenant gratuitement un autre client au service.

Bon nombre des résultats des tests A / B n'étaient pas intuitifs. En construisant le site et l'expérience télévisée, nous avons constaté à maintes reprises que de simples avantages étaient complets. Mais il y avait une exception notable: notre site non-membre. Tous les six mois, A / B testait une expérience de non-membre plus simple, mais le contrôle plus complexe continuait de gagner. Notre théorie: les messages de valeur forte améliorent la conversion, et un moyen de communiquer de la valeur consiste à mettre beaucoup de «choses» sur la page.

Le site Netflix en 2010. Toujours pas simple - plus de «choses» communiquent plus de valeur.

Enfin, en 2013, la simple page non membre a gagné. À ce moment-là, la marque Netflix avait gagné en importance et communiquait seule la valeur du service. Aujourd'hui, vous voyez un site non membre sensiblement plus simple:

Le site non membre Netflix actuel est très simple. Cela a pris 15 ans, mais la marque communique désormais une valeur substantielle.

Autre constat récent concernant les tests A / B: au cours de la dernière année, Netflix est passé d’un système de notation à cinq étoiles à un système de notation plus simple, «pouce en l'air, pouce en bas». Bien que les membres se soient plaints du changement, le nouveau système a doublé le nombre de notations.

Netflix a testé les pouces contre les étoiles. Les pouces ont doublé le nombre de notes.

Un autre aperçu des consommateurs se cache dans ce résultat. Si vous examinez attentivement la page d’affichage d’un film, il n’ya pas d’étoile, mais plutôt une indication de la probabilité que vous appréciiez un film - la «correspondance en pourcentage».

Examinez attentivement le «98% match» pour Casino: il n’ya plus d’étoile pour chaque film.

Examinez attentivement le «98% match» pour Casino: il n’ya plus d’étoile pour chaque film.

Ce résultat, que Netflix a appris par le biais d’une combinaison de données existantes, de tests qualitatifs et de tests A / B, a suscité de nombreuses observations de la part des consommateurs.

  • L'hypothèse de départ était que plus les membres de films de haute qualité regardés (mesurés par le nombre moyen d'étoiles élevé) seraient bons, plus ils resteraient. Cette notion était cohérente avec ce que les clients disaient en qualitatif. Malheureusement, les données ne l'ont pas prouvé. Au fil du temps, les notes moyennes plus élevées des membres n’ont pas entraîné de rétention plus élevée.
  • Netflix a reconnu que, même si vous pouvez évaluer le fait de laisser votre cerveau «à la porte», la comédie Adam Sandler ne comporte que trois étoiles, mais que vous aimez regarder. Et même si vous aimez regarder «Liste de Schindler» et lui attribuer cinq étoiles, cela n’augmentera pas votre plaisir général. (Le film est un peu déprimant.)

Grâce à une combinaison d’analyses de données existantes, de ce que les clients disent dans les résultats de tests qualitatifs et A / B, Netflix est passé des étoiles aux pouces, avec un pourcentage de probabilité de «correspondance» avec un film, quelle que soit sa qualité.

Ce décalage de dix ans, allant du nombre d'étoiles au «pourcentage de correspondance», illustre la clé de la création d'une culture obsédée par le client: la dédicace à la méthode expérimentale, utilisant un mélange des quatre techniques de recherche. Et, à l'instar d'une livraison de DVD plus rapide, la technologie de personnalisation de Netflix touche le «trifecta». Elle enchante les clients avec des choix de films fantastiques, est très difficile à copier (Netflix comprend les goûts des membres de 120 millions de membres dans le monde entier) et améliore leur marge (en commercialisant des films cela coûte moins cher).

Pourquoi utiliser les quatre techniques de recherche? Chaque tactique a ses angles morts. Par exemple, les données existantes décrivent ce qui se passe aujourd’hui, mais pas à l’avenir. Et les clients «mentent» à la fois dans les sondages qualitatifs et les sondages («Je ne regarderais jamais Adam Sandler !,» et il y a beaucoup de choses que le test A / B ne permet pas de tester. (Pensez à la tentative infructueuse de Netflix de cesser ses activités de DVD. via “Qwikster” - ce n'était pas testable.)

Ci-dessous, j'ai fait de mon mieux pour souligner les forces et les faiblesses de chaque approche. (Le vert est bon, le rouge est mauvais):

Résumé des forces (vert) et des faiblesses (rouge) de chaque technique de recherche.

En tant que «scientifique du consommateur», vous disposez d’un éventail de techniques de recherche. La formation, la mise à l’essai et l’analyse de chaque hypothèse nécessitent un mélange de techniques.

Pour créer une culture obsédée par le client, il est essentiel de s’intégrer à la science de la consommation et de participer à des tests de cadence élevée afin d’apprendre rapidement, à la fois comme succès

Voici ma liste de contrôle pour votre organisation:

  • Votre entreprise dispose-t-elle d'un ensemble bien développé de «métriques de personnel électronique» qui vous aident à formuler des hypothèses, mais informe également votre équipe sur l'équilibre entre plaisir et marge?
  • Avez-vous des sondages indiquant les données démographiques de vos clients, pourquoi ils partent, ainsi qu’un Net Promoter Score? Avez-vous la possibilité de collecter des «échantillons de données» auprès des clients afin de créer une ligne de tendance et d’identifier rapidement les erreurs?
  • Avez-vous des groupes de discussion, des rencontres individuelles et des sessions de convivialité avec les clients? Votre équipe rencontre-t-elle et discute-t-elle avec les clients pour développer la «voix du client» au sein de votre organisation?
  • Avez-vous une capacité de test A / B qui vous permet de mesurer le compromis entre plaisir et marge et de développer l’intuition de votre équipe afin de formuler des hypothèses plus solides à l’avenir?
  • Sur la base des connaissances et des connaissances des consommateurs, avez-vous une stratégie produit qui définit vos hypothèses quant à ce que vous espérez accomplir remplira comme un rêve: ravir les clients de manière simple à améliorer les marges?

Une autre exigence: la patience. La plupart des entreprises sont nulles au début et devenir une grande entreprise prend environ vingt ans. Jeff Bezos, le PDG d'Amazon, résume bien leur approche:

Note de Nir: Cet article est écrit par Gibson Biddle, ancien vice-président de Netflix et CPO de Chegg. Gibson prend la parole lors du Habit Summit à San Francisco le 11 avril.

Dans le cadre de la "science du consommateur" de Gib pour ses propres écrits, il aimerait vos commentaires:

Cliquez ici pour un sondage d'une minute sur le score net du promoteur

Et si vous souhaitez lire davantage d’essais de Gib:

  • Comment organiser une réunion trimestrielle sur la stratégie produit
  • Branding pour les constructeurs
  • Piratage de votre carrière de gestion de produit

Publié à l’origine sur www.nirandfar.com le 4 avril 2018.