Entre la gigantesque masse de données disponibles autour de nous et l'extraordinaire puissance des algorithmes permettant de les manipuler, il devient facile de croire qu'une approche analytique suffit désormais à prendre objectivement des décisions optimales. Dans un billet de blog, Niels Hoven nous rappelle utilement que la prudence est de mise.
Dans le domaine du design, qu'il pratique dans son activité de directeur de produit (successivement pour PocketGems, Playdom, Tableau…), l'auteur observe les dérives de la croyance en la toute-puissance de la donnée. En effet, combien de projets sont bâtis aujourd'hui en suivant plus ou moins aveuglément l'évolution de quelques indicateurs clés au fil des développements, sans se poser au préalable les questions essentielles sur leur pertinence et la réalité profonde de ce qu'ils représentent…
Les exemples abondent, depuis le moteur de recherche qui vise à augmenter le nombre de requêtes de ses utilisateurs et pourrait être tenté, pour y parvenir, de fournir des résultats médiocres jusqu'à la plate-forme en ligne qui multiplie les incitations agressives à souscrire un abonnement payant, avec pour effet d'augmenter ses revenus… jusqu'à ce que les visiteurs se lassent des interruptions intempestives, en passant par les tutoriels dont le contenu est appauvri afin de garantir qu'ils sont parcourus jusqu'à leur terme.
Le défaut dans tous ces cas est le biais introduit automatiquement par le choix du critère d'évaluation de la valeur délivrée au client. Si on n'y prend pas garde et si on se concentre exclusivement sur cette référence, on perd de vue qu'un changement dans un produit, même minime, a des répercussions potentiellement complexes sur l'ensemble de l'expérience de l'utilisateur. Que le taux de transformation en abonnés payants ait crû n'aura plus beaucoup d'importance quand les internautes auront déserté le site.
Il ne s'agit pas ici de dénigrer l'intérêt de disposer de données extensives et d'instruments de mesure performants pour quantifier la qualité perçue. En revanche, la clé est de ne pas considérer les résultats qu'ils fournissent comme une fin en soi mais bien comme des informations aidant à comprendre les comportements des clients, qu'il faut ensuite impérativement replacer dans un contexte global. Ce ne sont que des outils destinés à alimenter les réflexions et les analyses, en aucun cas à s'y substituer !
Le danger est plus insidieux qu'il n'y paraît. Les designers qui abandonnent tout recours à leur intuition et préfèrent réaliser des tests A/B systématiques (consistant à tester simultanément deux versions distinctes d'un produit pour sélectionner celui qui obtient la meilleure réponse des utilisateurs) prennent non seulement le risque d'oublier la finalité de leur travail mais mettent aussi en danger la cohérence de leur démarche, en multipliant des expérimentations désordonnées dans une vaine chasse aux indicateurs.
Bien au-delà du design, à l'ère de l'intelligence artificielle omniprésente (et généralement surestimée), la leçon que nous donne Niels Hoven peut s'appliquer à d'autres usages des données. Même si les technologies actuelles semblent capables de prouesses spectaculaires, elles ne remplacent pas (encore ?) les cerveaux humains, qui restent indispensables pour prendre du recul et aborder un problème dans son ensemble.
Dans le domaine du design, qu'il pratique dans son activité de directeur de produit (successivement pour PocketGems, Playdom, Tableau…), l'auteur observe les dérives de la croyance en la toute-puissance de la donnée. En effet, combien de projets sont bâtis aujourd'hui en suivant plus ou moins aveuglément l'évolution de quelques indicateurs clés au fil des développements, sans se poser au préalable les questions essentielles sur leur pertinence et la réalité profonde de ce qu'ils représentent…
Les exemples abondent, depuis le moteur de recherche qui vise à augmenter le nombre de requêtes de ses utilisateurs et pourrait être tenté, pour y parvenir, de fournir des résultats médiocres jusqu'à la plate-forme en ligne qui multiplie les incitations agressives à souscrire un abonnement payant, avec pour effet d'augmenter ses revenus… jusqu'à ce que les visiteurs se lassent des interruptions intempestives, en passant par les tutoriels dont le contenu est appauvri afin de garantir qu'ils sont parcourus jusqu'à leur terme.
Le défaut dans tous ces cas est le biais introduit automatiquement par le choix du critère d'évaluation de la valeur délivrée au client. Si on n'y prend pas garde et si on se concentre exclusivement sur cette référence, on perd de vue qu'un changement dans un produit, même minime, a des répercussions potentiellement complexes sur l'ensemble de l'expérience de l'utilisateur. Que le taux de transformation en abonnés payants ait crû n'aura plus beaucoup d'importance quand les internautes auront déserté le site.
Il ne s'agit pas ici de dénigrer l'intérêt de disposer de données extensives et d'instruments de mesure performants pour quantifier la qualité perçue. En revanche, la clé est de ne pas considérer les résultats qu'ils fournissent comme une fin en soi mais bien comme des informations aidant à comprendre les comportements des clients, qu'il faut ensuite impérativement replacer dans un contexte global. Ce ne sont que des outils destinés à alimenter les réflexions et les analyses, en aucun cas à s'y substituer !
Le danger est plus insidieux qu'il n'y paraît. Les designers qui abandonnent tout recours à leur intuition et préfèrent réaliser des tests A/B systématiques (consistant à tester simultanément deux versions distinctes d'un produit pour sélectionner celui qui obtient la meilleure réponse des utilisateurs) prennent non seulement le risque d'oublier la finalité de leur travail mais mettent aussi en danger la cohérence de leur démarche, en multipliant des expérimentations désordonnées dans une vaine chasse aux indicateurs.
Bien au-delà du design, à l'ère de l'intelligence artificielle omniprésente (et généralement surestimée), la leçon que nous donne Niels Hoven peut s'appliquer à d'autres usages des données. Même si les technologies actuelles semblent capables de prouesses spectaculaires, elles ne remplacent pas (encore ?) les cerveaux humains, qui restent indispensables pour prendre du recul et aborder un problème dans son ensemble.
Aucun commentaire:
Enregistrer un commentaire
Afin de lutter contre le spam, les commentaires ne sont ouverts qu'aux personnes identifiées et sont soumis à modération (je suis sincèrement désolé pour le désagrément causé…)