Big data : des données pas si transparentes

Par Olivier Sibony.

Dans un article précédent, je soulevais le problème des “big data” que nous ne savons pas toujours interpréter. Mais bien sûr, il y a des spécialistes pour ça, répondra-t-on.

Or, en est-on si sûr ? Comment le savoir sans “soulever le capot” pour voir ce que leurs modèles ont dans le ventre ? Et c’est là qu’intervient un autre problème : plus les données sont diverses, complexes et changeantes, et moins elles sont transparentes…

Un exemple : Google Flu Trends, qui utilisait les recherches Google pour prédire, bien avant les autorités, le pic épidémique de la grippe. Avec succès… jusqu’au moment où le modèle a commencé à donner des résultats complètement faux.

Comme on ne comprenait pas très bien comment il marchait, difficile de savoir pourquoi il ne marchait plus. L’algorithme devient une “boîte noire”, magique mais impénétrable.

L’algorithme du big data devient une boîte noire

Ce problème de la “boîte noire” est très préoccupant dans beaucoup d’applications managériales. Prenons un exemple qui rencontre un succès croissant : les modèles analytiques prédictifs utilisés pour le recrutement. La promesse est bien résumée par le fondateur d’une des nombreuses entreprises actives sur ce marché : “Nous pouvons prédire bien plus exactement le succès réel des candidats une fois en poste. Ce n’est pas de la magie (…), c’est du ‘big data analytics’.”

Bien sûr, en général, l’intention est louable : on sait depuis longtemps que les entretiens d’embauche traditionnels sont une méthode non seulement coûteuse, mais aussi inefficace, pour déterminer le succès futur d’un candidat. Si l’on peut décharger les équipes RH d’un travail fastidieux ; voire rendre plus « anonyme » le tri des CV afin de lutter contre la discrimination, même inconsciente, pourquoi s’en priver ?

Seulement voilà : puisque, justement, “ce n’est pas de la magie”, tout ce que le “big data” peut faire, c’est tenter d’identifier les caractéristiques de recrues qui ont “réussi” dans le passé, et en faire des critères de recrutement de facto. Mais on oublie un peu vite qu’un algorithme qui se fonde sur le passé (et sur quoi d’autre se fonderait-il ?) reproduit dans ses décisions les erreurs aléatoires et les biais systématiques des humains qui ont pris les décisions passées.

Pour paraphraser un exemple cité par Cathy O’Neill dans son livre Weapons of Math Destruction, supposons par exemple qu’une entreprise de technologie analyse ses recrutements passés et constate que les femmes ne sont que rarement promues. A l’évidence, elle devrait se demander pourquoi, et non en tirer la conclusion qu’il ne faut recruter que des hommes… Or c’est bien ce qu’un algorithme risque, pourtant, de proposer, en analysant “objectivement” les données passées.

On rétorquera, bien sûr, que l’exemple est trop simple, et qu’on peut paramétrer les algorithmes non seulement pour éviter ce type de discrimination, mais pour lutter contre elles. En effet : car nous parlons ici d’une discrimination qui saute aux yeux.

Mais qu’en serait-il si elle ne sautait pas aux yeux ? Par exemple, si vous étiez en train d’exclure, sans le savoir, les hommes de plus de 50 ans ? Les personnes qui ont fait des études littéraires ? Les personnalités introverties ? Auriez-vous l’idée d’aller vérifier l’output du modèle pour savoir s’il est « discriminatoire » ? Sans doute pas. Pourtant, qu’on considère le sujet sous l’angle éthique ou sous celui de l’efficacité, ces discriminations ne sont pas plus acceptables.

La fausse neutralité du big data

Le problème est d’autant plus sérieux que l’utilisation du big data crée une impression de « neutralité » qui nous donne une parfaite bonne conscience. Comment pourrait-on m’accuser de discrimination, alors que je me contente de prendre en compte des critères objectifs ? En utilisant une machine « aveugle », ne suis-je pas, justement, en train de mettre en place un solide garde-fou contre la subjectivité humaine et tous les biais qui l’accompagnent ?

En théorie, ce pourrait bien sûr être le cas… mais encore faudrait-il que les données soient bien « objectives ». Et qu’est-ce qu’une donnée objective ? Par exemple, les modèles prédictifs utilisés par la justice américaine pour décider des libérations sur parole n’utilisent pas la couleur de la peau : ce serait discriminatoire et illégal ! Mais ils ne se privent pas de prendre en compte le code postal de résidence, le fait d’avoir eu des délinquants parmi ses proches voisins, et d’autres critères qui, pris ensemble, prédisent très précisément l’appartenance ethnique du prévenu… et perpétuent ainsi des discriminations antérieures, tout en se donnant l’apparence de la neutralité.

Même en laissant de côté les sérieux problèmes éthiques que nous évoquons ici, le risque d’une utilisation mal comprise des données, c’est tout simplement de prendre de très mauvaises décisions !

Mal comprendre les données, c’est prendre de mauvaises décisions

Reprenons notre exemple des modèles prédictifs de recrutement, et supposons que vous recrutiez des opérateurs de call center. Le turnover très élevé de ces opérateurs vous coûte cher, en formation et en recrutement. Vous demanderez donc au modèle de prédire quels candidats sont susceptibles de rester le plus longtemps, en vous fondant sur les caractéristiques des employés qui sont, justement, restés longtemps. Mais qui vous dit que ceux-ci ne sont pas justement les employés les plus médiocres, ceux dont aucun autre employeur ne veut ? Et si c’est le cas, souhaitez-vous vraiment ne recruter que ce type de personne ? Ou devriez-vous plutôt vous demander comment rendre le poste plus attractif ?

Alors, faut-il renoncer à tous ces outils analytiques ? S’en remettre aux recettes éprouvées et à sa bonne vieille intuition ? Continuer à recruter les candidats qui nous ressemblent ; et à reconduire sans réflexion les budgets qui ont donné de bons résultats ?

Non, bien sûr… comme nous le verrons prochainement dans un autre article.

—

Sur le web