Qualité de données : un défi pour l'entreprise

Le Master Data Management (MDM) et la qualité des données de l'entreprise :
synergies digitales et collaboratives

Une introduction aux enjeux de la qualité de données proposée la semaine dernière au CNAM lors de la demi-journée organisée par l'INTD sur le thème : La data en perspective

Redéfinir le risque client

L'étude Big Data, Big Failure de Morar Research, réalisée pour Pure Storage, évalue  en millions d'euros les pertes liées à une mauvaise gouvernance de l'information. Problèmes de disponibilité et d'accès aux données, manque de compétences et silotage des sources de données sont désignés comme les principaux maux dont souffrent les entreprises européennes qui ont bien voulu se prêter à l'exercice. Un trouble identifié de longue date comme étant le coût de la non qualité.

Un enjeu de la digitalisation est que, pour réduire cette fracture numérique interne à l'entreprise, il faut développer une culture de la donnée qui aille a l'encontre de la manière dont les grandes entreprises se sont historiquement constituées : opérer une transition vers le "crowdata" (SLA, plate-formes d'échange de données, data lakes, etc.) contredit les formats natifs de modèles opérationnels très répandus au sein desquels l'intégration des processus métiers est généralement assez faible, en tout cas trop faible pour faire face aux nouveaux enjeux client.

La rapidité et la pertinence du service offert en réponse à la demande client est effectivement une cause de différentiation majeure : si le service proposé est inapproprié, ou trop lent, le prospect a déjà opté pour une autre proposition lorsque l'offre lui parvient. Pour maintenir la pertinence et la vélocité d'une offre de services, il faut sans cesse réexaminer les modèles opérationnels des processus qui fonctionnent à la lumière :

• de la connaissance qu'a l'entreprise du client, en intégrant les retours business dans la chaîne d'analyse de la valeur,
• mais surtout de la connaissance qu'a le client du service proposé grâce aux comparatifs en ligne, échanges réseaux, notations web, etc..

De plus en plus on considère la relation client comme un risque car ce qui la caractérise, c'est la tolérance zéro : dès lors comment articuler cette exigence avec la maintenance opérationnelle des données ?
Henry Peyret du Forrester indiquait très justement lors de son keynote DEP 2015 que ce qui manque dans les data lake, ce sont des annotations relatives aux différents niveaux de qualité des données qui permettront des usages futurs non connus au moment de la définition de l'architecture : ajouter des fonctionnalités de data cleansing et de data modelling au moment de l'usage de la donnée permet entre autre d'apprendre au SI à générer des cartographies sémantiques, lesquelles permettent un ré-usage augmenté de la donnée requalifiée "bonne" pour cet usage.

Une approche que nous nous proposons de tester est inspirée de l'analyse des risques industriels, qui permet de lier le "risque" client (selon la définition plus haut) au "risque" opérationnel de la non qualité :  des outils d'analyse tels que la méthodologie AMDEC, adaptés à cet effet, permettent de schématiser précisément les dimensions qualité de données et les processus opérationnels auxquels elles sont liées en modélisant les familles de données comme des éléments du système d'information, puis en analysant chaque élément selon la fonction qu'il sert (et les processus services associés), les dimensions qualité concernées par cette fonction (fonction des indicateurs), les modes de défaillance de l’élément, leurs causes et leurs effets ainsi que la détection du mode de défaillance et les actions correctives, ici requalifiées en actions de tagging sur la donnée et d'ajustement des indicateurs qualité de données.

Les données non structurées

Sous la dénomination "non structuré", on trouve indifféremment les données machines, les données de capteurs, les données textes, en référence à des usages divers et des structures hétéroclites. En 2014 Bill Inmon (Is text really unstructured data ?) émet l'idée que le "non structuré" est réductible à du structuré et exploitable comme tel (voir Deriving Business Value from Unstructured Nonrepetitive Data).

Je dois à Xavier Henderson de l'avoir parfaitement formulé :
"Ce qu'on appelle des données non structurées sont en réalité des données structurées :

• dont la structure évolue, comme les media sociaux: LinkedIn, FB et autres changent les formats régulièrement pour favoriser les courtiers en données avec lesquels ils ont affaire
• dont la structure est complexe, par exemple de la littérature française (le rich text)
• dont la structure est multiforme, par exemple le langage littéraire, le langage écrit quotidien de bonne facture, le langage vulgaire, l'oral, les dialectes de rues, locaux, les sabirs, les mélanges comme le franglais
• dont la structure est pauvre sémantiquement mais riche en métadonnées, par exemple les logs machine, le langage sur le web - HTML qui sont spécifiques à des domaines
• dont la structure existe mais est inconnue et tout en nécessitant un effort important pour la déterminer, conserve une zone floue d'interprétation (les hiéroglyphes avant Champollion)
• tout ensemble où l'interprétation joue un beaucoup plus grand rôle que la structure à l'émission qui en limite grandement les possibilités d'interprétation (l'Open data)
• tout ce qui n'est pas transactionnel
• dont la structure, bien que simple au niveau atomique, devient hyper complexe avec le volume, par exemple le séquencement du génome
• un mélange des précédents"

Un élément de définition possible pour contribuer à une meilleure compréhension du cycle de vie de l'information serait :une donnée non structurée est une donnée appartenant à un ensemble de données dont la sémantique reste à définir. L'une des différences majeures avec la donnée structurée transactionnelle est le nombre d'étapes de traitement nécessaires avant que cette donnée ne devienne interprétable (en termes d'intégration), une autre, c’est que les usages de cette donnée réclament des interactions avec des référentiels complexes (en terme d'interopérabilité). Le fait que ces données aient été signalées comme non structurées, pour signifier "non lisibles par la machine" indique surtout leur exclusion du système de création de valeur dans les entreprises. Longtemps considérées comme des poids morts, leur réintégration dans la chaîne de traitement nécessite la définition d'une sémantique centrée sur leurs usages possibles. A titre d'illustration voici quelques cas d'usages déjà en exploitation :

• analyse des mails SAV émis par les clients, des commentaires sur le drive et des fichiers textes associés pour déceler les sources récurrentes de problèmes en lien avec l'approvisionnement, la qualité et les flux organisationnels associés.
• rétro-conversion des fichiers confidentiels non signalés et gel des permissions
• analyse des mails pour prioriser les réclamations clients et identifier les risques de conflit
• mise à jour des données d'adresse via les données d'annuaires téléphoniques + base de changement d'adresse La Poste
• comparaison entre données BI et données de la veille digitale pour déceler des opportunités d'affaires
• et bien sur, bien sur, tout l'IoT...

Les dark data

L'un des enjeux de la donnée 2015 est l'exploitation et la création de valeur autour des dark data et des données réputées non structurées. Pour mieux définir les problématiques qui leur sont associées, on peut distinguer ces deux entrées, dont les contenus et les contours divergent selon les auteurs et les métiers.

Pour paraphraser, les dark data sont les données stockées dans le garage et qu'on rangera plus tard (Gartner), mais aussi les données de l'héritage de grand-mère empilées au grenier, le fouilli laissé par l'ancien propriétaire à la cave, ainsi que les données du tiroir fourre-tout qu'on triera exclusivement en cas de contrôle fiscal, donc en quelque sorte tous les déchets informationnels générés volontairement ou non par le fonctionnement de l'organisation : 

• les données conservées en attendant une possible exploitation
• les données stockées dans des lieux inaccessibles ou dont le format rend l'analyse trop coûteuse
• les données inutilisées à cause de leur mauvaise qualité
• les données stockées pour analyse qui peuvent être liées à d'autres sources de données mais auxquelles les métiers n'ont pas affecté de budget
• les données historiques dépendantes de leur lieu de stockage qui ont perdu leurs liaisons avec les autres ensembles de données au fil de migrations successives
• les données stockées sur des serveurs distants dans les architectures distribuées
• les données stockées sur les disques durs de collaborateurs
• les données d'entreprise stockées dans un cloud public (si si, ça arrive)
• les compétences des collaborateurs non capitalisées par l'entreprise
• les archives non gouvernées
• les données "non structurées"

Les caractéristiques de ces données :

• elles sont difficiles à identifier par l'outil informatique, leur présence est souvent signalée par un expert métier
• elles sont difficiles à localiser, ne se trouvant pas dans les bases de données ou systèmes gérés par l'IT, et très rarement inventoriées dans le catalogue de métadonnées de l'entreprise, s'il existe (Y. de Montcheuil)
• elles sont difficiles à connecter, leur insertion dans une chaîne analytique réclame un aménagement plus ou moins lourd du système d'information.

Les problématiques soulevées par ces données :

• surcoût de stockage
• défaut de confidentialité
• déficit de valeur business potentiellement associé

Quelques pistes de réhabilitation :

• Clusteriser les pôles de valeur potentiels (par analyse quand c'est possible et en comité de pilotage), qualifier et supprimer les données inutiles (et oui, même à l'ère du big data on peut gouverner ses données !)
• Développer des architectures centrées sur le search
• Développer une culture métier du partage de la donnée.

Faces from Earth

Avis aux curieux et passionnés de la donnée : le programme des ateliers EXQI, présentés lors des conférences DEP 2014 les 27 et 28 novembre 2014 est en ligne ! Deux jours de réflexions sur les data, l'open data et les big data sont proposés par les groupes de travail à un public non spécialiste.

Pour patienter en actualité, voici le live stream de la Station spatiale internationale, une magnifique perspective terrestre en direct que j'aurais du poster il y a bien longtemps ! merci @philae2014 !