Nettoyage des données dans le comté de South Adams

Le service des eaux et de l’assainissement du comté de South Adams (SACWSD) a été créé en 1953 par les autorités locales de l’État du Colorado pour gérer la zone connue sous le nom de Commerce City. Bien que le service desserve la population de Commerce City, il s’agit d’une entité distincte et actuellement du plus grand service des eaux et de l’assainissement combiné de l’État du Colorado qui couvre 168 kilomètres carrés au service de presque 50 000 clients. 

L’équipe SIG (système d’information géographique) du SACWSD s’appuie sur plusieurs sources de données, y compris son propre travail sur le terrain, pour compiler trois jeux de données distincts qui couvrent les systèmes d’eau potable, d’irrigation et de gestion des eaux usées. L’équipe utilise ArcGIS pour optimiser le développement, la maintenance, le remplacement et l’amélioration des systèmes. Les données sont, en outre, partagées avec des applications tierces, comme le système de gestion des actifs du service (pour les demandes de service quotidiennes et les bons de travail terminés) et le logiciel de modélisation du flux hydraulique, qui a ses propres exigences. Il est donc essentiel de disposer de données fiables.

À l’automne 2016, le service des eaux et de l’assainissement vient tout juste de terminer la collecte des données à l’aide de la technologie GPS. Le superviseur SIG Cliff Sullivan et le technicien SIG Mark Dickman réalisent rapidement que la qualité des données varie grandement. Des données inexactes sont susceptibles de réduire l’efficacité en indiquant des localisations d’actifs incorrectes, ce qui complexifie l’intégration avec d’autres systèmes métier. Des données de meilleure qualité permettent également d’améliorer le service client grâce à des affectations de travail précises et des interventions d’urgence optimisées.

Débute alors la tâche de nettoyage des données qui s’avère longue et fastidieuse. Sullivan, Dickman et un stagiaire doivent examiner chaque entité manuellement pour en déterminer la précision spatiale et l’exactitude des attributs. Ce type de processus de contrôle qualité est limité, car il est exploratoire et non exhaustif.

Sullivan remarque une présentation du contrôle d’intégrité des données Esri sur le programme d’une conférence à venir. Il découvre qu’ArcGIS Data Reviewer, une extension d’ArcGIS, peut effectuer cette tâche bien plus rapidement. Outre l’extension ArcGIS, le service achète des services de conseil sur site et collabore avec un ingénieur en géodonnées Esri qui les aide à implémenter Data Reviewer et assure le transfert des connaissances. 

L’équipe SIG du service des eaux et de l’assainissement utilise tout d’abord Data Reviewer pour obtenir une vue instantanée des données qui lui permet d’identifier la vérification des données à effectuer en premier, parmi les centaines de vérifications des données possibles.

Sullivan indique : « Notre consultant Esri était patient et très rigoureux lorsqu’il [nous] a montré comment utiliser le produit. Nous avons considérablement avancé pendant les deux jours de présence du consultant sur site. Notre expérience avec les services professionnels Esri était excellente. »

« La collaboration avec Esri a permis à l’équipe du SACWSD de progresser rapidement. Bien que certaines vérifications soient explicites, l’équipe a eu besoin de l’assistance d’un expert pour comprendre la logique derrière la configuration des vérifications les plus avancées et pour les exécuter correctement. » selon Dickman. Les bonnes pratiques sont désormais fixées dans un modèle et mises à la disposition de tout le monde.

Data Reviewer a permis de normaliser le processus de contrôle qualité en matière de hiérarchisation et de recherche des erreurs, ainsi que de suivi des corrections. Au bout de trois mois, un jeu de données avait été entièrement nettoyé. Les mises à jour spatiales sur les deux jeux de données restants plus volumineux furent rapidement effectuées. L’objectif initial consistait à détecter les entités déconnectées. Les vérifications de connectivité ont permis de vérifier que toutes les entités étaient correctement connectées pour que le logiciel de modélisation du flux hydraulique puisse s’exécuter et fournir des résultats précis. Ensuite, pour que les demandes de service et les bons de travail soient correctement créés dans le logiciel de gestion des actifs, chaque identifiant d’actif doit être renseigné, sans doublon. Cette opération est effectuée grâce à la vérification ID unique.

Esri a également aidé le service des eaux à créer ses bases de données et l’a conseillé sur la modélisation des données en lui indiquant, par exemple, d’utiliser des domaines plutôt que des sous-types. Le service des eaux a collaboré avec Esri pour créer une structure de données désormais explicite pour les utilisateurs de l’organisation.

Avant d’acheter Data Reviewer et de solliciter l’aide d’Esri, Sullivan et Dickman se demandaient s’ils n’allaient pas mettre des années à vérifier manuellement les entités au fur et à mesure de la création de leur base de données. Désormais, seul Dickman continue à travailler sur le sujet et il a déjà une avance de six mois sur le planning. Lorsque les trois jeux de données seront terminés, ils s’attendent à gagner plus d’une année-homme.

Au fur et à mesure du développement de nouvelles infrastructures, le service des eaux et de l’assainissement prévoit d’utiliser ArcGIS Data Reviewer pour effectuer le contrôle qualité sur les nouvelles données et pour gérer les données existantes.