Paramètres d’affichage

Zoom sur projet 10% : Chartsgouv

Rédaction : Quentin Leroy, datascientist au ministère de l'Intérieur

Le projet ChartsGouv est né de l'envie de proposer un cadre cohérent à la valorisation et la visualisation de données pour les agents de l'Etat, en se basant sur un outil existant open source de référence que l'on peut personnaliser et faire évoluer pour les besoins de l'administration.
Superset, créé par le français Maxime Beauchemin (également à l'origine d'Airflow !), est passé sous la gouvernance de la fondation Apache en 2017, et est développé et maintenu par des ingénieurs d'Airbnb, Lyft, Apple... et utilisé par tant d'autres (https://github.com/apache/superset/blob/master/RESOURCES/INTHEWILD.md).

Superset présente l'avantage de se connecter à tout type de sources de données et rend faisable la conception de graphiques, de filtres et de tableaux de bord pour des utilisateurs non techniques.

Nous avons réuni une communauté d'entraide et de partage autour de Superset, ses fonctionnalités cachées et ses possibilités de personnalisation et d'évolution.
Grâce à DuckDB, nous avons montré que Superset pouvait directement ingérer les fichiers CSV ou Parquet hébergés sur data.gouv.fr, sans avoir besoin de les télécharger ou d'utiliser une chaîne de traitement de données, ce qui facilite la valorisation directe des données.
Nous avons pu travailler collaborativement sur ce sujet grâce à notre plateforme Superset sur le SSPCloud de l'Insee (https://chartsgouv.lab.sspcloud.fr/superset/dashboard/dgafp), qui comprend un début du theming de l'interface aux couleurs de l'Etat avec le DSFR.
Nous avons mis en place une plateforme de documentation (https://etalab-ia.github.io/chartsgouv/) pour détailler dans des articles des solutions à des problemes récurrents comme l'embedding de charts dans un site externe, le templating de requêtes SQL avec Jinja, l'installation et la configuration initiale... Les contributions sont les bienvenues ! Et nous sommes encore à la recherche de cas d'usage ! (contact : quentin.leroy@interieur.gouv.fr)

Liens utiles :

• Instance ChartsGouv sur le SSPCloud : https://chartsgouv.lab.sspcloud.fr/superset/dashboard/dgafp
• Repo github : https://github.com/etalab-ia/chartsgouv
• Site de documentation : https://etalab-ia.github.io/chartsgouv/
• Replay du passage à Datarama : https://www.youtube.com/watch?v=xvrr5X70puo&t=22648s

En savoir plus

Appel à contributions !

Rédaction : Clement Guenais, data urbanist au ministère de l'Intérieur

Le projet Trouver mon Expert data (TED)  est un des 7 projets 10% de la saison 2. Son objectif : mettre en place un outil de mise en relation entre services par les experts de la donnée.
Vous souhaitez découvrir un service, trouver un pair dans une administration, savoir qui s'occupe d'accessibilité ou organiser une communauté data dans votre organisation ? Venez aider le projet  en nous indiquant simplement votre fiche de poste et votre service depuis lannuaire.service-public.fr.

Vous êtes un expert de la data au sein d'une administration ? Aidez-vous en répondant à ce questionnaire : https://framaforms.org/participer-a-trouver-mon-expertise-data-un-projet-du-programme-10-pour-cent-1686903329

En savoir plus

Portrait de participant 10%

Thomas Granjean : ingénieur de l'Agriculture et de l'Environnement, Dreal Hauts-de-France.

Quel est ton parcours ?
Je suis ingénieur en eau et environnement. J'ai débuté ma carrière dans l'ingénierie publique, puis je suis parti en service régalien (en police de l'eau). Au cours de cette période, j'ai rapidement pris conscience de l'importance cruciale de l'accès à l'information environnementale. Il y avait de nombreux problèmes liés aux systèmes d'information géographique et au partage des données, ce qui a suscité mon intérêt pour divers sujets à cette époque.
Rapidement, nous avons constaté la nécessité d'utiliser Python pour effectuer des traitements larges de données spatiales. Par la suite, j'ai changé de poste et j'ai rejoint la DREAL nord Pas-de-Calais (Direction Régionale de l'Environnement, de l'Aménagement et du Logement) où j'ai occupé un poste de vulgarisation scientifique axé sur l'environnement. Nous avons été confrontés à d'importants défis liés aux données et à la fusion de bases de données existantes, tant du côté de la Picardie que du Nord-Pas-de-Calais.
Sur certains sujets, nous nous sommes retrouvés avec d'énormes volumes de données qui étaient devenues difficilement exploitables avec nos outils d'alors. C'est ainsi que je me suis totalement acculturé à python (que je pratique presque quotidiennement depuis).
Progressivement, avec python on a appuyé des services métiers sur tous les sujets, en dérivant très clairement du poste tel qu'il a été fléché au départ. Cela m'a amené à traiter beaucoup de jeux de données différents sur des champs de compétences très variés (web, statistique, datavisualisation, bases de données, cartographie...).

Pourquoi avoir choisi le domaine de l'environnement?
Mon engagement dans le domaine environnemental découle d'une conviction personnelle. À l'origine, j'ai été formé au ministère de l'Agriculture mais sur des thématiques portées par le ministère de l'Environnement, et j'ai choisi de continuer à évoluer dans ce domaine. Puis, comme je l'ai dit précédemment, la gestion des données a commencé à devenir un aspect important de mon travail. Typiquement, lorsque vous recevez un dossier détaillant les impacts d'un projet, il est essentiel de pouvoir croiser les informations pour déterminer si vous vous trouvez dans des zones naturelles présentant des intérêts spécifiques, identifier les cours d'eau à proximité, etc.. Ainsi, la gestion de bases de données géographiques est devenue un enjeu majeur, et cela constituait une nouveauté au sein des services à l'époque.
Historiquement, les équipes SIG (Systèmes d'Informations Géographiques) utilisaient des outils sous licence tels que MapInfo, mais une transition vers des solutions open source a complètement chamboulé le système avec l'arrivée de QGIS, en permettant le traitement des données au sein des services métiers. Tout cela nous a incité à développer nos compétences dans ce domaine.
Et puis, les réorganisations de l'Etat étant ce qu'elles sont, je me suis vite rendu compte que booster le numérique permettait de pallier une partie des réductions d'effectifs. Nous avons donc entrepris d'automatiser autant que possible nos processus, afin de maximiser notre efficacité avec les ressources qui nous restaient.

Sur quel projet travailles-tu actuellement ?
J'occupe mon poste actuel depuis environ 8 ans. Aujourd'hui, je travaille principalement sur un projet appelé "Mission Connaissance" qui s'inspire du fonctionnement de l'Insee avec ses pôles thématiques dans chaque direction. Il a été lancé par la direction centrale, plus précisément par la partie CGDD (Commissariat Général au Développement Durable) du ministère.
Le constat de départ était que les services connaissance des DREAL avaient beaucoup de sujets à couvrir mais que ces projets étaient dispersés et que chaque service développait ses propres outils. Lorsqu'il s'agissait de mettre en place des solutions à plus grande échelle, cela devenait problématique en raison de cette fragmentation. En réponse, le ministère a proposé aux services déconcentrés de se recentrer sur des thématiques spécifiques lors d'un appel à manifestation d'intérêt. Nous avons répondu à cet appel en nous positionnant sur le domaine de l'eau et des rejets polluants. D'autres services ont choisi les énergies renouvelables, la rénovation de l'habitat, la gestion du foncier, les mobilités durables et l'appui aux productions reproductibles. Des réflexions sont aussi en cours sur la gestion quantitative de l'eau, l'usage des drones ou de la donnée satellitaire.
Cette mission nous a aussi amené à échanger avec d'autres acteurs (habituels pour les DREAL, mais moins connu des services « connaissance ») : des établissements publics tels que les agences de l'eau, des collectivités.
Nous travaillons sur ce projet depuis environ 2 ans, dont une année a été consacrée principalement au prototypage, et depuis environ une année, le projet a été validé.

Est-ce que tu penses qu'être un expert sur un territoire dans ton domaine est plus complexe qu'être un expert en administration centrale ?
Traditionnellement au sein des DREAL, il y a deux branches distinctes de la donnée : la partie statistique (plutôt outillée en langage R et appuyée par des agents issus de l'INSEE) et la partie systèmes d'information géographique (parfois outillée en python, parfois en R, parfois uniquement avec des outils métier spécialisés). Sorti de ces deux métiers, il n'y a qu'assez peu de spécialisation dans nos services et les compétences pointues sont rares. Cela nous amène à être des "data couteaux suisses". Nous nous retrouvons à travailler sur des domaines très variés, sans doute plus que des experts très spécialisés en administration centrale.
La Mission Connaissance est une opportunité intéressante, car elle nous a accordé des ressources supplémentaires et nous a permis de collaborer avec des prestataires externes DevOps qui nous ont réellement apporté des connaissances. Pour autant, notre approche restera encore longtemps différente de l'administration centrale, dans le sens où nous ne sommes pas près d'avoir ces spécialistes (DevOps, DataScientist, DataEngineer) dans nos services. En administration centrale, ces postes commencent à être présents, ce qui permet d'atteindre une expertise collective. A notre niveau, notre rôle demande une plus grande polyvalence.
Un autre sujet qui nous occupe beaucoup (et qui nous différencie aussi de la centrale) c'est la manière de récupérer des données. Nous sommes confrontés quotidiennement à des services métiers qui enregistrent leurs données dans des applications centralisées (qui n'ont parfois même pas de système d'export des données). Là où une administration centrale négociera plus ou moins facilement l'accès à une base intégrale (à plus ou moins long terme), nous sommes contraints d'effectuer de nombreuses opérations de scraping. Ce n'est bien sûr pas idéal, mais ces opérations restent malheureusement incontournables pour récupérer certaines données.

Au sein du programme 10%, tu travailles sur le projet Cartiflette ? En quoi consiste ce projet et pourquoi l'as-tu choisi ?
Cartiflette est un outil facilitant la réalisation de cartes grâce à la récupération de fonds de plans produits par des acteurs publics. Il y avait de nombreux sujets qui m'intéressaient dans les projets, comme la datavisualisation, par exemple. Mais il a fallu que je me focalise, et je pense que la cartographie était peut-être le domaine où je pouvais apporter le plus directement ma contribution. Les problèmes qui avaient été exposés, tels que la récupération des fonds de plan, leur agrégation, la gestion du snapping et des géométries qui ne se superposent pas bien, sont des défis que j'ai rencontrés et que je continue à rencontrer.

Comment as-tu connu le programme 10% et pourquoi l'as-tu rejoint ?
J'ai découvert les principes de ce qui n'était pas (encore) le programme 10 % dans le rapport DINUM sur l'évaluation des besoins de l'État en compétences et expertises en matière de donnée. Un peu plus tard, j'ai donné quelques formations sur la donnée publique à l'IRA de Lille ; cela a été l'occasion de rechercher des sources pour documenter mon cours. En parcourant le site d'ETALAB, j'ai découvert que la recommandation du rapport avait été concrétisée (et que j'avais d'ailleurs raté la première saison). Le programme m'a semblé très attrayant, d'autant plus que, comme je l'ai mentionné, nous nous posions de nombreuses questions sur les compétences qui nous faisaient défaut au sein des services déconcentrés.
J'en ai aussi entendu parler en parallèle par des collègues de la DREAL Pays-de-la-Loire qui avaient rejoint la première saison.
Pour ma part, j'y suis venu initialement pour découvrir ce qui se passait, car je ne suis pas un data scientist et le programme était clairement axé sur l'intelligence artificielle. Cependant, j'ai rapidement trouvé ma place dans le programme.
Ce programme est très intéressant pour nous, car il nous permet de collaborer avec des profils très différents de ceux que l'on trouve généralement au sein des services déconcentrés. De plus, il offre l'accès à des masterclass et à d'autres initiatives que nous avons du mal à trouver ailleurs. Par exemple, les sujets liés à la formation en intelligence artificielle sont rares, voire inexistants, au sein des services déconcentrés (même si cela commence à changer). Étant relativement isolés dans notre bulle au sein des services déconcentrés, il est vraiment intéressant de pouvoir échanger avec d'autres ministères. Cela nous permet de rencontrer d'autres personnes, de découvrir d'autres services, d'observer différentes organisations et compétences, et de développer notre réseau. En fin de compte, je suis très satisfait du programme.