Gérer des données de l'information

Projet METEOBIZ : Gestion des données du traffic routier en Martinique

Durant mon stage chez Beepway, j’ai participé au développement du projet de recherche METEOBIZ, qui vise à fournir des solutions innovantes pour les entreprises de la Martinique, en leur permettant de mieux comprendre l'impact du trafic routier, maritime, et des conditions météorologiques sur leurs activités. Le projet repose sur la collecte, le traitement et l’analyse de données provenant de diverses sources, telles que les API de trafic routier, les données maritimes, ainsi que les prévisions météorologiques locales (micro-météo).

Mon rôle principal a été de développer des outils de collecte de données en utilisant des API externes, notamment l’API TomTom pour le trafic routier, qui fournit des informations en temps réel sur les embouteillages, la vitesse du trafic et les incidents de circulation. Le projet comprenait également l’intégration de données maritimes pour suivre le trafic du port de Fort-de-France, ainsi que la collecte de données météorologiques pour évaluer les conditions locales susceptibles d'influencer les entreprises.

Une fois les données récupérées, elles ont été stockées dans une base de données relationnelle (MariaDB) afin de permettre une gestion centralisée et structurée. Le projet METEOBIZ vise à offrir une visualisation des croisement de ces différents types de données (trafic, météo, et maritime), permettant ainsi aux entreprises d'identifier des tendances et des phénomènes susceptibles d’impacter leur activité. Par exemple, les entreprises pouvaient observer l’effet des conditions météorologiques ou des embouteillages sur leurs performances commerciales en temps réel.

Ce projet m’a permis d’appliquer des compétences techniques, telles que le développement Python, la gestion de bases de données relationnelles, la manipulation de données hétérogènes et l’automatisation de la collecte via des tâches cron. Il m'a également offert l'opportunité de travailler sur la mise en place de systèmes de visualisation et d’analyse de données pour fournir des insights pertinents aux entreprises.

Mettre à jour et interroger une base de donnée relationnelle (en requête directe ou à travers une application)

Durant mon stage chez Beepway, l'une des tâches clés a été de mettre à jour et interroger une base de données relationnelle pour récupérer des données liées au trafic routier et maritime. En utilisant MySQL, j'ai créé et interrogé plusieurs tables pour stocker les informations sur les segments de flux de trafic, les bateaux, et la météo, en exploitant des requêtes SQL spécifiques pour extraire des données sur des zones géographiques précises. L'optimisation de ces requêtes était cruciale pour garantir la rapidité d'exécution, particulièrement pour gérer les appels fréquents à l'API et les volumes de données élevés.

Visualiser des données

L'API TomTom m'a permis de récupérer une multitude de données, notamment les informations de trafic, mais l'une des étapes essentielles était de visualiser ces données de manière compréhensible. J'ai utilisé des outils comme Python et des bibliothèques telles que Matplotlib pour générer des graphiques représentant les niveaux de congestion, les temps de trajet, et les incidents. Cette visualisation a permis aux entreprises de la Martinique de mieux comprendre l'impact du trafic et de la météo sur leurs activités.

Concevoir une base de donnée relationnelle à partir d’un cahier des charges

Dans le cadre du projet METEOBIZ, la conception d'une base de données relationnelle a été réalisée pour structurer les données sur le trafic routier, maritime et la météo. À partir des besoins du projet, j'ai élaboré un schéma de base de données sous MariaDB en collaboration, avec des tables distinctes pour chaque module (trafic routier, bateau, météo), ce qui a permis une gestion efficace des données et un stockage cohérent.

Optimiser les modèles de données de l’entreprise

L'optimisation des modèles de données était un aspect essentiel pour le bon fonctionnement du projet METEOBIZ. L'un des défis était de gérer les appels API limités tout en maintenant une performance optimale dans le stockage et la récupération des données. J'ai mis en place des stratégies de stockage en base de données, telles que la réduction de la taille des données en regroupant les informations dans des fichiers .csv avant leur insertion dans la base, ainsi que la mise en place de filtres pour récupérer des données spécifiques selon les zones géographiques.

Assurer la confidentialité des données (intégrité et sécurité)

L'intégrité et la sécurité des données ont été primordiales lors de la gestion des informations collectées. En particulier, les données relatives au trafic et à la météo étant sensibles, j'ai veillé à sécuriser les échanges avec l'API TomTom en utilisant des clés API et en m'assurant que l'accès à la base de données était restreint par des mécanismes de contrôle d'accès adéquats sur le serveur Ubuntu. Cela garantissait que seules les personnes autorisées pouvaient interagir avec les données sensibles.

Organiser la restitution de données à travers la programmation et la virtualisation

L'une des responsabilités majeures était d'assurer une restitution efficace des données. J'ai développé des scripts Python permettant de récupérer, organiser et stocker les données dans la base de données, et j'ai configuré des jobs CRON pour automatiser la collecte et la mise à jour des informations sur des intervalles réguliers. Ce processus automatisé a permis de collecter des données sur deux ans sans intervention manuelle, ce qui a facilité l'analyse à long terme.

Manipuler des données hétérogènes

Le projet METEOBIZ impliquait la manipulation de données très variées provenant de différentes sources : trafic routier, maritime et météo. Chaque source de données avait son propre format, que ce soit JSON pour les informations de trafic ou des fichiers CSV pour les données météorologiques. J'ai dû développer des outils pour transformer, nettoyer et intégrer ces données hétérogènes dans une base de données cohérente, ce qui m'a permis d’assurer une analyse complète et fiable des interactions entre ces différentes données.