TP Bonus — Brancher une source temps réel externe : l'électricité de La Réunion

Bonus Avancé

Objectif

📡 Poste SOC · La Réunion — pour une fois, la cible est sous vos pieds : c’est votre propre île que vous instrumentez.

🎯 Objectif métier — brancher une source de données externe temps réel sur sa stack de supervision et en tirer des indicateurs exploitables.

Votre SOC est à La Réunion. La moitié de l’île tourne au charbon importé — et ça se voit en temps réel dans une API ouverte. Vous la branchez sur votre stack Grafana pour suivre, heure par heure, le mix électrique réunionnais et la part du renouvelable.

ℹ️ Hors enquête — pas de menace ici, un exercice d’ouverture. Raccorder une source externe vivante est exactement le geste qui resservira pour brancher demain un flux de threat intel ou une API de réputation d’IP.

Contexte

Les Terres australes et antarctiques françaises (TAAF) souhaitent enrichir leur système de monitoring existant en intégrant les données de production électrique de La Réunion pour :

• Comprendre le mix énergétique régional
• Analyser les tendances de production par source d’énergie
• Suivre l’évolution du pourcentage d’énergies renouvelables
• Intégrer ces métriques dans leur infrastructure de supervision

Source de données

API EDF Réunion : https://opendata-reunion.edf.fr/explore/dataset/prod-electricite-temps-reel/api/

Caractéristiques des données

• Fréquence : Mise à jour toutes les heures
• Contenu : Mix électrique en temps réel par source d’énergie
• Format : JSON
• Statut : Données estimatives, consolidées mensuellement

Sources d’énergie disponibles

• Photovoltaïque
• Éolien
• Thermique
• Hydraulique
• Bioénergie
• Charbon
• Bagasse

Travail demandé

Phase 1 : Analyse de l’API

1. Explorer l’API EDF Réunion

   • Analyser la documentation disponible
   • Identifier les endpoints et paramètres
   • Comprendre la structure des données retournées
   • Tester manuellement quelques requêtes

2. Documentation de l’API

   • Documenter les endpoints utilisables
   • Lister les champs disponibles dans les réponses
   • Identifier les limitations (fréquence, format, etc.)

Phase 2 : Développement du collecteur

Objectif : Créer un programme (Python, Node.js, ou autre langage de votre choix) qui :

1. Récupère les données en temps réel

   • Se connecte à l’API EDF Réunion
   • Récupère les dernières données de production
   • Gère les erreurs de connexion/API

2. Traite et formate les données

   • Parse les données JSON
   • Calcule les métriques dérivées (% renouvelables, total, etc.)
   • Valide la cohérence des données

3. Exporte les métriques

   • Formate les données pour Prometheus
   • Sauvegarde locale en cas de panne
   • Logging des opérations

Indices techniques

Format d’exposition Prometheus :

• Prometheus scrappe les métriques via HTTP (généralement port 8000-9000)
• Format texte : metric_name{label="value"} valeur
• Exemple : edf_production_mw{source="photovoltaic"} 145.2

Outils recommandés (au choix) :

• Python : bibliothèque prometheus_client, requests, flask
• Node.js : prom-client, express, node-fetch
• Go : prometheus/client_golang

Architecture suggérée :

1. Collecteur qui interroge l’API à intervalle régulier
2. Serveur HTTP qui expose /metrics pour Prometheus
3. Configuration Docker pour intégration à la stack

Contraintes techniques :

• Gestion robuste des erreurs
• Code modulaire et réutilisable
• Configuration via variables d’environnement
• Documentation du code

Phase 3 : Intégration monitoring

1. Intégration avec l’infrastructure existante

   • Modifier la configuration Prometheus pour scraper les nouvelles métriques
   • Adapter la configuration Docker si nécessaire
   • Tester la collecte de métriques

2. Vérification des données

   • Confirmer que Prometheus collecte bien les métriques
   • Vérifier la cohérence des données dans le temps
   • Diagnostiquer d’éventuels problèmes

Phase 4 : Dashboard Grafana personnalisé

Objectif principal : Créer un dashboard Grafana complet et professionnel spécifiquement pour les données EDF Réunion.

Panels requis :

1. Vue d’ensemble (Header)

   • Stat panel : Production totale actuelle (MW)
   • Stat panel : Pourcentage énergies renouvelables
   • Stat panel : Timestamp dernière mise à jour
   • Gauge : Niveau de production (avec seuils)

2. Mix énergétique

   • Pie chart : Répartition par source d’énergie
   • Bar gauge : Production par source avec couleurs distinctes
   • Time series : Évolution du mix sur 24h

3. Tendances temporelles

   • Time series : Production totale sur 7 jours
   • Time series : Évolution % renouvelables
   • Time series : Top 3 des sources principales

4. Analyse détaillée

   • Heatmap : Production par heure/jour de la semaine
   • Table : Historique des dernières mesures
   • Alert list : Alertes liées à la production

---

Questions d’exploration métier pour Grafana

Utilisez ces questions pour créer des dashboards métier opérationnels et explorer les données de production électrique de La Réunion :

Répartition et mix énergétique

• Quelle est la répartition actuelle de la production par source d’énergie ?
• Quel pourcentage représentent les énergies renouvelables dans le mix total ?
• Quelles sont les 3 sources d’énergie principales à cet instant ?
• Comment évolue la part du photovoltaïque vs l’éolien sur la journée ?

Variations temporelles

• À quelle période de l’année l’éolien produit-il le plus ?
• Quelles sont les heures de pic de production photovoltaïque ?
• Comment varie la production thermique selon les saisons ?
• Y a-t-il des patterns de production différents weekend vs semaine ?

Production et tendances

• Quelle est l’évolution de la production totale sur les 7 derniers jours ?
• Quel est le niveau moyen de production par tranche horaire ?
• Observe-t-on une augmentation des énergies renouvelables sur le long terme ?
• Quels sont les moments de production minimale et maximale ?

Énergies renouvelables

• Comment évoluent les énergies vertes (photovoltaïque + éolien + hydraulique) ?
• Quel est le record de production renouvelable sur la période analysée ?
• À quels moments les énergies fossiles compensent-elles les renouvelables ?
• Quelle est la corrélation entre production solaire et moment de la journée ?

Alertes et seuils

• La production totale descend-elle sous certains seuils critiques ?
• Y a-t-il des interruptions ou chutes importantes de production ?
• Quand la dépendance aux énergies fossiles devient-elle critique (>70%) ?
• Observe-t-on des anomalies dans les données de production ?

Analyse comparative

• Comment se compare la production actuelle vs la même période l’année passée ?
• Quelles sources sont les plus variables/stables dans le temps ?
• Quel impact ont les conditions météo sur la production renouvelable ?
• Y a-t-il des corrélations entre les différentes sources d’énergie ?

Conseil : Chaque question peut correspondre à un ou plusieurs panels Grafana. Utilisez ces questions pour structurer votre dashboard et créer des visualisations pertinentes pour les opérateurs énergétiques des TAAF.

---

Livrables attendus

1. Code source du collecteur

• Script/application fonctionnel(le) (Python, Node.js, ou autre)
• README avec instructions d’installation et utilisation
• Configuration Docker (Dockerfile et/ou docker-compose)
• Gestion des erreurs et logs
• Code commenté et documenté

2. Configuration Prometheus

• Ajout du job de scraping pour le collecteur
• Documentation de l’intégration
• Vérification que les métriques sont collectées

3. Dashboard Grafana

• Fichier JSON du dashboard exporté
• Minimum 8-10 panels variés (stats, time series, pie chart, etc.)
• Variables template pour filtrage dynamique
• Mise en page professionnelle et lisible
• Couleurs et seuils cohérents

4. Documentation technique

• Architecture de la solution (schéma)
• Guide de déploiement complet
• Difficultés rencontrées et solutions
• Améliorations possibles

---

Critères d’évaluation

Critère	Points	Détails
Fonctionnalité du collecteur	30%	Récupération des données, robustesse, gestion erreurs
Intégration Prometheus	15%	Configuration correcte, métriques exposées
Dashboard Grafana	35%	Qualité visuelle, pertinence des panels, interactivité
Documentation	15%	Clarté, complétude, reproductibilité
Qualité du code	5%	Lisibilité, modularité, bonnes pratiques

Bonus :

• +5% : Alertes Prometheus configurées
• +5% : Logs structurés et dashboard de monitoring du collecteur
• +5% : Comparaison avec données historiques (tendances long terme)
• +5% : Tests unitaires du collecteur

---

Ressources utiles

Documentation API et données

• API EDF Réunion - Documentation
• Format API OpenData

Prometheus

• Format d’exposition Prometheus
• Client libraries
• Writing exporters

Grafana

• Panel types
• Templating variables
• Best practices dashboards

Exemples de collecteurs

• Prometheus Python client examples
• Node.js prom-client examples

---

Conseils et bonnes pratiques

Développement itératif

Ne cherchez pas la perfection dès le début :

1. Commencez par un collecteur simple qui récupère les données
2. Ajoutez l’exposition des métriques Prometheus
3. Intégrez à Prometheus et validez la collecte
4. Créez un dashboard basique avec 2-3 panels
5. Enrichissez progressivement avec plus de panels et fonctionnalités

Pièges courants

• ⚠️ Ne pas gérer les erreurs réseau → Collecteur qui plante
• ⚠️ Polling trop fréquent de l’API → Rate limiting ou surcharge
• ⚠️ Métriques mal nommées → Confusion dans Prometheus
• ⚠️ Dashboard surchargé → Difficile à lire
• ⚠️ Absence de logs → Impossible de débugger

Structure de projet recommandée

edf-reunion-exporter/
├── README.md
├── requirements.txt (ou package.json)
├── Dockerfile
├── docker-compose.yml
├── src/
│   ├── collector.py (ou collector.js)
│   ├── prometheus_exporter.py
│   └── config.py
├── dashboards/
│   └── edf-reunion-dashboard.json
└── docs/
    ├── ARCHITECTURE.md
    └── DEPLOYMENT.md

---

Durée estimée : 6-8 heures

Difficulté : ⭐⭐⭐⭐ Avancé

Bon courage ! 🚀