Le stockage et la retransmission conservent les mesures sur une passerelle lorsque la liaison vers la destination est coupée, puis les envoient au retour de la liaison. Une panne devient ainsi un retard plutôt qu’une perte, mais seulement dans la limite de la capacité de stockage. Dimensionnez cette capacité d’après le débit des données et la plus longue panne à supporter, puis calculez le temps de rattrapage.
Ce guide fait partie de la série sur la qualité et la transmission des données.
Quel stockage protège les données ?
Une passerelle peut conserver les données à plusieurs endroits, qui n’offrent pas la même protection :
| Stockage | Résiste à une panne de la liaison en amont | Résiste au redémarrage de la passerelle |
|---|---|---|
| Lot en mémoire, en attente d’envoi | Pendant une courte durée | Non |
| Base de données d’historique local | Oui ; les données sont consultables sur site | Oui |
| File de retransmission durable sur disque | Oui, avec envoi lors du rétablissement | Oui |
Seule une file durable sur disque, ou un processus qui renvoie les données depuis l’historique local, les préserve pendant une longue panne et un redémarrage. Un lot en mémoire est perdu si l’alimentation tombe avant son envoi. Demandez quel stockage utilise la passerelle et à quel moment les données passent de l’un à l’autre.
Dimensionner la mémoire tampon
Prenons un site qui produit 1 200 mesures par minute et doit résister à une panne de 12 heures. Supposons 200 octets par enregistrement stocké ; mesurez la taille réelle sur la passerelle, index et frais de stockage compris.
| Grandeur | Calcul | Résultat |
|---|---|---|
| Débit entrant | 1 200 ÷ 60 | 20 enregistrements par seconde |
| Durée de la panne | 12 × 3 600 | 43 200 secondes |
| Enregistrements à conserver | 20 × 43 200 | 864 000 enregistrements |
| Espace nécessaire | 864 000 × 200 octets | 172,8 Mo, hors frais de stockage |
Ajoutez une marge pour ces frais et pour une panne plus longue que prévu. Vérifiez que cet espace n’est pas partagé avec d’autres données susceptibles de le remplir, comme les journaux.
Calculer le temps de rattrapage
Le rétablissement n’est pas instantané. La destination accepte les enregistrements à un débit limité, tandis que de nouvelles mesures continuent d’arriver. Le retard diminue au débit net de vidange : débit d’envoi moins débit entrant.
| Grandeur | Calcul | Résultat |
|---|---|---|
| Débit d’envoi accepté par la destination | Mesuré | 80 enregistrements par seconde |
| Nouvelles mesures | Comme ci-dessus | 20 enregistrements par seconde |
| Débit net de vidange | 80 − 20 | 60 enregistrements par seconde |
| Temps nécessaire pour vider la file | 864 000 ÷ 60 | 14 400 secondes, soit 4 heures |
Pendant ces quatre heures, la destination affiche des données vieilles de plusieurs heures. Ses tableaux de bord et alarmes doivent utiliser l’heure de mesure de chaque lecture, pas son heure d’arrivée. Le guide des horodatages explique pourquoi.
Limites de durée et de capacité
Certains systèmes de stockage suppriment les données après un délai, quelle que soit la place disponible. Certaines destinations refusent les données trop anciennes ou les acceptent sans recalculer les totaux et les alarmes. Vérifiez les deux limites :
- la durée de conservation du stockage de la passerelle ;
- l’âge maximal des mesures acceptées par la destination et leur traitement.
Quand la mémoire tampon est pleine
Décidez à l’avance du comportement :
| Politique | Résultat | Cas adapté |
|---|---|---|
| Supprimer les plus anciennes | Les données récentes sont préservées ; le début de la panne est perdu | Exploitation en temps réel |
| Supprimer les plus récentes | Le début de l’historique reste complet ; la fin est perdue | Facturation et pistes d’audit, avec alerte |
| Arrêter la collecte | Rien n’est écrasé ; les nouvelles données sont perdues | Rarement un bon choix |
Déclenchez des alertes bien avant le remplissage complet, par exemple à 50 % et à 80 %, afin de pouvoir intervenir.
Doublons lors du rétablissement
Une passerelle peut envoyer un lot, perdre la connexion avant d’enregistrer l’accusé de réception, puis renvoyer le lot après rétablissement. La destination reçoit alors certains enregistrements deux fois. Donnez une identité à chaque enregistrement, comme l’identifiant du point associé à l’heure de mesure, pour que la destination n’en conserve qu’un exemplaire. Le guide QoS MQTT explique la livraison « au moins une fois ».
Tester la panne complète
- Coupez la liaison en amont pendant la durée de panne prévue, ou effectuez un essai réduit avec un nombre connu d’enregistrements.
- Observez la croissance de la file et vérifiez les alertes.
- Rétablissez la liaison et mesurez le temps de vidange.
- À la destination, comptez les enregistrements de la période de panne et cherchez les lacunes, doublons et erreurs d’horodatage.
- Recommencez avec un redémarrage de la passerelle pendant la panne.
Stockage et retransmission avec Edge
Edge, sur le Gateway ZGW-20, conserve un historique local de chaque mesure pour les tableaux de bord et les analyses sur site. Quand une destination tombe en panne, Edge place les données non livrées dans une file sur disque, vérifie la destination chaque minute et retransmet les données à son retour, avec leurs horodatages d’origine. Un lot encore en mémoire au moment d’une panne peut être perdu, et une retransmission peut livrer un lot deux fois. Appliquez donc les essais de doublons et de panne ci-dessus à chaque destination.
Questions fréquentes
Qu’est-ce que le stockage et la retransmission ?
Une méthode par laquelle une passerelle conserve localement les données lorsque sa liaison à la destination est coupée, puis les transmet au retour de la connexion. Une panne réseau devient un retard plutôt qu’une perte, dans la limite de la capacité de stockage.
Quelle capacité prévoir pour une mémoire tampon de retransmission ?
Multipliez les enregistrements par seconde par la plus longue panne exprimée en secondes, puis par l’espace occupé par enregistrement, et ajoutez une marge. Pour 1 200 mesures par minute, une panne de 12 heures et 200 octets par mesure, cela représente 864 000 enregistrements et environ 173 Mo avant les frais de stockage.
Combien de temps faut-il pour vider la mémoire tampon après une panne ?
Divisez le retard par le débit net de vidange, c’est-à-dire le débit d’envoi moins le débit des nouvelles mesures. Une file de 864 000 enregistrements envoyés à 80 par seconde, tandis que 20 nouveaux arrivent chaque seconde, se vide en quatre heures.