IELO - Historique des incidents

Tous les systèmes sont opérationnels

Remarque : Les incidents signalés sur cette interface ne concernent que les incidents génériques impactant les services de ielo.

Standard ielo - Opérationnel

Portail ielo - Opérationnel

Backbone - Opérationnel

Porte de collecte - Opérationnel

API - Opérationnel

Historique des incidents

01/07

WDM backbone - Rhône-Alpes area
  • Résolu
    Résolu

    Bonsoir,

    Les services sont stables depuis 19h32. Nous procédons à la clôture de cet incident.

    Cordialement,


    Good evening,

    The services have been stable since 7:32 PM. We are proceeding with the closure of this incident.

    Best regards,

  • Surveillé
    Surveillé

    L'incident est terminé, nos équipes ont observé une coupure suite à un câble contraint en chambre télécom, nous avons procédé aux réparations nécessaires,

    L'incident est désormais terminé, nous gardons le lien en monitoring

    ---

    The incident is now resolved. Our teams observed an outage caused by a damaged cable in the telecommunications room. We have carried out the necessary repairs.

    The incident is now resolved. We are continuing to monitor the connection.

  • Identifié
    Identifié

    Nos équipes terrain sont actuellement arrivées sur la zone de coupure, des investigations sont en cours afin de localiser précisément la coupure.

    Nous vous tiendrons informés dès que de nouveaux éléments seront disponibles




    Our field teams have now arrived at the site of the outage, and investigations are underway to determine the exact location of the outage.

    We will keep you informed as soon as new information becomes available.

  • Mettre à jour
    Mettre à jour

    Nos équipes techniques seront sur le site de la zone inspectée dans un délai estimé de 30 à 40 minutes, en fonction des conditions de circulation.


    Our technical teams are expected to arrive at the inspected site within 30 to 40 minutes, depending on traffic conditions.

  • Détecté
    Détecté

    Bonjour,

    Nous rencontrons actuellement une interruption de service sur notre backbone WDM.

    • ⏱ Identification de l’interruption : 15h38

    • 📢 Notification équipe terrain : 15h39

    • 📍 Localisation : région lyonnaise

    • ⏳ ETA : inconnu pour le moment

    Nos équipes sont mobilisées pour rétablir le service dans les meilleurs délais.
    Nous vous tiendrons informés dès que de nouveaux éléments seront disponibles (ETA/Diagnostic).


    INT version :
    Hello,

    We are currently experiencing a service interruption on our WDM backbone.

    • ⏱ Service interruption started: 13:38 UTC

    • 📢 VDR notification: 13:39 UTC

    • 📍 Location: Lyon area

    • 🛠 Handled by: our Regional Technical Center

    • ⏳ ETA: unknown at this time

    Our teams are actively working to restore services as quickly as possible.
    We will provide further updates as soon as new information becomes available (ETA/Diagnostic).

NRO injoignable - Paris 13
  • Résolu
    Résolu
    25 juillet 2025 – 10h15 (heure locale) Bonjour, Nos équipes techniques se sont rendues sur notre POP afin de confirmer un défaut d’alimentation électrique. Une coupure d’énergie totale sur les deux voies a été constatée sur site, impactant plusieurs opérateurs. En parallèle, l’hébergeur, préalablement notifié de la suspicion de défaut, a envoyé ses techniciens. Suite à leur intervention, l’alimentation électrique a été rétablie. Depuis, l’ensemble de nos équipements a été récupéré, et nos services sont de nouveau opérationnels. L’incident est désormais clos. Nous vous prions de nous excuser pour la gêne occasionnée. Cordialement, Support IELO --- 25 July 2025 – 08:15 UTC Hello, Our technical teams were dispatched to our POP to confirm a suspected power issue. A complete power outage on both feeds was confirmed on site, affecting multiple operators. In parallel, the hosting provider, previously informed of the suspected electrical issue, sent technicians to the site. Following their intervention, power has been fully restored. All of our equipment is now back online and services have resumed. This incident is now closed. We apologize for any inconvenience caused. Best regards, IELO Support
  • Détecté
    Détecté

    Un NRO du réseau d'accès IELO sur la zone Paris 13ème arrondissement est actuellement injoignable.
    Nos équipes sont sur zone à la recherche du point de coupure.

    ---

    An optical access network node is currently unreachable in Paris 13th district.
    Our team is currently searching the cut point.

Coupure liaison core WDM entre Marolles-Sur-Seine et Saint-Denis-lès-Sens
  • Postmortem
    Postmortem

    NFORMATIONS D’IDENTIFICATION DE L’INCIDENT

    Début d’incident : 03:44 08/07/2025 UTC+2

    Fin d’incident : 09:13 08/07/2025 UTC+2

    NATURE DE L’INCIDENT

    Rupture physique d’une fibre optique sur la dorsale WDM reliant Marolles-sur-Seine (77) à Saint-Denis-lès-Sens (89), entraînant une perte totale de signal sur un port 100 G d’un nœud WDM backbone.

    IMPACT POUR LE CLIENT FINAL

    Indisponibilité complète du trafic entre Marolles-sur-Seine, Montereau et Sens pendant 5 h 29.

    Isolement du POP intermédiaire de Montereau et perte de redondance entre les boucles Île-de-France et Bourgogne.

    Interruption de service sur les VLANs client exclusivement transmis sur ce chemin (jusqu’à 100 Gb/s cumulés).

    CONTEXTE ET CONDITIONS

    Le tronçon affecté est installé dans une tranchée partagée avec l’infrastructure de l’autoroutier. La rupture se situe au point de démarcation entre ses fourreaux et la gaine de notre réseau, dans un regard d’accès en accotement.

    CAUSE RACINE

    Sectionnement de la fibre par la faune (traces de morsures de rongeur constatées). Lors de la première ouverture du regard, la gaine de secours a aussi été arrachée, rompant le second brin et isolant complètement le POP intermédiaire.

    ACTION CORRECTIVE ET RÉSOLUTION

    Coordination immédiate avec le centre de contrôle de l’autoroutier pour un accès sécurisé.

    Ouverture et assainissement du regard : retrait des débris et pose temporaire de protections anti-rongeurs.

    Ré-épissurage des deux fibres coupées et remise en place du breakout.

    Tests OTDR et BER pour validation optique, puis rétablissement du port 100 G.

    Surveillance renforcée pendant 20 minutes avant passage en statut Monitoring.

    RESPONSABILITÉ DE L’INCIDENT

    Faune sauvage : cause première de la coupure.

    Exploitant autoroutier : maintenance de l’intégrité du regard.

    IELO : supervision et coordination des réparations.

    CHRONOLOGIE DES ÉVÉNEMENTS

    03:44 – Détection automatique : perte de signal, alarme critique.

    04:16 – Ouverture d’incident auprès de l’autoroutier ; demande d’accès urgente.

    04:36 – Confirmation de prise en charge ; équipe terrain dépêchée.

    06:12 – Arrivée sur site ; breakout endommagé et fibres sectionnées constatés.

    06:25 – Analyse OTDR : rupture localisée à 37,8 km du site de Sens.

    06:30 – Mise en place du chantier et sécurisation.

    06:35–07:13 – Ré-épissurage des deux brins et remise en conformité du breakout.

    07:13 – Fin des travaux physiques ; lancement des tests optiques.

    08:30 – Information envoyée aux clients impactés.

    09:13 – Tests validés ; liens opérationnels ; clôture technique de l’incident.

    09:33 – Passage en phase Monitoring (24 h).

    CONCLUSION

    Le 8 juillet 2025 à 03 h 44, une coupure fibre provoquée par la faune a interrompu la liaison WDM entre Marolles-sur-Seine et Saint-Denis-lès-Sens, isolant le POP de Montereau. La collaboration rapide entre IELO et l’exploitant autoroutier a permis de ré-épissurer et protéger les fibres ; le service a été rétabli à 09 h 13 après 5 h 29 d’indisponibilité, puis placé sous surveillance renforcée.

    ──────────────────────────────────────────────

    Core WDM Link Outage – Marolles-sur-Seine ↔ Saint-Denis-lès-Sens

    INCIDENT IDENTIFICATION

    Incident start: 03:44 08/07/2025 UTC+2

    Incident end: 09:13 08/07/2025 UTC+2

    NATURE OF THE INCIDENT

    Physical break of an optical fibre on the core WDM backbone connecting Marolles-sur-Seine (77) to Saint-Denis-lès-Sens (89), leading to total signal loss on a 100 G port of a backbone WDM node.

    IMPACT ON END CUSTOMERS

    Complete service outage on the Marolles-sur-Seine – Montereau – Sens path for 5 h 29.

    Isolation of the intermediate Montereau PoP and loss of redundancy between the Île-de-France and Burgundy rings.

    Traffic interruption for all customer VLANs carried exclusively on this route (up to 100 Gb/s aggregate).

    CONTEXT AND CONDITIONS

    The affected span is installed in a trench shared with the motorway manager’s infrastructure. The break occurred at the demarcation point between its ducts and the operator’s own conduit, inside a roadside hand-hole.

    ROOT CAUSE

    Fibre cut by wildlife (rodent bite marks observed). During the first opening of the hand-hole the spare sheath was also torn, severing the second fibre and fully isolating the Montereau PoP.

    CORRECTIVE ACTION AND RESOLUTION

    Immediate coordination with the motorway manager’s control centre to secure access.

    Hand-hole cleaning: debris removal and temporary anti-rodent protection.

    Re-splicing of the two severed fibres and breakout re-installation.

    OTDR and BER tests to validate optical performance, followed by restoration of the 100 G port.

    Enhanced monitoring for 20 minutes, then transition to Monitoring status.

    INCIDENT RESPONSIBILITY

    Wildlife: primary cause of the cut.

    Motorway manager: upkeep of hand-hole integrity.

    IELO: supervision and coordination of repair works.

    TIMELINE OF EVENTS

    03:44 – Automatic detection: signal loss, critical alarm triggered.

    04:16 – Incident opened with the motorway manager; urgent access requested.

    04:36 – Confirmation from the motorway manager; field team dispatched.

    06:12 – On-site arrival; damaged breakout and severed fibres observed.

    06:25 – OTDR analysis: break located 37.8 km from the Sens site.

    06:30 – Worksite set-up and securing.

    06:35–07:13 – Re-splicing of both fibres and breakout restoration.

    07:13 – Physical works completed; optical tests initiated.

    08:30 – Information notice sent to impacted customers.

    09:13 – Tests validated; links operational; technical closure of incident.

    09:33 – Transition to Monitoring phase (24 h).

    CONCLUSION

    On 8 July 2025 at 03:44, a wildlife-induced fibre cut disrupted the WDM link between Marolles-sur-Seine and Saint-Denis-lès-Sens, isolating the Montereau PoP. Swift collaboration between IELO and the motorway manager enabled re-splicing, protection and service restoration by 09:13, after 5 h 29 of unavailability, followed by enhanced monitoring.

  • Résolu
    Résolu
    ## **Informations d’identification de l’incident** **Début Incident :** 03 :44 08/07/2025 UTC+2 **Fin d’incident :** 09 :13 08/07/2025 UTC+2 ## **Nature de l’incident** Rupture physique d’une fibre optique sur la dorsale WDM reliant Marolles-sur-Seine (77) à Saint-Denis-lès-Sens (89), provoquant la perte totale de signal sur un **port 100 G** d’un **nœud WDM backbone**. --- ## **Impact pour le client final** * **Indisponibilité complète** du trafic entre Marolles-sur-Seine, Montereau et Sens pendant **5 h 29**. * Isolement du **POP intermédiaire de Montereau** et perte de redondance entre les boucles Île-de-France et Bourgogne. * Interruption de service sur les VLANs client exclusivement transmis sur ce chemin (jusqu’à **100 Gb/s** cumulés). --- ## **Contexte et conditions** Le tronçon affecté est posé en tranchée partagée avec l’infrastructure autoroutière. La rupture se situe au point de démarcation entre les fourreaux de l’autoroutier et la gaine de notre réseau, dans un regard d’accès en accotement. --- ## **Cause racine (Root Cause)** Sectionnement de la fibre par la faune (traces de morsure de rongeur constatées). Lors de la première ouverture du regard, la gaine de secours a également été arrachée, rompant le second brin et isolant complètement le POP intermédiaire. --- ## **Action corrective et résolution** 1. **Coordination immédiate** avec le PC autoroutier pour un accès sécurisé. 2. **Ouverture et assainissement** du regard : retrait des débris et pose temporaire de protections anti-rongeurs. 3. **Ré-épissurage** des deux fibres coupées et remise en place du breakout. 4. **Tests OTDR et BER** pour validation optique, suivis du rétablissement du port 100 G. 5. **Surveillance renforcée** pendant 20 minutes, puis passage en statut _Monitoring_. --- ## **Responsabilité de l’incident** * **Faune sauvage** : cause première de la coupure. * **Exploitant autoroutier** : maintien de l’intégrité du regard. * **IELO** : supervision et coordination des réparations. --- ## **Synthèse chronologique des événements** | **Heure (UTC+2)** | **Événement** | | ------------------- | ---------------------------------------------------------------------------- | | **03 :44** | Détection automatique – perte de signal, alarme critique. | | 04 :16 | Ouverture d’incident auprès de l’autoroutier, demande d’accès urgente. | | 04 :36 | Confirmation de prise en charge par APRR – attente de l’équipe terrain. | | 06 :12 | Arrivée sur site ; constat d’un breakout endommagé et fibres sectionnées. | | 06 :25 | Analyse OTDR : rupture localisée à 37,8 km du site de Sens. | | 06 :30 | Installation du chantier et sécurisation. | | **06 :35 – 07 :13** | Ré-épissurage des deux brins et remise en conformité du breakout. | | **07 :13** | Fin des travaux physiques – lancement des tests optiques. | | 08 :30 | Communication d’information envoyée aux clients impactés. | | **09 :13** | Validation des tests : liens opérationnels, clôture technique de l’incident. | | 09 :33 | Passage en phase _Monitoring_ (24 h). | --- ## **Conclusion** Le 8 juillet 2025 à 03 h 44, une coupure fibre provoquée par la faune a interrompu la liaison WDM entre Marolles-sur-Seine et Saint-Denis-lès-Sens, isolant le POP de Montereau. Grâce à la collaboration rapide entre IELO et l’exploitant autoroutier, les fibres ont été ré-épissurées et protégées ; le service a été rétabli à 09 h 13 après 5 h 29 d’indisponibilité, puis placé sous surveillance renforcée. --- ## **Incident Identification** **Incident start :** 03 :44 08/07/2025 UTC+2 **Incident end :** 09 :13 08/07/2025 UTC+2 ## **Nature of the Incident** Physical break of an optical fibre on the core WDM backbone connecting Marolles-sur-Seine (77) to Saint-Denis-lès-Sens (89), causing total loss of signal on a **100 G port** of a **backbone WDM node**. --- ## **Impact on End Customers** * **Complete service outage** on the Marolles-sur-Seine ↔ Montereau ↔ Sens path for **5 h 29**. * Isolation of the **intermediate Montereau PoP** and loss of redundancy between the Île-de-France and Burgundy rings. * Traffic interruption for all customer VLANs carried exclusively on this route (up to **100 Gb/s** aggregated). --- ## **Context and Conditions** The affected span is installed in a trench shared with the motorway infrastructure. The break occurred at the demarcation point between Motorway operator ducts and the operator’s own conduit, inside a roadside hand-hole. --- ## **Root Cause** Fibre cut by wildlife (rodent bite marks observed). During the first opening of the hand-hole the spare sheath was also torn, severing the second fibre and completely isolating the Montereau PoP. --- ## **Corrective Action and Resolution** 1. **Immediate coordination** with Motorway operator control centre to secure access. 2. **Hand-hole cleaning**: debris removal and temporary anti-rodent protection. 3. **Re-splicing** of the two severed fibres and re-installation of the breakout. 4. **OTDR and BER tests** to validate optical performance, followed by restoration of the 100 G port. 5. **Enhanced monitoring** for 20 minutes, then transition to _Monitoring_ status. --- ## **Incident Responsibility** * **Wildlife**: primary cause of the cut. * **Motorway operator**: upkeep of hand-hole integrity. * **IELO**: supervision and coordination of repair works. --- ## **Timeline of Events** | **Time (UTC+2)** | **Event** | | ----------------- | ------------------------------------------------------------------ | | **03:44** | Automatic detection – signal loss, critical alarm triggered. | | 04:16 | Ticket opened with Motorway operator, urgent access requested. | | 04:36 | Motorway operator confirmation – field team dispatched. | | 06:12 | On-site arrival; damaged breakout and severed fibres observed. | | 06:25 | OTDR analysis: break located 37.8 km from Sens site. | | 06:30 | Worksite set-up and securing. | | **06:35 – 07:13** | Re-splicing of both fibres and breakout restoration. | | **07:13** | Physical works completed – optical tests initiated. | | 08:30 | Information notice sent to impacted customers. | | **09:13** | Tests validated: links operational, technical closure of incident. | | 09:33 | Transition to _Monitoring_ phase (24 h). | --- ## **Conclusion** On 8 July 2025 at 03:44, a wildlife-induced fibre cut disrupted the WDM link between Marolles-sur-Seine and Saint-Denis-lès-Sens, isolating the Montereau PoP. Swift collaboration between IELO and the motorway operator enabled re-splicing, protection and service restoration by 09:13, after 5 h 29 of unavailability, followed by reinforced monitoring.
  • Surveillé
    Surveillé

    Date : 8 juillet 2025
    Heure de détection : 03h44 (heure locale)
    Statut : Monitoring
    Durée : ~5h30

    Une alerte critique a été détectée sur notre réseau le 8 juillet à 03h44. La perte de liaison a été confirmée à cette heure.

    L’analyse par réflectométrie a localisé la rupture de fibre à 37,8 km du site de Sens (89) en direction de Montereau (77), précisément à la jonction entre les infrastructures autoroutières et celles de IELO. Cette configuration a nécessité une coordination immédiate avec l’opérateur autoroutier.

    Chronologie des actions :

    • 04h16 : Déclaration de l’incident à l’opérateur autoroutier et demande d’intervention.

    • 04h36 : Prise en compte confirmée par l’opérateur.

    • 06h12 : Inspection sur site : dégradation du cable de fibre attribuée à un rongeur. Lors de l’intervention, la seconde adduction a également été impactée. Une seconde équipe a été mobilisée en anticipation.

    • 09h13 : Liaison réparée par les équipes autoroutières. Incident clôturé.

    Nous restons mobilisés pour surveiller la stabilité de la liaison et éviter toute récidive.



    English :

    Date: July 8, 2025
    Detection Time: 01:44 UTC
    Status: Monitoring
    Duration: ~5h30

    A critical alert was detected on our network on July 8 at 01:44 UTC. The fiber link was confirmed down at that time.

    Optical reflectometry identified a cut at 37.8 km from the Sens site (89) towards Montereau (77), right at the boundary between highway infrastructure and IELO’s private network. Coordination with the highway operator was therefore required.

    Timeline of actions:

    • 02:16 UTC: Incident reported to the highway operator, intervention requested.

    • 02:36 UTC: Acknowledgement received from the highway operator.

    • 04:12 UTC: On-site diagnosis: fiber breakout damage attributed to rodent activity. During the operation, the second duct was also compromised. A backup team was dispatched proactively.

    • 07:13 UTC: Repair completed by the highway teams. Incident resolved.

    We continue to monitor the link for stability and to prevent recurrence.

  • Identifié
    Identifié

    Bonjour,

    Nous venons de relancer le fournisseur autoroutier ; l'intervention est toujours en cours.
    Nous reviendrons vers vous dès que nous aurons un ETR.

    Cordialement,

    ---

    Hello,

    We have followed up with the highway provider; the intervention is still ongoing.
    We will get back to you as soon as we have an ETA.

    Best regards,

  • Détecté
    Détecté

    Nous subissons actuellement une coupure sur notre réseau WDM entre Marolles-Sur-Seine et Saint-Denis-lès-Sens.
    La zone approximative de coupure a été localisée par tir d'OTDR en zone autoroutière. Le mainteneur autoroutier est prévenu et une équipe se rend sur zone pour affiner la localisation et effectuer les réparations.

    ---

    We are currently facing a fiber cut on our WDM network between Marolles-Sur-Seine and Saint-Denis-lès-Sens.
    The cut zone has been identified by OTDR shot to be in motorway zone. Motorway maintainer has been called, and a field team is being sent on site to repair the cut.

01/06

Débordement de maintenance - Maintenance overrun – Ticket #277706
  • Résolu
    Résolu

    La maintenance est terminée depuis 12h30.

    Tous les services doivent maintenant être de nouveau opérationnels.

    Nous vous invitons à nous remonter dans les tickets tout problème persistant.

    Nous nous excusons pour la gêne occasionnée.

    Cordialement,

    L'équipe Support IELO


    Maintenance was completed at 10:30 UTC.

    All services should now be operational again.

    We invite you to report any persistent problems in the tickets.

    We apologize for any inconvenience caused.

    Best regards,

    The IELO Support Team

  • Mettre à jour
    Mettre à jour

    Une opération de maintenance sur le réseau Fibre a débuté comme prévu à 23h00. Initialement prévue jusqu’à 6h00, cette intervention a été prolongée en raison de difficultés organisationnelles et de priorisation entre les équipes techniques.

    Problèmes identifiés :

    • Communication inter-équipes insuffisante, entraînant un décalage dans le déroulement des opérations.

    • Retard dans les tests de validation, certaines vérifications n’ayant pas pu être réalisées dans les délais.

    Avancement des travaux :

    • 23h00 : Coupure des liens prioritaires pour vérifications.

    • 23h45 : Validation des liens prioritaires, coupure du reste du réseau.

    • 01h00 : Câble en cours de rentrée.

    • 02h00 : Démarrage des soudures.

    • 06h20 : Plusieurs fibres clients restent indisponibles, un renfort d’intervention a été déclenché.

    • 11h20 : 90% des liens sont rétablis ; nos équipes poursuivent les actions pour restaurer les liens restants.

    Prochaines étapes :

    • Finalisation des dernières soudures en cours.

    • Vérification approfondie des liens encore indisponibles.

    • Relance manuelle des tests optiques.

    Nous présentons nos excuses pour ce dépassement de délai.


    International version :
    A fiber network maintenance operation started as planned at 21:00 UTC. Originally scheduled to finish by 04:00 UTC, the operation was extended due to organizational and prioritization issues among technical teams.

    Identified issues:

    • Insufficient inter-team communication caused delays in the operation timeline.

    • Validation tests were delayed, and some checks could not be completed on time.

    Progress update:

    • 21:00 UTC: Priority links were cut for verification.

    • 21:45 UTC: Priority links validated; rest of the network was cut.

    • 23:00 UTC: Cable retraction in progress.

    • 00:00 UTC: Welding operations started.

    • 04:20 UTC: Several customer fibers remain down; additional intervention teams were dispatched.

    • 09:20 UTC: 90% of links restored; teams continue efforts to recover remaining links.

    Next steps:

    • Finalize ongoing welding tasks.

    • Perform thorough verification of still unavailable links.

    • Manually relaunch optical tests.

    We apologize for this overrun.

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L'intervention se poursuit. La plus grosse partie des raccordements restants est terminée.

    Les liens sont en train de remonter au fur et à mesure.

    Nos équipes terrain font le maximum pour rétablir vos services dans les meilleurs délais.

    Un nouvel update sera fait d'ici une heure.

    Cordialement,

    L'équipe Support IELO


    Hello,

    The intervention is continuing. Most of the remaining connections have been completed.

    Links are being restored as we go along.

    Our field teams are doing their utmost to restore your services as quickly as possible.

    A further update will be provided within the hour.

    Best regards,

    The IELO Support Team

  • Identifié
    Identifié

    Bonjour,
    Nous rencontrons un débordement de maintenance (ticket #277706). Nos équipes sont actuellement sur place afin de la finaliser. Nous vous tiendrons informés dès que nous aurons plus d’informations.

    Cordialement.
    ____________
    Hello,
    We are currently experiencing a maintenance overrun (ticket #277706). Our teams are on site to complete the work. We will get back to you as soon as we have more information.

    Best regards.

Portail ielo indisponible
  • Postmortem
    Postmortem

    Version Francaise

    Informations d’identification de l’incident

    • Date et heure de début : 22:19 05/06/2025 UTC+2

    • Date et heure de fin : 01:19 06/06/2025 UTC+2

    • Durée totale de l’incident : 3h00

    • Numéro de référence de l’incident interne IELO : #282634

    • Date de rédaction du rapport : 05-06-2025

    • Version du rapport : 1.2

    Nature de l’incident

    Bug de corruption FIB sur routeurs Core suite à un fort volume de convergence réseau lors d'une opération d'upgrade logicielle sur un routeur core voisin. Ce dysfonctionnement a provoqué une incohérence du routage sur les services transitant par l'équipement core impacté, engendrant une coupure partielle d'une partie des services Web et des interruptions ou perturbations sur certains services client.

    Impact pour le client final

    L’incident a eu un double impact :

    • Services Web IELO : portail et API temporairement inaccessibles.

    • Services clients : plusieurs services ont été interrompus ou dégradés (FTTO, FTTO burst, FTTH, xDSL, LanToLan, Transit IP).

    Contexte et conditions

    L’intervention visait à faire évoluer deux équipements backbone vers la dernière version logicielle du constructeur. Pour ce faire, les équipements doivent passer par trois versions intermédiaires avant la mise à jour finale.

    Peu après l’activation de la première version intermédiaire, des erreurs critiques de programmation FIB ont été observées, bloquant l’injection des routes dans le routeur.

    La situation a été aggravée par un comportement défaillant d'un routeur voisin qui, suite à l’instabilité réseau induite par l’upgrade (convergence), a lui aussi rencontré un bug FIB. Cette défaillance secondaire est celle qui a généré les interruptions visibles côté client.

    Root Cause

    Le bug principal réside dans la version logicielle intermédiaire, dont la gestion de la table FIB est instable sur certains équipements.
    L’effet de convergence réseau (OSPF/BGP) induit par ce défaut a déclenché un second incident critique sur un routeur voisin, qui a alors cessé de redistribuer correctement le trafic.

    Action corrective et résolution

    1. Analyse des logs FIB et détection des erreurs critiques.

    2. Reload complet du routeur cible de la campagne d'upgrade, puis validation du plan de routage.

    3. Isolation du routeur voisin temporairement pour neutraliser l’impact sur le domaine OSPF pendant la convergence.

    4. Installation de l'ensemble des mises à jour sur le routeur cible de la campagne d'upgrade.

    5. Rétablissement des sessions BGP, nettoyage des routes résiduelles, et contrôle complet de la FIB.

    6. Supervision continue jusqu’au retour complet des services internes et client.

    7. Génération et extraction de fichiers de diagnostic pour analyse constructeur.

    Responsabilité de l’incident

    Responsabilité IELO.
    L’incident s’est produit dans le cadre d’une maintenance planifiée par les équipes d’exploitation, en lien avec les équipes d’ingénierie. Le chemin de migration imposait un passage transitoire par une version identifiée comme instable, ce qui a provoqué le défaut malgré l'isolation réseau du routeur en préambule de l'opération.

    Synthèse chronologique des événements

    Heure (UTC+2)

    Événement

    22:09 05/06

    Reload « à blanc » du routeur cible

    22:19 05/06

    Activation de la première version intermédiaire

    22:42 05/06

    Indisponibilité de services Web IELO et suspicion de dégradation de services clients

    22:52 05/06

    Création de la cellule de crise

    23:29 05/06

    Connexion au routeur cible de nouveau opérationnel, clear LDP/BGP, erreurs FIB détectées

    23:32 05/06

    Reload du routeur cible

    00:12 06/06

    Upgrade en cours du routeur cible vers seconde version intermédiaire

    00:25 06/06

    Isolation réseau temporaire d'un routeur adjacent

    00:45 06/06

    Upgrade final pour le routeur cible

    01:06 06/06

    Routeur cible de nouveau opérationnel

    01:18 06/06

    Reload du routeur adjacent + normalisation réseau

    01:19 06/06

    Rétablissement des services

    01:23 06/06

    Compilation des fichiers traceback à destination du constructeur

    Conclusion

    Une opération de maintenance logicielle planifiée a déclenché une panne critique de la FIB sur deux routeurs backbone, suite à un passage par une version instable. L’impact s’est propagé des services internes aux services clients.
    Les équipes IELO ont mobilisé une cellule de crise regroupant l’exploitation, l’ingénierie et le support pour traiter l’incident. La montée en version stable et les corrections manuelles ont permis un rétablissement complet à 01:19.


    International version

    Incident Identification Information

    • Start date and time: 22:19 05/06/2025 UTC+2

    • End date and time: 01:19 06/06/2025 UTC+2

    • Total incident duration: 3h00

    • IELO internal incident reference: #282634

    • Report creation date: 05/06/2025

    • Report version: 1.2

    Incident Description

    FIB corruption bug on Core routers triggered by a high volume of network convergence during a software upgrade operation on a neighboring core router. This malfunction caused routing inconsistencies on services transiting through the impacted core device, resulting in partial outages of some Web services and interruptions or degradation of certain customer services.

    Impact on End Customers

    The incident had a dual impact:

    • IELO Web services: portal and API temporarily unavailable.

    • Customer services: multiple services experienced interruptions or degradations (FTTO, FTTO burst, FTTH, xDSL, LanToLan, IP Transit).

    Context and Conditions

    The intervention aimed to upgrade two backbone devices to the vendor’s latest software version. This required a sequential upgrade through three intermediate versions before the final update.

    Shortly after activating the first intermediate version, critical FIB programming errors were observed, blocking route injection into the router.

    The situation was worsened by a faulty neighboring router which, due to network instability induced by the upgrade (convergence), also encountered a FIB bug. This secondary failure caused the visible customer-side service interruptions.

    Root Cause

    The primary bug lies within the intermediate software version, where FIB table management is unstable on certain devices.
    The network convergence effect (OSPF/BGP) triggered by this defect caused a second critical incident on a neighboring router, which stopped properly redistributing traffic.

    Corrective Actions and Resolution

    1. Analysis of FIB logs and identification of critical errors.

    2. Full reload of the target router under upgrade, followed by routing table validation.

    3. Temporary isolation of the neighboring router to neutralize OSPF domain impact during convergence.

    4. Installation of all updates on the target router under upgrade.

    5. Restoration of BGP sessions, cleanup of residual routes, and full FIB verification.

    6. Continuous monitoring until full recovery of internal and customer services.

    7. Generation and extraction of diagnostic files for vendor analysis.

    Incident Accountability

    IELO responsibility.
    The incident occurred during a planned maintenance conducted by the operations teams in coordination with engineering. The migration path required passing through an identified unstable version, which caused the defect despite preliminary router isolation before the operation.

    Chronological Summary of Events

    Time (UTC+2)

    Event

    22:09 05/06

    “Dry” reload of the target router

    22:19 05/06

    Activation of the first intermediate version

    22:42 05/06

    IELO Web services outage and suspected degradation of customer services

    22:52 05/06

    Crisis management team established

    23:29 05/06

    Target router is accessible again, LDP/BGP cleared, FIB errors detected

    23:32 05/06

    Reload of the target router

    00:12 06/06

    Upgrade in progress to second intermediate version

    00:25 06/06

    Temporary network isolation of adjacent router

    00:45 06/06

    Final upgrade for the target router

    01:06 06/06

    Target router back operational

    01:18 06/06

    Reload of adjacent router + network normalization

    01:19 06/06

    Services restored

    01:23 06/06

    Traceback files compiled for vendor analysis

    Conclusion

    A planned software maintenance operation triggered a critical FIB failure on two backbone routers due to passage through an unstable software version. The impact spread from internal services to customer-facing services.
    IELO teams mobilized a crisis unit involving operations, engineering, and support to handle the incident. The upgrade to a stable version combined with manual fixes enabled full service restoration by 01:19.

  • Résolu
    Résolu

    Nos équipes ont vérifié l’ensemble des services précédemment identifiés comme impactés, et la situation est désormais revenue à la normale.

    Un RFO horodaté sera rédigé dans les prochains jours et publié sur cette page.

    Nous vous prions de nous excuser pour la gêne occasionnée.



    Our teams have completed checks on all services previously identified as impacted, and the situation has now returned to normal.

    A timestamped RFO will be prepared in the coming days and shared on this page.

    We apologize for the inconvenience caused.

  • Surveillé
    Surveillé

    L’ensemble des upgrades et redémarrages prévus ont été réalisés.
    Nos équipes procèdent actuellement à une vérification complète des services affectés afin de confirmer la fin de l’incident.

    Nous publierons un message de clôture une fois le rétablissement confirmé.


    All planned upgrades and reboots have been completed.
    Our teams are now performing a full check of the impacted services to confirm resolution of the incident.

    A final update will be shared once recovery is confirmed.

  • Mettre à jour
    Mettre à jour

    Bonsoir,,

    Il nous reste à effectuer un dernier upgrade ainsi qu’un redémarrage d’un équipement adjacent.
    Une fois ces opérations terminées, nous prévoyons un rétablissement de la situation.

    Nos équipes restent mobilisées jusqu’au retour à la normale.


    Hello,

    One final upgrade and a reboot of an adjacent device are still required.
    Once these steps are completed, we expect the situation to be resolved.

    Our teams remain engaged until full recovery is confirmed.

  • Identifié
    Identifié

    Bonjour,

    Nos équipes procèdent actuellement à un upgrade sur l’un de nos équipements de cœur de réseau, dans le but de rétablir la situation.
    Le chargement de la première mise à jour est en cours sur l’équipement concerné.

    Nous restons mobilisés jusqu’au rétablissement complet des services.

    ---


    Hello,

    Our teams are currently performing an upgrade on one of our core network devices to help restore normal service.
    The first update is currently being loaded on the identified equipment.

    We remain fully engaged until services are fully restored.

  • Détecté
    Détecté

    Bonsoir,

    Nous observons actuellement que certaines liaisons au sein de notre backbone ne parviennent plus à atteindre leur destination cible.
    Nos premières investigations s’orientent vers un défaut localisé sur la région parisienne.

    Nos équipes poursuivent activement leurs analyses pour isoler la cause exacte du dysfonctionnement.

    Cordialement,


    ----

    Hello,

    We are currently observing that some backbone links are no longer reaching their target destinations.
    Initial investigations suggest a potential fault in the Paris area.

    Our engineering teams are continuing their analysis to identify the exact root cause.

    Regards,

  • Surveillé
    Surveillé

    Bonjour,

    L’accès au portail ielo est désormais rétabli.
    Nos équipes poursuivent leurs investigations afin d’identifier précisément l’origine du dysfonctionnement.

    Merci pour votre compréhension.


    Hello,

    Access to the ielo portal has been restored.
    Our teams are continuing their investigations to determine the root cause of the issue.

    Thank you for your understanding.

  • Détecté
    Détecté
    Bonjour, Notre portail ielo est actuellement indisponible. Nos équipes d'ingénierie réseau sont en cours d’investigation afin d’identifier la cause de l’incident et rétablir l’accès dans les meilleurs délais. Nous vous prions de nous excuser pour la gêne occasionnée. --- Hello, Our ielo portal is currently unavailable. Our network engineering teams are actively investigating the issue to determine the root cause and restore access as soon as possible. We apologize for the inconvenience.

01/05

[Alpes-Maritimes] Incident energie region
  • Résolu
    Résolu
    This incident has been resolved.
  • Surveillé
    Surveillé

    Le retour de l’alimentation électrique sur l’ensemble de nos sites impactés dans les Alpes-Maritimes a été confirmé à 19h50 par Enedis et nos hébergeurs.

    Par mesure de précaution, nous maintenons une surveillance active de la situation durant toute la nuit.

    Nous vous prions de nous excuser pour la gêne occasionnée.


    Power has been fully restored across all our affected sites in the Alpes-Maritimes, as confirmed by Enedis and our hosting providers at 17:50 UTC.

    As a precaution, we will continue to closely monitor the situation throughout the night.

    We apologize for the inconvenience caused.

  • Détecté
    Détecté

    Un incident d’origine externe impacte actuellement plusieurs POP ielo dans les Alpes-Maritimes, en raison d’actes de sabotage sur des pylônes électriques. Cette situation entraîne une perte d’alimentation électrique sur certains de nos sites.

    Selon les informations transmises par Enedis, un rétablissement progressif de l’énergie est prévu à partir de 16h15.

    Nos équipes suivent attentivement l’évolution de la situation. Un prochain message sera publié pour détailler les prochaines étapes majeures.

    Nous vous prions de nous excuser pour la gêne occasionnée.

    ---

    An external incident is currently affecting several ielo POPs in the Alpes-Maritimes region due to sabotage of power transmission pylons. This has resulted in a loss of electrical supply to some of our sites.

    According to the electricity provider Enedis, power restoration is expected to begin progressively from 14:15 UTC.

    Our teams are closely monitoring the situation. We will post an update shortly to outline the next key steps.

    We apologize for the inconvenience caused.

Pertes d’énergie sur un POP de la zone de Nice (06)
  • Résolu
    Résolu

    Les opérations sont terminées. Les équipements sont stables et les services pleinement fonctionnels.

    ---

    Maintenance is over. Equipments are stable, and services are fully operationnal.

  • Surveillé
    Surveillé

    Bonjour,

    L'ensemble des services est de nouveau fonctionnel. Nous maintenons une surveillance active de la situation pendant toute la durée de la maintenance afin d'assurer la stabilité des équipements.

    Un dernier message sera publié à la fin de l’intervention pour confirmer la clôture de l’opération.

    Merci pour votre patience.


    Hello,

    All services are now back online. We are actively monitoring the situation throughout the maintenance window to ensure system stability.

    A final update will be posted at the end of the operation to confirm closure.

    Thank you for your patience.

  • Identifié
    Identifié

    L'opération de maintenance énergétique prévue devait être réalisée en coordination entre notre hébergeur et nos équipes, afin de garantir l'absence d'interruption de service.

    Cependant, l’hébergeur a lancé l’intervention avec une heure d’avance sur l’horaire initialement convenu, sans attendre la présence de nos équipes. Cette anticipation a entraîné une coupure des équipements.

    Nos équipes techniques seront sur site d’ici une dizaine de minutes pour procéder à la remise en service des équipements impactés.

    Nous vous tiendrons informés de l’évolution de la situation.

    Merci de votre compréhension.


    The scheduled power maintenance was intended to be carried out jointly by our hosting provider and our teams to avoid any service disruption.

    However, the provider started the operation one hour earlier than initially agreed, without our team's presence on-site. This premature start led to equipment shutdown.

    Our technical teams are arriving on-site within the next 10 minutes to begin service restoration.

    We will keep you updated on the progress.

    Thank you for your understanding.

  • Détecté
    Détecté

    Bonjour,

    Une opération de maintenance énergétique sur l’un de nos POP situés à Nice a entraîné une perte d’alimentation électrique sur le site.
    Nos équipes sont mobilisées pour rétablir l’ensemble des services dans les plus brefs délais.

    Nous vous prions de nous excuser pour la gêne occasionnée.

    Cordialement,



    Hello,

    A power maintenance operation on one of our POPs in Nice has resulted in a site-wide power outage.
    Our teams are actively working to restore all services as quickly as possible.

    We apologize for the inconvenience.

    Regards,

Pertes d’énergie sur un POP de la zone de Nice (06)
  • Résolu
    Résolu
    This incident has been resolved.
  • Surveillé
    Surveillé

    Bonjour,

    L'incident est terminé depuis 2025-05-04 23:55,
    Nous observons bien l'intégralité des liens impactée UP

    Cet incident est mis sous surveillance jusqu'à demain matin.

    Cordialement,


    --

    Hello,

    The incident has been closed since 2025-05-04 23:55,

    We can see that all UP links were affected.


    This incident is under surveillance until tomorrow morning.

    Regards,

  • Détecté
    Détecté

    Nous rencontrons actuellement des pertes d’alimentation électrique sur l’un de nos POP desservant la zone de Nice. L’incident a été escaladé auprès de l’hébergeur, qui travaille à la restauration et à la stabilisation de la fourniture d’énergie.
    À ce stade, aucune heure de rétablissement n’est communiquée.
    Nos équipes restent mobilisées et nous vous tiendrons informés de l’évolution de la situation.
    Nous vous prions de nous excuser pour la gêne occasionnée.


    We are currently experiencing power outages at one of our POPs serving the Nice area. The incident has been escalated to the hosting provider, who is working to restore and stabilize the power supply.
    At this time, no estimated time of resolution is available.
    Our teams remain fully engaged and we will provide updates as the situation evolves.
    We apologize for the inconvenience caused.

01/05 à 01/07

Suivant