Le tirage est terminé.

Nous procédons aux soudures.

Vos services seront rétablis au fur et à mesure des soudures.

Nous reviendrons vers vous une fois les travaux de soudure terminés.

Cordialement

Pulling is finished.

We are now start welding.

Your service will be restored as the welding progresses.

We'll get back to you once the welding work is complete.

Best regards

Nos équipes procèdent au tirage du nouveau câble sur une longueur de 400 mètres.

Nous reviendrons vers vous dès que les soudures auront commencé.

Cordialement

Our teams are pulling the new cable over a length of 400 meters.

We'll get back to you as soon as the welding has started.

Best regards

Bonjour,

Les dégâts sont plus importants que prévu, et nécessitent le tirage d'un nouveau câble.
Une équipe de tirage se rend sur site.

Hello,

Damage on the cable are worst than initially seen.
We'll need to deploy a new cable.

A cable deployment team has been sent on site.

Bonjour,

Nos équipes sont toujours en action, nous vous préviendrons lorsque les réparations seront totalement terminée.

Cordialement.

Chers partenaires,

Nous vous informons que l'intervention est toujours en cours dans l'Est. Nous avons mis en place tous les moyens nécessaires pour rétablir vos liens.

Nous sommes encore désolés pour ce désagrément.

Cordialement,

Après vérification de nos équipes sur place, nous suspectons l'un des tubes connecté au fourreau plié.

Nous allons procédé à une migration des services impactés sur un autre tube du fourreau sans avoir besoin de procéder à un nouveau tirage.

Votre lien devrait être rétablie au fur et à mesure des migrations.

Nous reviendrons vers vous une fois les migrations terminées

Cordialement

After verification by our teams on site, we suspect that one of the tubes is connected to the bent sheath.

We'll be migrating the affected services to another tube in the sheath, without needing to re-pull.

Your link should be restored as the migration progresses.

We'll get back to you once the migrations are complete.

Best regards,

Après vérification, certaines fibres sont dégradées.

Nos équipes procéderont à une opération de mutation sur les fibres non dégradées.

Cette opération évitera le remplacement de plusieurs centaines de mètres de fibres (un peu plus de 400 mètres linéaires).

Nous reviendrons vers vous dès que les migrations seront terminées.

After checking, some fibers are degraded.

Our teams will carry out a mutation operation on the non-degraded fibres.

This operation will avoid the replacement of several hundred metres of fibre (just over 400 linear metres).

We will get back to you as soon as the migrations are complete.

Bonjour,

Le site des travaux est actuellement fermé.

Nous sommes en train de contacter l'entreprise gérant le chantier.

Cordialement,

Hello,

The construction site is currently closed.

We are in the process of contacting the company managing the site.

Regards

Bonjour,

Nos équipes sont arrivées sur la zone identifiée. Il y a des travaux dans la zone. Nos équipes sont en train d'ouvrir la chambre pour vérifier nos installations.

Hello,

Our teams have arrived at the identified area. There are works in the area. Our teams are opening the room to check our installations.

Bonjour,

Aucun défaut d'énergie sur site

Nos observons une absence de signal optique. Nos équipes ont réalisé un tir d'OTDR pour déterminer la localisation de l'interruption de signal. Nous détectons une coupure à 20Km du POP. Nos technicien se rendent sur la chambre la plus proche de cette longueur de lien.

Cordialement,

Hello,

No energy fault on site

We observe an absence of optical signal. Our teams carried out an OTDR shot to determine the location of the signal interruption. We detected an interruption 20 km from the POP. Our technicians went to the room closest to this length of link.

Regards

Bonjour,

Nos équipes se rendent sur le POP impacté par la perte de services.

Celle-ci seront sur site d'ici une dizaine de minutes.

Cordialement

Hello,

Our teams are visiting the POP affected by the loss of services.

They will be on site within ten minutes.

Regards

Rapport de Raison d'Interruption (RFO) - Incident Réseau du 2 Août 2024

Introduction

Ce rapport détaille l'incident critique qui a impacté notre réseau cœur le 2 août 2024, les mesures prises pour résoudre l'incident, ainsi que les impacts observés et les leçons apprises.

Informations Générales

• Heures en CEST

  • Début: 2024-08-02 ~ 14:00

  • Détection de dysfonctionnements: pertes de connectivité aléatoires

  • Fin: 2024-08-02 ~ 18:50

  • Confirmation du retour à la normale de tous les services

Origine de l’incident

L'incident a été causé par un dysfonctionnement de deux équipements P/PE avec effet de bord.

Résolution

• Upgrade et redémarrage des deux équipements impactés.

Impact

L'incident a causé des perturbations généralisées des services, notamment :

• Perturbations généralisées de certains services livrés à TH2

• Perturbations généralisées de services traversant TH2

Ces perturbations ont été aléatoires durant l'incident :

• L2: pertes de connectivité / coupures

• L2/L3: pertes de paquets / dégradations

• L3: inconsistances de routage IP depuis et vers certaines destinations Internet

Chronologie de l'Incident

• Heures en CEST

  Début: 2024-08-02 ~ 14:00

  • Détection de dysfonctionnements: pertes de connectivité aléatoires

  2024-08-02 ~ 14:23

  • Identification d’un routeur (frpar-th2-n55h1) ayant un comportement de forwarding aléatoire

  • Contournement de ce routeur hors services locaux impactés

  2024-08-02 ~ 14:43

  • Les problèmes perdurent, un autre routeur (frpar-th2-n55h2) apparaît comme étant la source de l’instabilité

  • Contournement de ce second routeur hors services locaux

  • Normalisation de la configuration frpar-th2-n55h1

  • Désactivation des peerings FranceIX

  2024-08-02 ~ 14:44

  • Préparation et mise à jour de frpar-th2-n55h2

  2024-08-02 ~ 15:02

  • Redémarrage suite à la mise à jour

  2024-08-02 ~ 15:10

  • Routeur à nouveau joignable

  2024-08-02 ~ 15:17

  • Normalisation de la configuration frpar-th2-n55h2

  2024-08-02 ~ 15:24

  • Réactivation des peerings FranceIX

  2024-08-02 ~ 15:30

  • Des problèmes persistent, en particulier au niveau L3

  2024-08-02 ~ 15:50

  • Malgré des améliorations, il reste beaucoup de services impactés

  • Les investigations continuent

  2024-08-02 ~ 16:49

  • Toujours des incohérences de routage (L3) et de continuité (L2) sur certains services passant par frpar-th2-n55h1, comportement erratique et corruptions de FIB

  • Certains bugs constructeurs semblent correspondre

  2024-08-02 ~ 16:50

  • Application de workarounds liés aux bugs correspondants

  • Tentatives de reconstruction de la FIB

  • Pendant 1h30, les différentes actions entreprises apportent des améliorations (certains services remontent mais cela reste partiel et temporaire)

  2024-08-02 ~ 18:27

  • Il est finalement décidé de reload frpar-th2-n55h1 suite à l’échec des actions entreprises: la FIB est dans un état non récupérable. Préparation du reload.

  2024-08-02 ~ 18:37

  • Reload de frpar-th2-n55h1

  2024-08-02 ~ 18:43

  • frpar-th2-n55h1 à nouveau joignable

  Fin: 2024-08-02 ~ 18:50

  • Confirmation du retour à la normale de tous les services

Leçons Apprises et Mesures Préventives

• Analyse des Causes Racines: Identification des causes spécifiques du dysfonctionnement des équipements P/PE.

• Amélioration de la Surveillance: Mise en place de systèmes de surveillance plus robustes pour détecter rapidement des anomalies similaires à l'avenir.

• Plans de Contingence: Développement de plans de contingence et de procédures de récupération plus efficaces pour minimiser l'impact en cas d'incidents futurs.

Reason for Outage Report (RFO) - Network Incident of August 2, 2024

Introduction

This report details the critical incident that impacted our core network on August 2, 2024, the measures taken to resolve the incident, the observed impacts, and the lessons learned.

General Information

• Times in CEST / UTC

  • Start: 2024-08-02 ~ 14:00 / 12:00 UTC

  • Detection of malfunctions: random connectivity losses

  • End: 2024-08-02 ~ 18:50 / 16:50 UTC

  • Confirmation of return to normal of all services

Origin of the Incident

The incident was caused by a malfunction of two P/PE devices with side effects.

Resolution

• Upgrade and restart of the two impacted devices.

Impact

The incident caused widespread service disruptions, including:

• Widespread disruptions to certain services delivered at TH2

• Widespread disruptions to services passing through TH2

These disruptions were random during the incident:

• L2: connectivity losses / outages

• L2/L3: packet losses / degradations

• L3: IP routing inconsistencies to and from certain Internet destinations

Incident Timeline

• Times in CEST / UTC

  Start: 2024-08-02 ~ 14:00 / 12:00 UTC

  • Detection of malfunctions: random connectivity losses

  2024-08-02 ~ 14:23 / 12:23 UTC

  • Identification of a router (frpar-th2-n55h1) with random forwarding behavior

  • Workaround to route traffic away from this router for affected local services

  2024-08-02 ~ 14:43 / 12:43 UTC

  • Problems persist, another router (frpar-th2-n55h2) appears to be the source of instability

  • Workaround to route traffic away from this second router for local services

  • Normalization of frpar-th2-n55h1 configuration

  • Deactivation of FranceIX peerings

  2024-08-02 ~ 14:44 / 12:44 UTC

  • Preparation and update of frpar-th2-n55h2

  2024-08-02 ~ 15:02 / 13:02 UTC

  • Restart after update

  2024-08-02 ~ 15:10 / 13:10 UTC

  • Router reachable again

  2024-08-02 ~ 15:17 / 13:17 UTC

  • Normalization of frpar-th2-n55h2 configuration

  2024-08-02 ~ 15:24 / 13:24 UTC

  • Reactivation of FranceIX peerings

  2024-08-02 ~ 15:30 / 13:30 UTC

  • Problems persist, particularly at L3

  2024-08-02 ~ 15:50 / 13:50 UTC

  • Despite improvements, many services remain impacted

  • Investigations continue

  2024-08-02 ~ 16:49 / 14:49 UTC

  • Still L3 routing and L2 continuity inconsistencies on some services passing through frpar-th2-n55h1, erratic behavior and FIB corruptions

  • Some vendor bugs seem relevant

  2024-08-02 ~ 16:50 / 14:50 UTC

  • Application of workarounds related to the relevant bugs

  • Attempts to rebuild the FIB

  • Over the next 1.5 hours, various actions bring some improvements (some services recover but remain partial and temporary)

  2024-08-02 ~ 18:27 / 16:27 UTC

  • Decision to reload frpar-th2-n55h1 after the failure of previous actions: FIB is in an unrecoverable state. Preparation for reload.

  2024-08-02 ~ 18:37 / 16:37 UTC

  • Reload of frpar-th2-n55h1

  2024-08-02 ~ 18:43 / 16:43 UTC

  • frpar-th2-n55h1 reachable again

  End: 2024-08-02 ~ 18:50 / 16:50 UTC

  • Confirmation of return to normal of all services

Lessons Learned and Preventive Measures

• Root Cause Analysis: Identification of the specific causes of the P/PE device malfunctions.

• Improved Monitoring: Implementation of more robust monitoring systems to quickly detect similar anomalies in the future.

• Contingency Plans: Development of more effective contingency plans and recovery procedures to minimize impact in future incidents.

Bonsoir,

Nous avons procédé ce soir à l'opération prévue et nous passons maintenant en phase de monitoring sur l'ensemble des liens pour la prochaine heure. Une fois cette étape terminée, nous allons contrôler spécifiquement les liens identifiés qui ont été impactés vendredi dernier.

Nous vous remercions de votre compréhension et de votre patience.

Cordialement,

This evening, we have performed the planned operation and are now moving into a monitoring phase for all links over the next hour. Once this stage is complete, we will specifically check the links identified as having been impacted last Friday.

We appreciate your understanding and patience.

Regards

Chers clients,

Nous tenons à vous informer qu'un incident critique a impacté notre réseau cœur le vendredi 2 août, de l'après-midi jusqu'en début de soirée. Depuis, la situation est stable et nos équipes ont travaillé sans relâche pour analyser et résoudre le problème.

Nous sommes aujourd'hui pleinement en confiance quant à la remise en service de ce routeur sur le réseau ielo. Pour ce faire, nous procéderons à une remise ISO de notre cœur de réseau ce soir à partir de 21h00. Nos équipes seront mobilisées pour garantir que cette opération se déroule dans les meilleures conditions et minimise toute interruption de service.

Un rapport d'incident (RFO) détaillé sera publié sur notre page de statut demain, mardi 6 août, afin de vous fournir toutes les informations relatives à cet incident et aux mesures prises.

Nous vous remercions de votre compréhension et de votre patience.

Cordialement,

L'équipe d'exploitation
ielo

Dear customers,

We would like to inform you that a critical incident affected our core network on Friday, August 2nd, from the afternoon until the early evening. Since then, the situation has been stable, and our teams have been working tirelessly to analyze and resolve the issue.

We are now fully confident in the reintegration of this router into the ielo network. To achieve this, we will proceed with an ISO restoration of our core network starting at 9:00 PM tonight. Our teams will be mobilized to ensure that this operation goes smoothly and minimizes any service interruptions.

A detailed incident report (RFO) will be posted on our status page tomorrow, Tuesday, August 6th, to provide you with all the information regarding this incident and the measures taken.

We appreciate your understanding and patience.

Best regards,

The Operations Team
ielo

Nos équipes d'ingenierie ont décidé de maintenir le routeur core isolé pour le weekend. Aucune opération sera effectué dessus ni sur le reseau sur ce laps de temps. Nous passons en phase de recontrôle de l'état de services.

Our engineering teams decided to keep the core router isolated for the weekend. No operations will be carried out on it or on the network during this period. We are now in the process of rechecking the state of services.

Notre équipes d'ingenierie rencontré de nouveau un problème avec le routeur core à l'origine de l'incident de ce début d'après-midi provoquant de nouveau un fort impact sur un ensemble des service. Le routeur est de nouveau isolé.

Cordialement,

Service d'Exploitation ielo

Our engineering teams have once again encountered a problem with the core router that caused the incident at the beginning of this afternoon, again causing a major impact on a number of services. The router is now isolated again.

Yours faithfully

ielo Operations Department

Bonjour,

Suite aux opération de contournement de notre équipes d'ingenierie, nous observons une amélioration significative des services de nouveau opérationnel et nominal. Si vous êtes dans cette situation et que vous avez ouvert un ticket incident sur notre portail, nous vous invitons à vous signaler via un commentaire dans le ticket.

Dans le cas contraire, nous sommes aussi preneur de feedback pour indiquer que la situation perdure.

Cordialement,

Hello,

Following the workaround carried out by our engineering team, we are seeing a significant improvement in services once they are operational and nominal again. If you are in this situation and have opened an incident ticket on our portal, we invite you to comment on the ticket.

If this is not the case, we would also welcome feedback to indicate that the situation is still ongoing.

Regards,

Madame, Monsieur,

Nos équipes l'ingénierie ont isolé le routeur défectueux et rerouté le traffic. Les services remontent progressivement. Attention, il est possible d'observer une dégradation des performances des services (latence, débit). Nos équipes d'ingenierie travaille sur le routeur parisien remettre la situation à la normal

Cordialement,

Service d'Exploitation ielo

Our engineering teams have isolated the faulty router and rerouted the traffic. Services are gradually being restored. Please note, however, that link performance may deteriorate (latency, bandwith). Our engineering teams are working on the Paris router to restore the situation to normal.

Regards

ielo Operations Department

Bonjour,
L'incident est maitrisé

Merci de nous signaler toute service qui ne serait pas opérationnel dans les tickets
liés à l'incident.

Cordialement,

Bonjour,

Nous avons récupérer une partie des équipements réseau impactés.
Nous suspectons un défaut électrique dans un noeud de raccordement.

Les équipes d'investigations poursuivent leur recherches.

Bonjour,

Les raccordements se poursuivent.

Nos équipes nous ont indiquées être en train de finaliser les raccordements pour votre réparation provisoire.

Votre service devrait être rétabli dans la journée au fur et à mesure des soudures faites par nos techniciens.

Pour votre réparation définitive, nous vous fournirons dès que nous aurons la date de fin des travaux du chantier responsable de la coupure un mail de maintenance indiquant la date et la durée de cette dernière.

Cordialement,

Hello,

The connections are continuing.

Our teams have told us that they are finalizing the connections for your temporary repair.

Your service should be restored within the day as our technicians complete the welding work.

For your definitive repair, we will send you a maintenance e-mail indicating the date and duration of the outage, as soon as we have the date of completion of the work on the site responsible for the outage.

Best regards

bonjour,

Le raccordement se poursuit.
Nous avons attribué des ressources supplémentaires pour rétablir les liens impactés.

En revanche, l'accès est complexe car plusieurs opérateurs sont sur place pour rétablir
leur liens respectif ce qui ralenti le temps de raccordement par nos équipes.

Pas d'ETR prévisionnel pour le moment.

Bonjour,

Le tirage est désormais finalisé, nous démarrons le raccordement.

Nous reviendrons vers vous dès que nous aurons plus d'informations.

Cordialement

Hello,

The drawing is now complete, and we're starting the connection.

We'll get back to you as soon as we have more information.

Best regards

Bonjour,

Le nouveau tirage de votre ligne est en cours.

Au vu des travaux conséquents, nous n'avons malheureusement pas encore d'ETR à vous fournir.

Toutes nos équipes sont mobilisées pour rétablir votre service.

Nous reviendrons vers vous dès que ce dernier sera finalisé et que nous procéderons aux raccordements.

Cordialement

Hello,

We are in the process of redrawing your line.

Unfortunately, due to the extensive work involved, we are unable to provide you with an ETR at this time.

All our teams are mobilized to restore your service.

We'll get back to you as soon as it's finalized and the connections made.

Best regards

Les services sont rétablis depuis 14h30.
Nos équipes d'interventions n'ont effectués aucune action pour le rétablissement du service.
Nous supectons une action tiers sur une chambre du parcours fibre. Les actions se poursuivent
malgré le rétablissement des services. Si l'un de vos service est toujours impacté, merci de nous le notifier dans le ticket d'incident.

Cordialement,

Bonjour,

L'ensemble des services impactés identifié ont été migrés. L'identification via radius pour les liaisons xDSL et FTTH fonctionnent. Si certains de vos services ne fonctionnent toujours pas, nous vous invitons à vous signaler via notre portail en ouvrant un ticket incident. Si vous avez déjà un ticket incident d'ouvert, merci de poster un update en expliquant votre situation actuellement. Nos équipes d'ingénierie sont mobilisées pour traiter rapidement les quelques cas unitaires qui peuvent rencontrer des difficultés de fonctionnement.

Un point complet sur les évènements est travaillé en interne. Nous avons pour cible de communiquer le compte rendu en milieu de semaine prochaine.

Nous nous excusons pour la gêne occasionnée.

Cordialement,

Hello,

All the services identified as being affected have been migrated. Identification via radius for xDSL and FTTH links is working. If some of your services are still not working, we invite you to report this via our portal by opening an incident ticket. If you already have an incident ticket open, please post an update explaining your current situation. Our engineering teams are mobilised to process quickly the few unit cases that may be experiencing operating difficulties.

A full update on events is being worked on internally. Our target is to communicate the report by the middle of next week.

We apologise for any inconvenience caused.

Regards

Une majorité des services ont été migrés. Vos liens devraient remonter, vous pouvez relancer vos sessions PPPoE. Merci de nous informer si vos services sont encore perturbés.

Nos équipes travaillent encore actuellement au rétablissement de vos services.

Une communication ultérieure sera faite concernant les actions effectuées.

Cordialement,

L'équipe Support IELO

Most services have been migrated. Your links should be back up, and you can restart your PPPoE sessions. Please let us know if your services are still disturbed.

Our teams are still working to restore your services.

You will be informed of any action taken at a later date.

Best regards,

The IELO Support team

Bonjour,

Nos équipes continuent de travailler sur l'incident. Nous faisons un point avec nos équipes d'ingénierie et nous revenons vers vous rapidement.

Cordialement,

Hello,

Our teams are continuing to work on the incident. We are reviewing the situation with our engineering teams and will get back to you shortly.

Regards

Bonsoir,

Nous nous excusons pour la gêne occasionnés. Notre équipe d'ingénierie continue de travailler à la résolution de la situation. Afin de prévenir tout défaut d'authentification, nous vous invitons à éviter les reboot de modem/routeur sur les lignes xDSL et FTTH le temps de la résolution de l'incident.

Cordialement

Hello,

We apologise for any inconvenience caused. Our engineering team is continuing to work on resolving the situation. In order to prevent any line failure, we invite you to avoid modem/router on xDSL and FTTH line reboots while the incident is being resolved.

Regards,

Bonjour,

Fin de l'incident générique.
Une portion du câble entre deux sites coeurs a été sectionnée (vandalisme).
Nos équipes ont effectué un retirage et posé une nouvelle BPI sur le parcours.

Nous avons alloué des ressources humaines supplémentaires afin de rétablir les services
dans les meilleurs délais.

Les premiers liens sont remontés le 25 juin à partir de 21:25.
Veuillez nous excuser pour la gêne occasionnée.

Nous avons identifié l'origine de la panne. Il semblerait qu'un de nos câbles ait été vandalisé.

Nous étudions les solutions possibles pour rétablir au plus vite vos services.

Bonjour,

Une coupure est détectée sur le parcours et nos équipes d'intervention font
actuellement le nécessaire pour isoler le point de rupture.

Si une solution de contournement est possible elle sera privilégiée pour un rétablissement
de l'ensemble des services dans les meilleurs délais.

Prochaine mise à jour à 15h

Défaut constaté sur le backbone IELO. Perte d'un lien coeur. Nos équipes effectuent actuellement des mesures pour isoler le point de coupure.

Nos équipes d'intervention ont été déclenchées.
ETA: 10h10.

Prochain update à 10H30

Nos équipes n'arrivant pas à faire remonter l'équipement, nous avons mis en place un lien complémentaire pour faire remonter l'ensemble des services initialement associés à ce routeur d'accès.

Nous nous excusons pour la gêne occasionnée.

En cas de service non fonctionnel, nous vous invitons à remonter l'information au sein d'un ticket incident à destination des équipes supports de ielo.

Cordialement,

A date, nos équipe terrain et d'exploitation continu les investigations sur le routeur d'accès.
Nous nous excusons pour le délais de remise en service des liens.

Nos équipes sont sur site et procède au troubleshooting du routeur d'accès en collaboration avec nos équipes d'exploitation

Update : Nos équipes techniques arrivent sur site pour 11h00.

Bonjour,

Tous les liens sont rétablis.

L'incident est désormais terminé.

Cordialement

Bonjour,

Nos équipes sont en train de remonter les services impactés.

Nous posterons un prochain update dès que nous aurons rétabli l'intégralité des services.

Cordialement

Bonjour,

Nos équipes terrains ont finalisé les soudures.

L'incident est désormais terminé.

Cordialement

Bonjour,

Nous avons trouvé la cause de la coupure, il s'agissait d'un câble endommagé.

Nos équipes ont démarré les réparations, votre lien sera rétabli au fur et à mesure des soudures.

Cordialement