IELO - Historique des incidents

Tous les systèmes sont opérationnels

Remarque : Les incidents signalés sur cette interface ne concernent que les incidents génériques impactant les services de ielo.

Standard ielo - Opérationnel

Portail ielo - Opérationnel

Backbone - Opérationnel

Porte de collecte - Opérationnel

API - Opérationnel

Historique des incidents

01/10

Incident dans les Alpes Maritimes (06)
  • Résolu
    Résolu

    L'incident est terminé,
    L'intégralité des liens sont maintenant remontés,

    En cas de non-fonctionnement de votre service, merci de nous le signaler directement sur notre plateforme : https://portal.ielo-liazo.com/

    Nous clôturons cet incident,

    The incident is over,

    All links are now up,

    If your service is not working, please notify us directly on our platform: https://portal.ielo-liazo.com/


    This incident is now closed,

  • Surveillé
    Surveillé

    Bonjour,

    L'intervention est toujours en cours,
    À l'heure actuelle, nous observons 80%, des liens rétablis par nos équipes,

    Nous procédons à un remplacement d'équipes afin de poursuivre les travaux de réparation,

    Cordialement,


    -------

    Hello,

    The intervention is still in progress,

    At present, 80% of the links have been restored by our teams,

    We are replacing the teams in order to continue the repair work,

    Best regards,

  • Mettre à jour
    Mettre à jour

    Nos équipes ont commencé les raccordements.

    Toutes nos équipes sont mobilisées pour rétablir vos services dans les meilleurs délais.

    ETR : 19H00

    Cordialement,

    L'équipe Support IELO


    Our teams have started the fiber connections.

    All our teams are mobilized to restore your services as soon as possible.

    ETR: 7PM CET

    Sincerely,

    The IELO Support team

  • Mettre à jour
    Mettre à jour

    Nos équipes sont actuellement en plein tirage de nouvelles fibres.

    Toutes nos équipes sont mobilisées pour rétablir vos services dans les meilleurs délais.

    ETR : 21h00

    Cordialement,

    L'équipe Support IELO


    Our teams are currently in the middle of pulling new fibres.

    All our teams are mobilised to restore your services as quickly as possible.

    ETR: 9:00am

    Sincerely,

    The IELO Support team

  • Identifié
    Identifié

    Bonjour,

    Nos techniciens sur place ont identifié la cause de votre coupure.

    Des ouvriers d'une société tierce, travaillant sur un chantier, ont sectionné un câble contenant plusieurs services.

    Nous avons programmé un tirage pour le remplacement de ce câble.

    Nous vous tiendrons informés dans une heure.

    Cordialement,


    Hello,

    Our on-site technicians have identified the cause of your power cut.

    Workers from a third-party company, working on a construction site, have cut a cable containing several services.

    We have scheduled a pull to replace the cable.

    We will keep you informed within the hour.

    Best regards,

  • Détecté
    Détecté

    Un incident générique impacte actuellement plusieurs de nos services dans les Alpes Maritimes.

    Nos équipes sont en route et ne devraient pas tarder à arriver sur le point de coupure.

    Nous vous donnerons plus de détails d'ici une heure.

    Cordialement,

    L'équipe Support IELO


    A generic incident is currently impacting several of our services in the Alpes Maritimes.

    Our teams are on their way and should arrive shortly at the point of the outage.

    We will give you more details within the hour.

    Sincerely,

    The IELO Support team

Perte de plusieurs liens Fibres dans le 73
  • Résolu
    Résolu

    L'incident a été causé par un défaut électrique dans un POP lors d'une maintenance par un sous-traitant d'Orange, impactant de fait l'ensemble des opérateurs dans le NRA.

    L'alimentation électrique a été remise en route, l'incident est maintenant terminé.

    Nos équipements sont à nouveau en marche.

    Nous nous excusons pour la gêne occasionnée.

    Cordialement,

    L'équipe Support IELO


    The incident was caused by an electrical failure in a POP during maintenance by an Orange subcontractor, impacting all operators in the NRA.

    The power supply has been restored and the incident is now over.

    Our equipment is operational again.

    We apologise for any inconvenience caused.

    Sincerely,

    The IELO Support team

  • Mettre à jour
    Mettre à jour

    Madame, Monsieur,

    Nous suspectons un défaut d'équipement.

    Une équipe d'intervention a été déclenchée.

    Nous vous ferons un prochain update dès que nous aurons l'estimation d'arrivée sur place.

    Cordialement,
    Service d'Exploitation ielo


    Dear Sir/Madam,

    We suspect an equipment defect.

    A intervention team has been dispatched.

    We will send you an update as soon as we have the estimated time of arrival.

    Regards

    ielo Operations Department

  • Détecté
    Détecté

    Madame, Monsieur,

    Une perturbation sur notre infrastructure Backbone a été identifiée. L'un de nos POP sur Bourg-Saint-Maurice subit actuellement un incident.

    Nous avons ouvert un incident auprès de notre hébergeur.

    État actuel du service:

    Partiellement Inopérant

    Nous vous ferons un point dans une heure.

    Cordialement,
    Service d'Exploitation ielo


    Dear Sir/Madam,

    A disruption to our backbone infrastructure has been identified. An electrical incident is undergoing at one of our Bourg-Saint-Maurice POP.

    We have opened an incident with our hosting provider.

    Partially inoperative

    We'll update you in an hour.

    Regards

    Exploit service ielo

Débordement de maintenance dans les Alpes-Maritimes (06)
  • Résolu
    Résolu

    Bonjour,

    L'incident est terminé, tous les services sont à présent fonctionnels.


    Cordialement.


    Hello,

    The incident is over, all services are now functional.

    Best regards.

  • Surveillé
    Surveillé
    Bonjour
    
    Nos équipes finalisent les réparations des liens 
    avec priorité pour les liens en service.
    
    Un nouvel update vous sera communiqué d'ici une heure.
    
    Cordialement
    ---
    Hello
    
    Repairs are still in progress.
    We are prioritizing the customer link impacted.
    
    A new update will be sent in one hour.
    
    Regards


  • Mettre à jour
    Mettre à jour
    Bonjour
    
    Les réparations sont toujours en cours.
    Nos techniciens poursuivent les travaux
    Nous ferons un nouvel update d'ici une heure.
    
    Cordialement
    ---
    Hello
    
    Repairs are still in progress.
    Our technicians are continuing the work.
    We will provide a new update within the hour.
    
    Regards
  • Mettre à jour
    Mettre à jour

    L'intervention se poursuit.

    Actuellement 90% des services sont rétablis.

    Une équipes supplémentaire est arrivé sur place.

    Les travaux devront être terminé pour 18h.

    Nous ferons un nouvel update d'ici une heure.

    Cordialement,


    The intervention is continuing.

    Currently 90% of services have been restored.

    An additional team has arrived on site.

    The work should be completed by 6 p.m.

    We will provide a further update within the hour.

    Best regards,

  • Mettre à jour
    Mettre à jour

    L'intervention se poursuit.

    Sur les 3 boites impactées par la maintenance de cette nuit, 2 sont complètement terminées. Nous poursuivons les soudures sur les derniers liens. Les renforts vont arriver bientôt pour accélérer les travaux.

    ETR : 15h

    Nous ferons un nouvel update d'ici une heure.

    Cordialement,


    The intervention is continuing.

    Of the 3 cases impacted by last night's maintenance, 2 are completely done. We are continuing to weld the last links. The back-up team will be arriving soon to speed up the work.

    ETR: 3pm

    We will provide a further update within the hour.

    Sincerely,

  • Mettre à jour
    Mettre à jour

    À 11 h 45, 75 % de nos services impactés sont fonctionnels.

    Le prochain point de synchronisation entre nos équipes terrain et notre bureau d'étude est à 12 h 00 (toutes les heures).

    Des renforts humains ont été dépêchés pour accélérer la fin de cette opération.

    Nous posterons une prochaine mise à jour à partir de 12 h 15.

    Cordialement,


    At 11.45am, 75% of our affected services were up and running.

    The next synchronisation point between our field teams and our design office is at 12:00 (every hour).

    Human reinforcements have been deployed to speed up the completion of this operation.

    We will post a next update from 12:15.

    Regards

  • Identifié
    Identifié

    Bonjour,

    Un débordement de la maintenance #240230 impacte actuellement plusieurs services dans les Alpes-Maritimes.

    Nos équipes sont sur place et poursuivent l'intervention.

    Toutes nos ressources sont mobilisées pour rétablir le service dans les plus brefs délais.

    L'estimation du rétablissement est prévue au plus tard pour 12h00.

    Nous vous tiendrons informés dès que nous aurons plus de détails.

    Nous vous prions de bien vouloir nous excuser pour la gêne occasionnée.

    Cordialement,


    Hello,

    An overflow in maintenance #240230 is currently affecting several services in the Alpes-Maritimes region.

    Our teams are on site and are continuing the intervention.

    All our resources are mobilized to restore service as quickly as possible.

    The estimated time of restoration is 12:00 at the latest.

    We will keep you informed as soon as we have more details.

    We apologize for any inconvenience caused.

    Regards

Incident Générique EST
  • Résolu
    Résolu

    Les équipes de l'exploitant autoroutier ont soudé les fibres correspondant à notre liaison.
    Le lien est de nouveau pleinement fonctionnel et les valeurs optiques sont conformes à celles d'avant la coupure.

    Nous gardons le lien en surveillance.


    Motorway field team has spliced the fibers for our link.
    Link is now fully functionnal, and optical metrics are compliant with the metrics before the incident.
    We are keeping this link under monitoring.

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Les réparations sont toujours en cours par les équipes de l'exploitant autoroutier et nécessitent des moyens importants.

    Nous avons un nouvel ETR à 20h.

    Cordialement,


    Hello,

    Repair operations are still ongoing by the motorway field teams and require significant resources.
    New estimated ETR : 8PM CEST

    Best regards,

  • Identifié
    Identifié

    Bonjour,

    La coupure a été localisée sur une portion autoroutière vers Reichstett, dans l'Est. Le fournisseur autoroutier a envoyé une équipe d'intervention pour résoudre le problème. Nous vous tiendrons informés dès que nous aurons une mise à jour de leur part.

    Cordialement,


    Hello,

    The fibre cut was located on a section of motorway near Reichstett, in the east of France. The motorway provider has sent a team to resolve the problem. We will keep you informed as soon as we have an update from them.

    All the best,

  • Détecté
    Détecté

    Bonjour,

    Votre lien est impacté par un incident générique sur le réseau IELO.
    L'incident a été déclaré a nos équipes.
    Nous faisons le nécessaire actuellement pour rétablir le service dans les meilleurs délais.
    Nous revenons vers vous pour un prochain update.

    ETR: Non défini

    Cordialement,


    Hello,

    Your link has been impacted by a generic incident on the IELO network.
    The incident has been notified to our teams.
    We are currently doing everything that is necessary to restore the service as quickly as possible.
    We will get back to you with a further update.

    ETR: Not defined

    Sincerely

01/09

Perte de plusieurs liens Fibres dans le 14 et le 76
  • Résolu
    Résolu

    Bonsoir,

    Nous vous informons que l'intervention est terminée et que les liens ont été migrés vers le nouveau câble.
    L'incident est résolu.

    Nous vous prions de nous excuser pour la gêne occasionnée.

    Cordialement,


    Hello,

    We would like to inform you that the intervention has been finished and the links have been migrated to the new cable.
    The incident has been resolved.

    We apologise for any inconvenience caused.

    Best regards,

  • Surveillé
    Surveillé

    Bonjour,

    Afin de rétablir l'ensemble des services impactés, nous devons basculer les liens vers le nouveau cable tiré.

    Nous allons procéder à la migration des liens à partir de 19h00. un avis de prévenance a déjà été envoyé.

    Nous vous prions de nous excuser la gene occasionnée.

    Cordialement



    Hello,

    In order to restore all the services impacted, we need to switch the links to the new cable.

    We will be migrating the links from 7.00pm. A notice has already been sent.

    We apologise for any inconvenience caused.

    Sincerely

  • Identifié
    Identifié

    Bonjour,

    Nous avons identifié la cause de votre coupure.

    Un chantier près du datacenter à enseveli la boite ielo.

    Nous déclenchons une équipe de tirage pour mettre en place une réparation temporaire.

    Au vu des travaux conséquents, nous n'avons malheureusement pas d'ETR à vous fournir.

    Les travaux se poursuivront en HNO si besoin.

    Nous reviendrons vers vous dès que nous aurons plus d'informations.

    Cordialement


    Hello,

    We have identified the cause of your outage.

    A construction site near the datacenter has buried the ielo box.

    In view of the extensive work involved, we regret that we are unable to provide you with any ETR.

    We are dispatching a pulling team to set up a temporary repair.

    Les travaux se poursuivront en HNO si besoin.

    We'll get back to you as soon as we have more information.

    Regards

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Nos équipes sont en route.

    ETA : 13h

    Nous reviendrons vers vous dès que nous aurons plus d'informations sur place.

    Cordialement


    Hello,

    Our teams are on their way.

    ETA: 1pm

    We will get back to you as soon as we have more information.

    Regard

  • Détecté
    Détecté

    Madame, Monsieur,

    Une perturbation sur notre infrastructure Backbone a été identifiée. Les équipes sont en phase d'investigation pour en trouver l'origine.

    État actuel du service:

    Partiellement Inopérant

    Nous vous communiquerons toute avancée significative dans les plus brefs délais.

    Cordialement,
    Service d'Exploitation ielo


    Dear Sir/Madam,

    A disruption to our backbone infrastructure has been identified. Our teams are currently investigating the cause.

    Current state of service:

    Partially inoperative

    We will inform you of any significant progress as soon as possible

    Regards

    Exploit service ielo

Perte de plusieurs liens Fibres dans le 13
  • Résolu
    Résolu

    Madame, Monsieur

    L'incident est désormais terminé.

    Nous allons procéder à une migration complète de nos équipements sur place.

    Les travaux étant conséquent, un mail de prévenance pour une maintenance vous sera envoyé avec la date et la durée de la coupure .

    Nous nous excusons pour la gêne occasionné.

    Cordialement


    Dear Sir/Madam,

    The incident is now over.

    We will proceed with a complete migration of our equipment on site.

    As the work is extensive, a maintenance e-mail will be sent to you with the date and duration of the outage..

    We apologize for any inconvenience caused.

    Regards

  • Surveillé
    Surveillé

    L'origine de la panne a été identifiée.

    Une panne électrique a impacté tout notre POP, due à la surchauffe d'un équipement.

    Une réparation temporaire a été effectuée, le temps que l'équipement en question soit réparé définitivement.

    Une nouvelle coupure est à prévoir lors de la remise en route de l'équipement.

    Vous serez prévenus ultérieurement d'une maintenance d'urgence.

    Cordialement,

    L'Equipe Support IELO


    The cause of the outage has been identified.

    A power failure affected our entire POP, due to overheating of an equipment.

    A temporary repair has been made, while the equipment in question is being permanently repaired.

    A further interruption is expected once the equipment will be back online.

    You will be notified later of any emergency maintenance.

    Yours sincerely,

    IELO Support Team

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Le technicien de l'hébergeur est en route.

    ETA : 15min

    Nous reviendrons vers vous dès que nous aurons plus d'informations.

    Cordialement


    Hello,

    The host's technician is on his way.

    ETA: 15min

    We'll get back to you as soon as we have more information.

    Regards

  • Identifié
    Identifié

    Madame, Monsieur,

    Une perturbation sur notre infrastructure Backbone a été identifiée. L'un de nos POP sur Marseille subit actuellement un incident électrique.

    Nous avons ouvert un incident auprès de notre hébergeur.

    État actuel du service:

    Partiellement Inopérant

    Nous vous communiquerons toute avancée significative dans les plus brefs délais.

    Cordialement,
    Service d'Exploitation ielo


    Dear Sir/Madam,

    A disruption to our backbone infrastructure has been identified. An electrical incident is undergoing at one of our Marseille POP.

    We have opened an incident with our hosting provider.

    Partially inoperative

    We will inform you of any significant progress as soon as possible

    Regards

    Exploit service ielo

01/08

Incident sur un câble fibre en région parisienne
  • Résolu
    Résolu

    l'intervention est terminée,

    toutes les soudures sont effectuées.

    the operation is over,

    all the welds are complete.

  • Mettre à jour
    Mettre à jour

    Nos équipes ont effectué les soudures des fibres.
    La plupart des liens sont up.
    Elles sont en train de faire les dernières soudures pour rétablir les liens restants.

    Our teams welded the fibres,

    most of the links are up,

    they are in the process of making the final welds to re-establish the lasts links.

  • Mettre à jour
    Mettre à jour
    Le tirage de cable est terminé. 
    Nos équipes vont commencer les soudures de fibres.
    
    ---
    
    The cable pulling is complete. 
    Our teams will now start welding the fibres.
  • Surveillé
    Surveillé

    Un nouveau tirage de cable est indispensable pour la réparation des liens.
    Estimation début de tirage: 23h00

    A new cable pull is essential to repair the links.
    Estimated start time: 11:00 pm

  • Mettre à jour
    Mettre à jour

    Nos équipes préparent les réparations (récupération d'une partie du love de câble des chambres adjacentes pour avoir assez de longueur dans la chambre impactée).

    Prochaine communication prévue à 22h15


    Our team are preparing the repair (pulling some cable from adjacent underground cable draw-in-box, to have enough cable length in the impacted box).

    Next update at 10:15pm

  • Identifié
    Identifié

    Bonsoir,

    Nos équipes ont identifiées l'incident en chambre (opération de sabotage par des tiers). Notre bureau d'étude fait une première analyse pour prioriser les fibres exploitées. Nous ajoutons des photos en pièce jointe de l'incident. Dès que les réparations débutent nous posterons une mise à jour. Nous ciblons une prochaine communication à 21h00

    https://i.ibb.co/2FDmJTV/Image-BGUu-Xgt-IAGw-Ol-Yyc-Bsy-Yog-ZW.png

    https://i.ibb.co/XsQDqx0/Image-1536x2048.png


    Our teams have identified the incident in the room (sabotage by third parties). Our design office is carrying out an initial analysis to prioritise the fibres in use. We are attaching photos of the incident. As soon as repairs begin we will post an update. We are targeting a next communication at 21:00

    https://i.ibb.co/2FDmJTV/Image-BGUu-Xgt-IAGw-Ol-Yyc-Bsy-Yog-ZW.png

    https://i.ibb.co/XsQDqx0/Image-1536x2048.png

  • Mettre à jour
    Mettre à jour

    Nos équipes sont arrivées sur place.

    ---

    Our field team is actually on site.

  • Mettre à jour
    Mettre à jour

    ETA de l'équipe : 45min


    ETA of the field team : 45min

  • Détecté
    Détecté

    Nous subissons actuellement un incident sur un lien fibre coeur en région Parisienne.
    Nos équipes se rendent sur le lieu de coupure estimé.


    We are currently facing a fiber incident on a core link near Paris.
    Our field team is on its way to the estimated cut location.

Network Access - Metz
  • Résolu
    Résolu
    This incident has been resolved.
  • Mettre à jour
    Mettre à jour

    Le tirage est terminé.

    Nous procédons aux soudures.

    Vos services seront rétablis au fur et à mesure des soudures.

    Nous reviendrons vers vous une fois les travaux de soudure terminés.

    Cordialement


    Pulling is finished.

    We are now start welding.

    Your service will be restored as the welding progresses.

    We'll get back to you once the welding work is complete.

    Best regards

  • Mettre à jour
    Mettre à jour

    Nos équipes procèdent au tirage du nouveau câble sur une longueur de 400 mètres.

    Nous reviendrons vers vous dès que les soudures auront commencé.

    Cordialement


    Our teams are pulling the new cable over a length of 400 meters.

    We'll get back to you as soon as the welding has started.

    Best regards

  • Identifié
    Identifié

    Bonjour,

    Les dégâts sont plus importants que prévu, et nécessitent le tirage d'un nouveau câble.
    Une équipe de tirage se rend sur site.



    Hello,

    Damage on the cable are worst than initially seen.
    We'll need to deploy a new cable.

    A cable deployment team has been sent on site.

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Nos équipes sont toujours en action, nous vous préviendrons lorsque les réparations seront totalement terminée.

    Cordialement.

  • Surveillé
    Surveillé

    Chers partenaires,

    Nous vous informons que l'intervention est toujours en cours dans l'Est. Nous avons mis en place tous les moyens nécessaires pour rétablir vos liens.

    Nous sommes encore désolés pour ce désagrément.

    Cordialement,

  • Mettre à jour
    Mettre à jour

    Après vérification de nos équipes sur place, nous suspectons l'un des tubes connecté au fourreau plié.

    Nous allons procédé à une migration des services impactés sur un autre tube du fourreau sans avoir besoin de procéder à un nouveau tirage.

    Votre lien devrait être rétablie au fur et à mesure des migrations.

    Nous reviendrons vers vous une fois les migrations terminées

    Cordialement


    After verification by our teams on site, we suspect that one of the tubes is connected to the bent sheath.

    We'll be migrating the affected services to another tube in the sheath, without needing to re-pull.

    Your link should be restored as the migration progresses.

    We'll get back to you once the migrations are complete.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Après vérification, certaines fibres sont dégradées.

    Nos équipes procéderont à une opération de mutation sur les fibres non dégradées.

    Cette opération évitera le remplacement de plusieurs centaines de mètres de fibres (un peu plus de 400 mètres linéaires).

    Nous reviendrons vers vous dès que les migrations seront terminées.


    After checking, some fibers are degraded.

    Our teams will carry out a mutation operation on the non-degraded fibres.

    This operation will avoid the replacement of several hundred metres of fibre (just over 400 linear metres).

    We will get back to you as soon as the migrations are complete.

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Le site des travaux est actuellement fermé.

    Nous sommes en train de contacter l'entreprise gérant le chantier.

    Cordialement,


    Hello,

    The construction site is currently closed.

    We are in the process of contacting the company managing the site.

    Regards

  • Identifié
    Identifié

    Bonjour,

    Nos équipes sont arrivées sur la zone identifiée. Il y a des travaux dans la zone. Nos équipes sont en train d'ouvrir la chambre pour vérifier nos installations.


    Hello,

    Our teams have arrived at the identified area. There are works in the area. Our teams are opening the room to check our installations.

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Aucun défaut d'énergie sur site

    Nos observons une absence de signal optique. Nos équipes ont réalisé un tir d'OTDR pour déterminer la localisation de l'interruption de signal. Nous détectons une coupure à 20Km du POP. Nos technicien se rendent sur la chambre la plus proche de cette longueur de lien.

    Cordialement,


    Hello,

    No energy fault on site

    We observe an absence of optical signal. Our teams carried out an OTDR shot to determine the location of the signal interruption. We detected an interruption 20 km from the POP. Our technicians went to the room closest to this length of link.

    Regards

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Nos équipes se rendent sur le POP impacté par la perte de services.

    Celle-ci seront sur site d'ici une dizaine de minutes.

    Cordialement


    Hello,

    Our teams are visiting the POP affected by the loss of services.

    They will be on site within ten minutes.

    Regards

  • Détecté
    Détecté

    Madame, Monsieur,

    Une perturbation sur notre infrastructure d'accès a été identifiée dans le secteur de Metz. Les équipes sont en phase d'investigation pour en trouver l'origine.

    État actuel du service:

    Partiellement Inopérant

    Nous vous communiquerons toute avancée significative dans les plus brefs délais.

    Cordialement,
    Service d'Exploitation ielo

National Backbone
  • Mettre à jour
    Mettre à jour

    Rapport de Raison d'Interruption (RFO) - Incident Réseau du 2 Août 2024

    Introduction

    Ce rapport détaille l'incident critique qui a impacté notre réseau cœur le 2 août 2024, les mesures prises pour résoudre l'incident, ainsi que les impacts observés et les leçons apprises.

    Informations Générales

    • Heures en CEST

      • Début: 2024-08-02 ~ 14:00

      • Détection de dysfonctionnements: pertes de connectivité aléatoires

      • Fin: 2024-08-02 ~ 18:50

      • Confirmation du retour à la normale de tous les services

    Origine de l’incident

    L'incident a été causé par un dysfonctionnement de deux équipements P/PE avec effet de bord.

    Résolution

    • Upgrade et redémarrage des deux équipements impactés.

    Impact

    L'incident a causé des perturbations généralisées des services, notamment :

    • Perturbations généralisées de certains services livrés à TH2

    • Perturbations généralisées de services traversant TH2

    Ces perturbations ont été aléatoires durant l'incident :

    • L2: pertes de connectivité / coupures

    • L2/L3: pertes de paquets / dégradations

    • L3: inconsistances de routage IP depuis et vers certaines destinations Internet

    Chronologie de l'Incident

    • Heures en CEST

      Début: 2024-08-02 ~ 14:00

      • Détection de dysfonctionnements: pertes de connectivité aléatoires

      2024-08-02 ~ 14:23

      • Identification d’un routeur (frpar-th2-n55h1) ayant un comportement de forwarding aléatoire

      • Contournement de ce routeur hors services locaux impactés

      2024-08-02 ~ 14:43

      • Les problèmes perdurent, un autre routeur (frpar-th2-n55h2) apparaît comme étant la source de l’instabilité

      • Contournement de ce second routeur hors services locaux

      • Normalisation de la configuration frpar-th2-n55h1

      • Désactivation des peerings FranceIX

      2024-08-02 ~ 14:44

      • Préparation et mise à jour de frpar-th2-n55h2

      2024-08-02 ~ 15:02

      • Redémarrage suite à la mise à jour

      2024-08-02 ~ 15:10

      • Routeur à nouveau joignable

      2024-08-02 ~ 15:17

      • Normalisation de la configuration frpar-th2-n55h2

      2024-08-02 ~ 15:24

      • Réactivation des peerings FranceIX

      2024-08-02 ~ 15:30

      • Des problèmes persistent, en particulier au niveau L3

      2024-08-02 ~ 15:50

      • Malgré des améliorations, il reste beaucoup de services impactés

      • Les investigations continuent

      2024-08-02 ~ 16:49

      • Toujours des incohérences de routage (L3) et de continuité (L2) sur certains services passant par frpar-th2-n55h1, comportement erratique et corruptions de FIB

      • Certains bugs constructeurs semblent correspondre

      2024-08-02 ~ 16:50

      • Application de workarounds liés aux bugs correspondants

      • Tentatives de reconstruction de la FIB

      • Pendant 1h30, les différentes actions entreprises apportent des améliorations (certains services remontent mais cela reste partiel et temporaire)

      2024-08-02 ~ 18:27

      • Il est finalement décidé de reload frpar-th2-n55h1 suite à l’échec des actions entreprises: la FIB est dans un état non récupérable. Préparation du reload.

      2024-08-02 ~ 18:37

      • Reload de frpar-th2-n55h1

      2024-08-02 ~ 18:43

      • frpar-th2-n55h1 à nouveau joignable

      Fin: 2024-08-02 ~ 18:50

      • Confirmation du retour à la normale de tous les services

    Leçons Apprises et Mesures Préventives

    • Analyse des Causes Racines: Identification des causes spécifiques du dysfonctionnement des équipements P/PE.

    • Amélioration de la Surveillance: Mise en place de systèmes de surveillance plus robustes pour détecter rapidement des anomalies similaires à l'avenir.

    • Plans de Contingence: Développement de plans de contingence et de procédures de récupération plus efficaces pour minimiser l'impact en cas d'incidents futurs.


    Reason for Outage Report (RFO) - Network Incident of August 2, 2024

    Introduction

    This report details the critical incident that impacted our core network on August 2, 2024, the measures taken to resolve the incident, the observed impacts, and the lessons learned.

    General Information

    • Times in CEST / UTC

      • Start: 2024-08-02 ~ 14:00 / 12:00 UTC

      • Detection of malfunctions: random connectivity losses

      • End: 2024-08-02 ~ 18:50 / 16:50 UTC

      • Confirmation of return to normal of all services

    Origin of the Incident

    The incident was caused by a malfunction of two P/PE devices with side effects.

    Resolution

    • Upgrade and restart of the two impacted devices.

    Impact

    The incident caused widespread service disruptions, including:

    • Widespread disruptions to certain services delivered at TH2

    • Widespread disruptions to services passing through TH2

    These disruptions were random during the incident:

    • L2: connectivity losses / outages

    • L2/L3: packet losses / degradations

    • L3: IP routing inconsistencies to and from certain Internet destinations

    Incident Timeline

    • Times in CEST / UTC

      Start: 2024-08-02 ~ 14:00 / 12:00 UTC

      • Detection of malfunctions: random connectivity losses

      2024-08-02 ~ 14:23 / 12:23 UTC

      • Identification of a router (frpar-th2-n55h1) with random forwarding behavior

      • Workaround to route traffic away from this router for affected local services

      2024-08-02 ~ 14:43 / 12:43 UTC

      • Problems persist, another router (frpar-th2-n55h2) appears to be the source of instability

      • Workaround to route traffic away from this second router for local services

      • Normalization of frpar-th2-n55h1 configuration

      • Deactivation of FranceIX peerings

      2024-08-02 ~ 14:44 / 12:44 UTC

      • Preparation and update of frpar-th2-n55h2

      2024-08-02 ~ 15:02 / 13:02 UTC

      • Restart after update

      2024-08-02 ~ 15:10 / 13:10 UTC

      • Router reachable again

      2024-08-02 ~ 15:17 / 13:17 UTC

      • Normalization of frpar-th2-n55h2 configuration

      2024-08-02 ~ 15:24 / 13:24 UTC

      • Reactivation of FranceIX peerings

      2024-08-02 ~ 15:30 / 13:30 UTC

      • Problems persist, particularly at L3

      2024-08-02 ~ 15:50 / 13:50 UTC

      • Despite improvements, many services remain impacted

      • Investigations continue

      2024-08-02 ~ 16:49 / 14:49 UTC

      • Still L3 routing and L2 continuity inconsistencies on some services passing through frpar-th2-n55h1, erratic behavior and FIB corruptions

      • Some vendor bugs seem relevant

      2024-08-02 ~ 16:50 / 14:50 UTC

      • Application of workarounds related to the relevant bugs

      • Attempts to rebuild the FIB

      • Over the next 1.5 hours, various actions bring some improvements (some services recover but remain partial and temporary)

      2024-08-02 ~ 18:27 / 16:27 UTC

      • Decision to reload frpar-th2-n55h1 after the failure of previous actions: FIB is in an unrecoverable state. Preparation for reload.

      2024-08-02 ~ 18:37 / 16:37 UTC

      • Reload of frpar-th2-n55h1

      2024-08-02 ~ 18:43 / 16:43 UTC

      • frpar-th2-n55h1 reachable again

      End: 2024-08-02 ~ 18:50 / 16:50 UTC

      • Confirmation of return to normal of all services

    Lessons Learned and Preventive Measures

    • Root Cause Analysis: Identification of the specific causes of the P/PE device malfunctions.

    • Improved Monitoring: Implementation of more robust monitoring systems to quickly detect similar anomalies in the future.

    • Contingency Plans: Development of more effective contingency plans and recovery procedures to minimize impact in future incidents.

  • Résolu
    Résolu

    Bonsoir,

    Nous avons procédé ce soir à l'opération prévue et nous passons maintenant en phase de monitoring sur l'ensemble des liens pour la prochaine heure. Une fois cette étape terminée, nous allons contrôler spécifiquement les liens identifiés qui ont été impactés vendredi dernier.

    Nous vous remercions de votre compréhension et de votre patience.

    Cordialement,


    This evening, we have performed the planned operation and are now moving into a monitoring phase for all links over the next hour. Once this stage is complete, we will specifically check the links identified as having been impacted last Friday.

    We appreciate your understanding and patience.

    Regards

  • Mettre à jour
    Mettre à jour

    Chers clients,

    Nous tenons à vous informer qu'un incident critique a impacté notre réseau cœur le vendredi 2 août, de l'après-midi jusqu'en début de soirée. Depuis, la situation est stable et nos équipes ont travaillé sans relâche pour analyser et résoudre le problème.

    Nous sommes aujourd'hui pleinement en confiance quant à la remise en service de ce routeur sur le réseau ielo. Pour ce faire, nous procéderons à une remise ISO de notre cœur de réseau ce soir à partir de 21h00. Nos équipes seront mobilisées pour garantir que cette opération se déroule dans les meilleures conditions et minimise toute interruption de service.

    Un rapport d'incident (RFO) détaillé sera publié sur notre page de statut demain, mardi 6 août, afin de vous fournir toutes les informations relatives à cet incident et aux mesures prises.

    Nous vous remercions de votre compréhension et de votre patience.

    Cordialement,

    L'équipe d'exploitation
    ielo


    Dear customers,

    We would like to inform you that a critical incident affected our core network on Friday, August 2nd, from the afternoon until the early evening. Since then, the situation has been stable, and our teams have been working tirelessly to analyze and resolve the issue.

    We are now fully confident in the reintegration of this router into the ielo network. To achieve this, we will proceed with an ISO restoration of our core network starting at 9:00 PM tonight. Our teams will be mobilized to ensure that this operation goes smoothly and minimizes any service interruptions.

    A detailed incident report (RFO) will be posted on our status page tomorrow, Tuesday, August 6th, to provide you with all the information regarding this incident and the measures taken.

    We appreciate your understanding and patience.

    Best regards,

    The Operations Team
    ielo

  • Surveillé
    Surveillé

    Nos équipes d'ingenierie ont décidé de maintenir le routeur core isolé pour le weekend. Aucune opération sera effectué dessus ni sur le reseau sur ce laps de temps. Nous passons en phase de recontrôle de l'état de services.

    Our engineering teams decided to keep the core router isolated for the weekend. No operations will be carried out on it or on the network during this period. We are now in the process of rechecking the state of services.

  • Identifié
    Identifié

    Notre équipes d'ingenierie rencontré de nouveau un problème avec le routeur core à l'origine de l'incident de ce début d'après-midi provoquant de nouveau un fort impact sur un ensemble des service. Le routeur est de nouveau isolé.

    Cordialement,

    Service d'Exploitation ielo

    Our engineering teams have once again encountered a problem with the core router that caused the incident at the beginning of this afternoon, again causing a major impact on a number of services. The router is now isolated again.

    Yours faithfully

    ielo Operations Department

  • Surveillé
    Surveillé

    Bonjour,

    Suite aux opération de contournement de notre équipes d'ingenierie, nous observons une amélioration significative des services de nouveau opérationnel et nominal. Si vous êtes dans cette situation et que vous avez ouvert un ticket incident sur notre portail, nous vous invitons à vous signaler via un commentaire dans le ticket.

    Dans le cas contraire, nous sommes aussi preneur de feedback pour indiquer que la situation perdure.

    Cordialement,

    Hello,

    Following the workaround carried out by our engineering team, we are seeing a significant improvement in services once they are operational and nominal again. If you are in this situation and have opened an incident ticket on our portal, we invite you to comment on the ticket.

    If this is not the case, we would also welcome feedback to indicate that the situation is still ongoing.

    Regards,

  • Identifié
    Identifié

    Madame, Monsieur,

    Nos équipes l'ingénierie ont isolé le routeur défectueux et rerouté le traffic. Les services remontent progressivement. Attention, il est possible d'observer une dégradation des performances des services (latence, débit). Nos équipes d'ingenierie travaille sur le routeur parisien remettre la situation à la normal

    Cordialement,

    Service d'Exploitation ielo

    Our engineering teams have isolated the faulty router and rerouted the traffic. Services are gradually being restored. Please note, however, that link performance may deteriorate (latency, bandwith). Our engineering teams are working on the Paris router to restore the situation to normal.

    Regards

    ielo Operations Department

  • Détecté
    Détecté

    Madame, Monsieur,

    Un problème matériel sur un routeur parisien provoque une instabilité de certains services. Les équipes ingenierie sont en phase d'investigation pour en trouver l'origine.

    État actuel du service:

    Partiellement Inopérant

    Nous vous communiquerons toute avancée significative dans les plus brefs délais.

    Cordialement,
    Service d'Exploitation ielo


    A hardware problem on a Paris router is causing some services to become unstable. The engineering teams are currently investigating the cause.

    Current state of service:

    Partially inoperative

    We will inform you of any significant progress as soon as possible.

    Regards,

    ielo Operations Department

Perte de multiple lien fibre à Toulouse (31)
  • Résolu
    Résolu
    This incident has been resolved.
  • Mettre à jour
    Mettre à jour

    Bonjour,

    Les raccordements se poursuivent.

    Nos équipes nous ont indiquées être en train de finaliser les raccordements pour votre réparation provisoire.

    Votre service devrait être rétabli dans la journée au fur et à mesure des soudures faites par nos techniciens.

    Pour votre réparation définitive, nous vous fournirons dès que nous aurons la date de fin des travaux du chantier responsable de la coupure un mail de maintenance indiquant la date et la durée de cette dernière.

    Cordialement,


    Hello,

    The connections are continuing.

    Our teams have told us that they are finalizing the connections for your temporary repair.

    Your service should be restored within the day as our technicians complete the welding work.

    For your definitive repair, we will send you a maintenance e-mail indicating the date and duration of the outage, as soon as we have the date of completion of the work on the site responsible for the outage.

    Best regards

  • Mettre à jour
    Mettre à jour

    bonjour,

    Le raccordement se poursuit.
    Nous avons attribué des ressources supplémentaires pour rétablir les liens impactés.

    En revanche, l'accès est complexe car plusieurs opérateurs sont sur place pour rétablir
    leur liens respectif ce qui ralenti le temps de raccordement par nos équipes.

    Pas d'ETR prévisionnel pour le moment.

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Le tirage est désormais finalisé, nous démarrons le raccordement.

    Nous reviendrons vers vous dès que nous aurons plus d'informations.

    Cordialement


    Hello,

    The drawing is now complete, and we're starting the connection.

    We'll get back to you as soon as we have more information.

    Best regards

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Le nouveau tirage de votre ligne est en cours.

    Au vu des travaux conséquents, nous n'avons malheureusement pas encore d'ETR à vous fournir.

    Toutes nos équipes sont mobilisées pour rétablir votre service.

    Nous reviendrons vers vous dès que ce dernier sera finalisé et que nous procéderons aux raccordements.

    Cordialement


    Hello,

    We are in the process of redrawing your line.

    Unfortunately, due to the extensive work involved, we are unable to provide you with an ETR at this time.

    All our teams are mobilized to restore your service.

    We'll get back to you as soon as it's finalized and the connections made.

    Best regards

  • Identifié
    Identifié

    Madame, Monsieur,

    Une perturbation sur notre infrastructure Backbone a été identifiée.

    État actuel du service:

    Partiellement Inopérant

    Nos équipes sont actuellement sur le lieu de la coupure, la cause est un chantier ayant sectionné et arraché un fourreau contenant votre fibre.

    Au vu des travaux conséquents, la mise en place d'une réparation provisoire sur un nouveau tracé est en cours.

    Nous reviendrons vers vous dès que nous aurons plus d'informations.

    Nous vous communiquerons toute avancée significative dans les plus brefs délais.

    Cordialement,
    Service d'Exploitation ielo


    Dear Sir/Madam,

    A disruption on our Backbone infrastructure has been identified.

    Current service status:

    Partially inoperative

    Our teams are currently at the scene of the outage, the cause being a building site that has severed and torn off a sheath containing your fiber.

    In view of the extensive work involved, a temporary repair on a new route is underway.

    We'll get back to you as soon as we have more information.

    We'll let you know of any significant progress as soon as possible.

    Yours faithfully

    ielo Operations Department

01/08 à 01/10

Suivant