IELO - Historique des incidents

Tous les systèmes sont opérationnels

Remarque : Les incidents signalés sur cette interface ne concernent que les incidents génériques impactant les services de ielo.

Standard ielo - Opérationnel

Portail ielo - Opérationnel

Backbone - Opérationnel

Porte de collecte - Opérationnel

API - Opérationnel

Historique des incidents

01/03

Perte de plusieurs liens Fibres à Saint-Denis (93)
  • Résolu
    Résolu

    Bonjour,

    L'incident est terminé suite à l'action de nos équipes d'intervention les 28 et 29 Mars.
    Nos équipes ont identifié les fibres concernées par la coupure et une mutation a été effectuée sur un tube sain.

    La majeur partie des lien est remontée le 28 Mars 2025 à partir de 23h. Les derniers liens impactés sont remontés le 29 Mars à 14h00.

    Un RFO reprenant l'ensemble des actions en vue de la résolution est en cours et vous sera transmis dans les meilleurs délais.


    Cordialement,

    ______
    Hi partners,

    The incident is over following the action of our intervention teams on March 28 and 29.

    Our teams have identified the fibers affected by the cut and a fiber mutation has been carried out on a healthy tube.


    An RFO outlining all the actions taken to resolve the problem is in progress and will be sent to you as soon as possible.


    Kindly

  • Mettre à jour
    Mettre à jour

    Bonsoir,

    Les réparations sont toujours en cours. Notre équipe a également identifié un tube HS sur le câble, les fibres concernées vont être déplacées sur un tube sain.

    ---

    Repair operations are still ongoing. Our field team has also identified a broken tube on the cable. Related fibers will be moved to another healthy tube.

  • Identifié
    Identifié

    Bonjour,

    Nous avons identifié la cause de la coupure : l’une de nos boîtes ielo a été endommagée par l’intervention d’un tiers. Nos équipes procèdent actuellement à sa réparation.

    Une prochaine mise à jour sera communiquée lors de notre point de situation prévu à 19h30 (heure locale).

    Cordialement,


    Hello,

    We have identified the cause of the outage: one of our ielo boxes was damaged due to third-party work. Our teams are currently repairing it.

    The next update will be provided during our status update scheduled at 18:30 UTC.

    Regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    La chambre où se situe la coupure se trouve sur une route. Nous avons demandé un arrêt de circulation pour permettre à l’intervention de se poursuivre.

    Au vu du nombre conséquent de services impactés, l’intervention se poursuivra en heures non ouvrées.

    Une prochaine mise à jour sera communiquée lors de notre point de situation prévu à 18h00 (heure locale).

    Cordialement,


    Hello,

    The chamber where the cut is located is on a roadway. We have requested a traffic stop to allow the intervention to continue.

    Given the significant number of impacted services, the intervention will continue outside business hours.

    The next update will be provided during our status update scheduled at 17:00 UTC.

    Regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L'intervention se poursuit. Nos intervenants ont effectué les tests et se rendent actuellement sur le lieu de la coupure.

    Une prochaine mise à jour sera communiquée lors de notre point de situation prévu à 16h30 (heure locale).

    Cordialement,


    Hello,

    The intervention is ongoing. Our teams have completed the tests and are now heading to the location of the cut.

    The next update will be provided during our status update scheduled at 15:30 UTC.

    Regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Les équipes sont sur place et procèdent aux tests.

    Une prochaine mise à jour sera communiquée lors de notre point de situation prévu à 15h30 (heure locale).

    Cordialement,


    Hello,

    The teams are on-site and performing tests.

    The next update will be provided during our status update scheduled at 14:30 UTC.

    Regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L’équipe d’intervention est en route, avec une arrivée estimée à 13h30 (heure locale).

    Une prochaine mise à jour sera communiquée dès que les équipes auront procédé aux premières vérifications, lors de notre point de situation prévu à 14h00 (heure locale).

    Cordialement,


    Hello,

    The intervention team is on the way, with an estimated arrival at 12:30 UTC.

    The next update will be provided once the teams have carried out the initial checks, during our status update scheduled at 13:00 UTC.

    Regards,

  • Détecté
    Détecté

    Un incident générique impacte actuellement plusieurs de nos services à Saint-Denis.

    Nos équipes d’intervention ont été déclenchées.

    Une prochaine mise à jour sera communiquée lors de notre point de situation prévu à 12h30 (heure locale).

    Cordialement,


    A general incident is currently affecting multiple services in Saint-Denis.

    Our intervention teams have been mobilized.

    The next update will be provided during our status update scheduled at 11:30 UTC

    Regards,

Dégradation dans les villes de Bourg-Saint-Maurice, Les Arcs, Tignes et Val d'Isère
  • Résolu
    Résolu

    Bonjour,

    L'incident est maintenant terminé.

    Les partenaires qui pourront être impactés par la maintenance à venir du câble seront prévenus par mail.

    Cordialement,

    L'équipe Support IELO


    Hello,

    The incident is over.

    All partners who may be impacted by future cable maintenance will be notified by e-mail.

    Regards,

    IELO Support Team

  • Surveillé
    Surveillé

    Bonjour,

    Les soudures sont finalisées. La coupure était due à un tiers lors de travaux de terrassement et à la pose de l'une de ses chambres sur conduit. Un compte rendu détaillé nous sera fourni prochainement par les techniciens.

    Nous voyons désormais le circuit remonté. Il s'agit d'une réparation provisoire et une maintenance sera prochainement planifiée pour finaliser les travaux.

    L'incident est sous surveillance jusqu'à demain matin. Si vous constatez toujours une dégradation, nous vous invitons à ouvrir un ticket d'incident sur l'extranet de ielo afin que nos équipes puissent vous assister.

    Cordialement,


    Hello,

    The splicing is complete. The outage was caused by a third party during excavation work and the installation of one of its duct chambers. A detailed report will be provided by the technicians shortly.

    We now see the circuit restored. This is a temporary repair, and maintenance will be scheduled soon to finalize the work.

    The incident will be monitored until tomorrow morning. If you are still experiencing degradation, please open an incident ticket on the ielo extranet so our teams can assist you.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Le tirage est terminé. Les équipes sont en train de mettre en place les boîtes de raccordement et vont démarrer les soudures sous peu. L'estimation de rétablissement est prévue en début de soirée.

    Notre prochain point de synchronisation est prévu à 18h00 (heure locale).

    Cordialement,


    Hello,

    The cable pulling is complete. The teams are currently installing the connection boxes and will start splicing shortly. The estimated time for restoration is scheduled for early evening.

    Our next synchronization update is scheduled for 17:00 UTC.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Les travaux sont toujours en cours.

    Des ressources supplémentaires sont sur place afin d'accélérer les réparations. Tout est mis en œuvre pour rétablir rapidement le circuit.

    Notre prochain point de synchronisation est prévu à 15h30 (heure locale).

    Cordialement,


    Hello,

    The work is still ongoing.

    Additional resources are on-site to expedite the repairs. Everything is being done to restore the circuit quickly.

    Our next synchronization update is scheduled for 14:30 UTC.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L'intervention se poursuit. Le tirage du câble est toujours en cours.

    Notre prochain point de synchronisation est prévu à 14h00 (heure locale).

    Cordialement,


    Hello,

    The intervention is ongoing. The cable pulling is still in progress.

    Our next synchronization update is scheduled for 13:00 UTC.

    Regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L'intervention se poursuit. Le tirage de 500 mètres de câble est en cours.

    Nous n'avons malheureusement pas d'estimation de rétablissement pour le moment. Nous avons relancé nos équipes à ce sujet.

    Notre prochain point de synchronisation est prévu à 12h30 (heure locale).

    Cordialement,


    Hello,

    The intervention is ongoing. The pulling of 500 meters of cable is in progress.

    Unfortunately, we do not have an estimated time for service restoration at this stage. We have followed up with our teams regarding this matter.

    Our next synchronization update is scheduled for 11:30 UTC.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Une autre équipe terrain prend le relais ce matin pour continuer l'intervention.

    ETA : 10h00

    ETR : non défini

    Un prochain update sera fait à 11h.

    Cordialement,


    Hello,

    Another field team is taking over this morning to continue the intervention.

    ETA: 10:00 am

    ETR : not defined

    The next update will be given at 10:00am (UTC).

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonsoir,

    L'intervention est toujours en cours, et nous n'avons pas encore d'ETR à vous communiquer.

    Le prochain point de synchronisation est prévu à 04h00, heure locale.

    Cordialement,


    Good evening,

    The intervention is still ongoing, and we do not have an estimated time of resolution to share yet.

    The next synchronization update is scheduled for 04:00 local time.

    Best regards,

  • Identifié
    Identifié

    Bonsoir,

    L'intervention est toujours en cours. Nous revenons vers vous dès que nous aurons plus d'informations concernant l'estimation du rétablissement.

    Notre prochain point de synchronisation est prévu à 00h30 (heure locale).

    Cordialement,


    Hello,

    The intervention is still in progress. We will get back to you as soon as we have more information regarding the estimated recovery time.

    Our next synchronization point is scheduled for 00:30 (local time).

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L'intervention est toujours en cours. Le rétablissement de la liaison est estimé pour la fin de soirée.

    ---

    Hello,

    The operations are still ongoing. Link repair is estimated for the end of evening.

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L'intervention se poursuit. Nous avons localisé le lieu de la coupure.

    Les techniciens se rendent actuellement sur place pour contrôler la zone et mettre en place une solution curative en fonction de la nature de la coupure.

    Nous reviendrons vers vous dès que nous aurons une estimation du temps de rétablissement.

    Notre prochain point de synchronisation est prévu à 19h00 (heure locale).

    Cordialement,


    Hello,

    The intervention is ongoing. We have located the outage site.

    Technicians are currently on-site to inspect the area and implement a corrective solution based on the nature of the cut.

    We will get back to you as soon as we have an estimated time for service restoration.

    Our next update is scheduled for 19:00 (local time).

    Regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L'intervention est en cours. Les intervenants sont sur place depuis 16h15.

    Nous sommes en attente de leur retour concernant la cause de cette coupure et les avons relancés à ce sujet.

    Notre prochain point de synchronisation est prévu à 17h15 (heure locale).

    Cordialement,


    Hello,

    The intervention is ongoing. The field teams have been on-site since 15:15 UTC.

    We are awaiting their feedback regarding the cause of this outage and have followed up with them on this matter.

    Our next synchronization update is scheduled for 16:15 UTC.

    Best regards,

  • Détecté
    Détecté

    Nous subissons actuellement une interruption sur une liaison coeur entre Grenoble et Bourg-Saint-Maurice.

    Nos équipes sont mobilisées et investiguent afin de déterminer la cause racine de cet incident.

    Le trafic est actuellement rerouté sur d'autres portions du réseau, cependant, nous observons une dégradation de la qualité de service ainsi qu’une augmentation de la latence dans le secteur.

    Une prochaine mise à jour sera communiquée lors de notre point de synchronisation prévu à 16h30 (heure locale).

    Cordialement,

    Service d'Exploitation IELO


    We are currently experiencing an outage on a core link between Grenoble and Bourg-Saint-Maurice.

    Our teams are mobilized and investigating to determine the root cause of this incident.

    Traffic is being rerouted through alternative network segments; however, we are observing service degradation and increased latency in the affected area.

    Our next update will be provided during our synchronization meeting scheduled for 15:30 UTC.

    Best regards,

    IELO Operations Service

Dégradation dans les villes de Bourg-Saint-Maurice, Les Arcs, Tignes et Val d'Isère
  • Résolu
    Résolu

    Bonjour,

    L'incident est résolu.

    Cordialement,

    L'équipe Support IELO


    Hello,

    This incident has been resolved.

    Regards,

    IELO Support Team

  • Surveillé
    Surveillé

    Bonjour,

    Le remplacement de la carte sur l'équipement est à présent terminé. Le routage de la zone impactée a désormais été rétabli.

    Nous monitorons cet incident jusqu'à ce soir à 18h. Si aucune nouvelle interruption n'est détectée, nous procéderons à la clôture de cet incident.

    Si vous rencontrez toujours des dégradations, nous vous invitons à ouvrir un incident sur notre extranet afin que nos équipes support puissent vous assister.

    Cordialement,


    Hello,

    The replacement of the equipment's card has now been completed. The routing of the impacted area has been restored.

    We will monitor this incident until 18:00 this evening. If no further interruptions are detected, we will proceed with closing this incident.

    If you are still experiencing issues, we invite you to open an incident on our extranet so that our support teams can assist you.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L'intervention est toujours en cours. Le matériel défectueux est en train d’être remplacé. Vos services devront retrouver un état stable dès la fin du remplacement.

    Notre prochain point de synchronisation est prévu à 14h (heure locale).

    Cordialement,


    Hello,

    The intervention is still in progress. The faulty equipment is being replaced. Your services should return to a stable state once the replacement is completed.

    Our next synchronization update is scheduled for 12:00 UTC.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Nous avons identifié la cause de la coupure. Il s'agit d'un incident matériel affectant un équipement de transmission.

    L'intervention se poursuit et nous avons relancé pour obtenir une estimation de rétablissement.

    Notre prochain point de synchronisation est prévu à 12h45 (heure locale).

    Cordialement,


    Hello,

    We have identified the cause of the outage. It is a hardware incident affecting a transmission equipment.

    The intervention is ongoing, and we have followed up to obtain an estimated time of restoration.

    Our next synchronization update is scheduled for 10:45 UTC.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Les investigations se poursuivent. Une intervention est en cours.

    Nous reviendrons vers vous dès que nous aurons une estimation de rétablissement.

    Notre prochain point de synchronisation est prévu à 12h (heure locale).

    Si vous avez des doutes concernant l’impact sur vos services, nous vous invitons à ouvrir un incident sur notre extranet afin que nos équipes support puissent vous assister.

    Cordialement,


    Hello,

    Investigations are ongoing. An intervention is in progress.

    We will get back to you as soon as we have an estimated time of restoration.

    Our next synchronization update is scheduled for 10:00 UTC.

    If you have any doubts regarding the impact on your services, we invite you to open an incident on our extranet so that our support teams can assist you.

    Best regards,

  • Identifié
    Identifié

    Nous avons mobilisé nos intervenants pour résoudre l'incident sur la portion identifiée entre Grenoble et Bourg-Saint-Maurice. Nos équipes travaillent également en parallèle à l'inventaire des services impactés.

    Notre prochain point de synchronisation est prévu à 11h15 (heure locale).

    Si vous avez des doutes concernant l’impact sur vos services, nous vous invitons à ouvrir un incident sur notre extranet afin que nos équipes support puissent vous assister.

    Cordialement,



    We have dispatched our field teams to resolve the incident on the identified segment between Grenoble and Bourg-Saint-Maurice. In parallel, our teams are actively assessing the impacted services.

    Our next synchronization update is scheduled for 09:15 UTC.

    If you have any doubts regarding the impact on your services, we encourage you to open a ticket on our extranet so that our support teams can assist you.

    Regards

  • Détecté
    Détecté

    Nous subissons actuellement une interruption sur notre réseau de transmission dans les Alpes.

    Nos équipes sont mobilisées et investiguent afin de déterminer la cause racine de cet incident.

    Le trafic est actuellement rerouté sur d'autres portions du réseau, cependant, nous observons une dégradation de la qualité de service ainsi qu’une augmentation de la latence dans le secteur.

    Une prochaine mise à jour sera communiquée lors de notre point de synchronisation prévu à 10h45 (heure locale).

    Cordialement,

    Service d'Exploitation IELO


    We are currently experiencing an outage on our transmission network in the Alps.

    Our teams are actively investigating to determine the root cause of this incident.

    Traffic is being rerouted through alternative network segments; however, we are observing service degradation and increased latency in the affected area.

    Our next update will be provided during our synchronization meeting scheduled for 08:45 UTC.

    Best regards,

    IELO Operations Service

Standard téléphonique ielo indisponible
  • Résolu
    Résolu

    Notre fournisseur de téléphonie nous confirme une remise en service progressive de leurs services.

    À ce stade, nous ne disposons pas encore d’une analyse détaillée sur l’origine de cette interruption.

    Nous restons attentifs et vous tiendrons informés dès que nous aurons plus d’éléments.

    Cordialement,


    Our telecom provider has confirmed a gradual restoration of their services.

    At this stage, we do not yet have a root cause analysis for the outage.

    We remain vigilant and will keep you informed as soon as we have more details.

    Regards

  • Surveillé
    Surveillé

    Nos services téléphoniques sont de nouveau disponibles depuis 10:27 (heure locale).

    À ce stade, nous n'avons pas encore reçu d'explication de la part de notre fournisseur, mais nous restons vigilants et continuons d'observer la situation.

    Nous nous excusons pour la gêne occasionnée et vous remercions pour votre patience.


    Our phone services have been available again since [08:27 UTC].

    For now, we have not received any explanation from our provider, but we are monitoring the situation closely.

    We apologize for the inconvenience and appreciate your patience.

  • Détecté
    Détecté

    Notre standard téléphonique est actuellement hors service.

    Le défaut a été identifié auprès de notre fournisseur de téléphonie, et nous sommes en attente de leur retour pour en comprendre la cause et rétablir le service au plus vite.

    En cas d'urgence, la matrice d'escalade reste disponible pour les sujets Delivery et Run.

    Nous vous tiendrons informés de l'évolution de la situation.

    Merci de votre patience et de votre compréhension.


    Our phone support service is currently unavailable.

    The issue has been identified with our telecom provider, and we are awaiting their feedback to understand the cause and restore the service as soon as possible.

    In case of emergency, the escalation matrix remains available for Delivery and Run topics.

    We will keep you updated on the situation.

    Thank you for your patience and understanding.

Incident sur le Backbone IELO
  • Résolu
    Résolu

    Bonjour,

    L'incident est définitivement terminé.

    Nous vous ferons parvenir un RFO cette semaine via notre page de statut.

    Cordialement,

    IELO Support Team


    Hello,

    The incident is definitively over.

    We will provide you with proper RFO this week via our status page.

    Regards,

    IELO Support Team

  • Surveillé
    Surveillé

    Une action corrective a été effectuée par nos équipes d'Ingénierie. Nous avons dû redémarrer un équipement core à 12h58. Suite à cela, les liens sont remontés progressivement.

    À l'heure actuelle, tous les services IELO sont de nouveau opérationnels.

    Merci de nous confirmer dans les tickets d'incidents le rétablissement de vos services.

    Nous nous excusons pour la gêne occasionnée.

    Cordialement,
    Service d'Exploitation IELO


    A corrective action was taken by our Engineering teams. We had to reboot a core device at 12:58pm. Following this, the links have gradually been restored.

    At present, all IELO services are operational again.

    Please confirm in the trouble tickets that your services have been restored.

    We apologize for this inconvenience.

    Best regards,

    IELO Operations Department

  • Détecté
    Détecté

    Madame, Monsieur,

    Une perturbation sur notre infrastructure Backbone a été identifiée. Les équipes sont en phase d'investigation pour en trouver l'origine.

    État actuel du service:

    Partiellement inopérant

    Nos équipes sont mobilisées pour analyser et résoudre l’incident.

    Nous vous communiquerons toute avancée significative dans les plus brefs délais.

    Cordialement,
    Service d'Exploitation IELO


    Dear Sir/Madam,

    A disruption to our Backbone infrastructure has been identified. Our teams are currently investigating the cause.

    Current state of service:

    Partially inoperative

    Our teams are mobilized to analyze and resolve the incident.

    We will inform you of any significant progress as soon as possible.

    Best regards,

    IELO Operations Department

01/02

Incident fibre Nice (06)
  • Résolu
    Résolu
    Bonjour,
    
    Depuis la remontée électrique de nos équipements le 25/02 à 15h30 (heure locale), nous n'observons plus d'impact.
    Nous clôturons donc cet incident.
    
    Cordialement,
    
    ---
    
    Hello,
    
    Since the power restoration of our equipment on 25/02 at 14:30 UTC, we have observed no further impact.
    We are therefore closing this incident.
    
    Regards,
  • Mettre à jour
    Mettre à jour

    Bonjour,

    Depuis la remontée électrique de nos équipements le 25/02 à 15h12 (heure locale), nous n'observons plus d’impact sur l'ensemble des services.

    L'alimentation de nos équipements est stable.

    Nous avons demandé un RFO à notre fournisseur que nous vous communiquerons dès que possible.

    Cordialement,

  • Surveillé
    Surveillé

    Suite à l'intervention des gestionnaires du site, nos équipements sont à nouveau alimentés et vos services sont actuellement rétablis.

    Nous attendons le compte rendu détaillé de l'intervention pour procéder à une analyse complète.

    Prochain point de communication prévu à 17h00 (heure locale).

    Cordialement,


    Following the intervention by the site managers, our equipment is now powered, and your services are currently restored.

    We are awaiting the detailed report of the intervention.

    Next update scheduled at 16:00 UTC.

    Regards

  • Détecté
    Détecté

    Un incident impactant notre réseau fibre est actuellement en cours dans le secteur de Nice (06).

    Nos premières investigations indiquent une coupure électrique de nos équipements.

    Un incident est ouvert coté gestionnaires du site.

    Un nouveau point d’avancement sera fait à 15h30 (heure locale).

    Cordialement,


    A fiber network incident is currently ongoing in the Nice (06) area.
    Our initial investigations indicate a power outage affecting our equipment.

    An incident has been opened with the site managers.

    The next update will be provided at 14:30 UTC.

    Regards

Incident fibre Nice (06)
  • Résolu
    Résolu

    Bonjour,

    Depuis la remontée électrique de nos équipements le 19/02 à 15h46 (heure locale), nous n'observons plus d’impact.

    Nous avons obtenu un compte rendu de notre hébergeur :

    '''

    Bonjour,

    La consommation électrique des équipements des différents opérateurs a dépassé la capacité initialement prévue.

    De ce fait, les disjoncteurs ont fonctionné afin d'empêcher un court-circuit.

    Le technicien est intervenu, a identifié le problème et a éteint les équipements consommant le plus d'énergie et jugés non nécessaires (chauffage, climatisation, etc.).

    Une étude va démarrer pour évaluer les ajustements nécessaires afin de supporter de telles charges.

    Il s'agit d'une intervention dans le cadre de l'entretien et de la gestion du réseau. À partir du moment où l'énergie est rétablie, le reste n'est plus traité comme un incident SAV énergie.

    En vous remerciant pour votre compréhension.

    '''

    En conséquence, nous clôturons cet incident générique.

    Cordialement,


    Hello,

    Since the power restoration of our equipment on 19/02 at 14:46 UTC, we have not observed any further impact.

    We have received a report from our hosting provider:

    '''

    Hello,

    The power consumption of the various operators' equipment exceeded the initially planned capacity.

    As a result, the circuit breakers were triggered to prevent a short circuit.

    The technician intervened, identified the issue, and turned off the most energy-consuming and non-essential equipment (heating, air conditioning, etc.).

    A study will be conducted to assess the necessary adjustments to support such power loads.

    This intervention falls under network maintenance and operations. Once power is restored, the remaining aspects are no longer considered an energy-related incident.

    Thank you for your understanding.

    '''

    As a result, we are closing this generic incident.

    Best regards,

  • Surveillé
    Surveillé

    Bonjour,

    Nous constatons que nos services ont retrouvé la continuité.

    Cet incident est mis sous surveillance jusqu'à demain matin.

    Nous attendons le compte rendu de l'intervention de l'hébergeur et avons effectué une relance à ce sujet.

    Cordialement,

    ---

    Hello,

    We observe that our services have regained continuity.

    This incident remains under monitoring until tomorrow morning.

    We are awaiting the intervention report from the hosting provider and have followed up on this matter.

    Regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    L'intervention se poursuit, mais aucune information supplémentaire n’a été reçue à ce jour. Nous avons relancé l'hébergeur pour obtenir des détails sur l'avancement de l'intervention.

    L'estimation de rétablissement (ETR) n'est pas encore disponible.

    Un nouveau point de communication sera effectué à 15h30 (heure locale).

    Cordialement,


    Hello,

    The intervention is ongoing, but no further updates have been received so far. We have followed up with the hosting provider to get details on the progress of the intervention.

    The estimated time of resolution (ETR) is still unavailable.

    A new communication update will be provided at 14:30 UTC.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Nous avons eu un retour de l'hébergeur, leurs équipes sont sur place depuis 12h30 et sont en cours d'intervention pour résoudre le problème.
    L'estimation de rétablissement (ETR) n'est pas encore disponible, nous avons relancé l'hébergeur à ce sujet.


    Un nouveau point de communication sera effectué à 14h00 (heure locale).

    Cordialement,


    We have received feedback from our hosting provider, and their teams have been on-site since 11:30 UTC, currently working on the issue.
    The estimated time of resolution (ETR) is not yet available, we have followed up with the hosting provider on this matter.


    A new communication update will be provided at 13:00 UTC.

    Best regards,

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Nos équipes arrivées sur place ont confirmé la coupure électrique. Aucune information supplémentaire n’a été reçue de la part de notre hébergeur, une relance a été effectuée.

    L'estimation de rétablissement (ETR) reste indisponible à ce stade.

    Un nouveau point de communication sera effectué à 12h30 (heure locale).

    Cordialement,


    Hello,

    Our on-site teams have confirmed the power outage. No further updates have been received from our hosting provider, and a follow-up request has been made.

    The estimated time of resolution (ETR) is still unavailable at this stage.

    A new communication update will be provided at 11:30 UTC.

    Best regards,

  • Identifié
    Identifié

    Nous avons reçu la confirmation de notre hébergeur concernant un défaut d’alimentation électrique sur site. Leurs équipes ont été mobilisées pour résoudre la situation.

    Nous n’avons pas encore d’estimation de rétablissement (ETR) à ce stade.

    Un nouveau point de communication est programmé à 11h00 (heure locale).

    Cordialement,


    We have received confirmation from our hosting provider regarding a power supply issue on-site. Their teams have been mobilized to resolve the situation.

    We do not have an estimated time for resolution (ETR) at this time.

    A new update is scheduled for 10:00 UTC.

    Regards

  • Détecté
    Détecté

    Un incident impactant notre réseau fibre est actuellement en cours dans le secteur de Nice (06). Nos premières investigations indiquent un défaut de fourniture d’énergie par notre hébergeur dans la zone concernée.

    Une signalisation a été déposée auprès de notre fournisseur afin de résoudre cet incident rapidement. Par ailleurs, nos équipes terrain ont été mobilisées et sont en route pour une intervention sur site. Nous n'avons pas encore d'ETA à ce stade.

    Un nouveau point d’avancement sera fait à 10h30 (heure locale).

    Cordialement,


    An incident is currently affecting our fiber network in the Nice (06) area. Our initial investigations indicate an issue with power supply from our hosting provider in the affected sector.

    A report has been submitted to our provider to resolve this incident as quickly as possible. Additionally, our field teams have been dispatched and are on their way to the site. We do not have an ETA at this time.

    A new progress update will be provided at 09:30 UTC.

    Regards

Incident backbone
  • Mettre à jour
    Mettre à jour

    Rapport d’incident réseau du 14/02/2025

    Chronologie des événements

    • 10:24 : Détection de multiples fluctuations entre plusieurs équipements réseau, vraisemblablement causées par une intervention en datacenter.

    • 10:29 : Signalement d’anomalies sur l’infrastructure système consécutives aux fluctuations.

    • 11:00 : De nombreuses alertes persistent dans l’outil de supervision. Certains équipements apparaissent injoignables, bien qu’aucune coupure physique ne soit constatée.

    • 11:04 : Un OLT impacté est sélectionné pour analyse :

      • Accessible depuis les bastions d’administration.

      • Injoignable depuis la supervision.

      • Un traceroute effectué depuis le serveur de supervision s’arrête à un équipement réseau.

    • 11:10 : Mise hors service temporaire de la liaison physique directe entre deux équipements réseau identifiés.

      • L’OLT redevient joignable depuis le serveur de supervision.

      • Après réactivation de la liaison, l’OLT redevient injoignable, orientant ainsi le diagnostic vers une zone spécifique du réseau.

    • 11:18 : Analyse des journaux d’un routeur, révélant une saturation des ressources FIB.

    RP/0/RP0/CPU0:Feb 14 09:24:30.259 UTC: fib_mgr[311]: %ROUTING-FIB-4-RSRC_LOW : FIB running low on DATA_TYPE_TABLE_SET resource memory. FIB will now begin resource constrained forwarding. Only route deletes will be handled in this state, which may result in mismatch between RIB/FIB. Traffic loss on certain prefixes can be expected. FIB will automatically resume normal operation, once the resource utilization returns to normal level.
    
    • 11:41 : Décision de redémarrer un équipement réseau afin de libérer des ressources.

    • 11:44 : Redémarrage effectué avec succès.

      • Le trafic retrouve un fonctionnement nominal.

      • L’infrastructure système est stabilisée.

    • 11:57 : Confirmation d’un retour à la normale sous surveillance renforcée.

    • 12:30 : Signalement d’interruptions sur des circuits L2 dans une zone spécifique.

    • 13:03 : Détection d’une incohérence RIB/FIB sur un équipement réseau impactant toujours certains services.

    • 13:23 : Demande d’extraction de journaux par la direction technique avant toute nouvelle opération de redémarrage.

    • 13:27 : Sollicitation d’une validation pour le redémarrage de l’équipement.

    • 14:03 : Relance auprès du support et de l’exploitation.

    • 14:54 : Validation du redémarrage par la direction technique.

    • 14:56 : Application de la directive max-metric router-lsa dans la configuration OSPF pour isoler l’équipement avant redémarrage.

      • Rétablissement des services via un chemin alternatif.

    • 14:57 : Annulation du redémarrage, l’application de la directive ayant résolu l’incohérence RIB/FIB.

    RP/0/RP0/CPU0:Feb 14 13:56:34.603 UTC: fib_mgr[346]: %ROUTING-FIB-6-RSRC_OK : FIB resource state has returned to normal. FIB has exited resource constrained operation and normal forwarding has been restored.
    
    • 14:59 : Suppression de la configuration max-metric router-lsa, retour à la normale confirmé.

    • 15:01 : L’équipement est totalement réintégré dans la topologie OSPF. Les ressources FIB sont à nouveau disponibles et stables. Une surveillance accrue est maintenue.

    Analyse et enseignements

    Causes racines

    L’incident résulte d’une saturation des ressources FIB sur un routeur clé du réseau, entraînant des incohérences RIB/FIB et des pertes de connectivité. L’intervention en datacenter a contribué à l’instabilité du réseau. Malgré cela, nous n’avons pas encore identifié les causes profondes des interruptions de L2 suite au redémarrage du premier équipement cœur.

    Actions correctives

    • Premier événement : L’isolation et le redémarrage du routeur cœur ont permis de supprimer les incohérences RIB/FIB.

    • Deuxième événement : L’application de la directive max-metric router-lsa a permis de restaurer la situation sans nécessiter de redémarrage du routeur, limitant ainsi l’impact opérationnel.

    Responsabilité

    • Premier événement : L’incident est attribuable à un bug logiciel sur une version de nos routeurs cœur (Ielo), en raison d’une gestion insuffisante des ressources FIB. Une campagne de mise à jour logicielle et matérielle est en cours depuis le mois d’août ainsi qu’un renforcement des métriques d’alerte pour anticiper ces situations.

    • Deuxième événement : À ce jour, nous n’avons pas encore identifié les facteurs ayant provoqué l’arrêt du trafic sur les liaisons L2.

    Conclusion

    L’incident du 14/02/2025 a été causé par une saturation des ressources FIB sur un routeur cœur du réseau, générant des incohérences RIB/FIB et des pertes de connectivité. Suite à une isolation et une restauration de la configuration, les équipements impactés ont été rétablis. Cette intervention a généré un second événement sur une autre partie du réseau, provoquant une interruption de service L2. L’application de la directive max-metric router-lsa a permis de rétablir la situation sans nécessiter de redémarrage. Une surveillance renforcée est mise en place pour prévenir toute récurrence.


    Network Incident Report - 14/02/2025

    Event Timeline

    • 10:24: Detection of multiple fluctuations between several network devices, likely caused by data center maintenance.

    • 10:29: Reporting of anomalies in the system infrastructure following the fluctuations.

    • 11:00: Numerous alerts persist in the monitoring tool. Some devices appear unreachable, though no physical disconnection is detected.

    • 11:04: An impacted OLT is selected for analysis:

      • Accessible from administrative bastions.

      • Unreachable from the monitoring system.

      • A traceroute performed from the monitoring server stops at a specific network device.

    • 11:10: Temporary deactivation of the direct physical link between two identified network devices.

      • The OLT becomes reachable again from the monitoring server.

      • After reactivating the link, the OLT becomes unreachable again, narrowing down the diagnostic focus to a specific network area.

    • 11:18: Log analysis of a router reveals saturation of FIB resources.

    RP/0/RP0/CPU0:Feb 14 09:24:30.259 UTC: fib_mgr[311]: %ROUTING-FIB-4-RSRC_LOW : FIB running low on DATA_TYPE_TABLE_SET resource memory. FIB will now begin resource constrained forwarding. Only route deletes will be handled in this state, which may result in mismatch between RIB/FIB. Traffic loss on certain prefixes can be expected. FIB will automatically resume normal operation, once the resource utilization returns to normal level.
    
    • 11:41: Decision to restart a network device to free up resources.

    • 11:44: Restart successfully completed.

      • Traffic returns to normal operation.

      • System infrastructure stabilizes.

    • 11:57: Confirmation of a return to normal under increased monitoring.

    • 12:30: Reports of disruptions on L2 circuits in a specific area.

    • 13:03: Detection of a RIB/FIB inconsistency on a network device still affecting some services.

    • 13:23: Request for log extraction by the technical management before any further restart operation.

    • 13:27: Request for validation before restarting the device.

    • 14:03: Follow-up with support and operations teams.

    • 14:54: Restart approved by technical management.

    • 14:56: Implementation of the max-metric router-lsa directive in OSPF configuration to isolate the device before restart.

      • Services restored via an alternative path.

    • 14:57: Restart canceled as applying the directive resolved the RIB/FIB inconsistency.

    RP/0/RP0/CPU0:Feb 14 13:56:34.603 UTC: fib_mgr[346]: %ROUTING-FIB-6-RSRC_OK : FIB resource state has returned to normal. FIB has exited resource constrained operation and normal forwarding has been restored.
    
    • 14:59: Removal of the max-metric router-lsa configuration, normal state confirmed.

    • 15:01: The device is fully reintegrated into the OSPF topology. FIB resources are stable and available again. Increased monitoring is maintained.

    Analysis and Lessons Learned

    Root Causes

    The incident resulted from FIB resource saturation on a key network router, leading to RIB/FIB inconsistencies and connectivity losses. The data center intervention contributed to network instability. However, the root cause of L2 interruptions following the initial core device restart remains unidentified.

    Corrective Actions

    • First Event: Isolating and restarting the core router eliminated the RIB/FIB inconsistencies.

    • Second Event: Applying the max-metric router-lsa directive restored stability without requiring a router restart, minimizing operational impact.

    Responsibility

    • First Event: The incident is attributed to a software bug in a version of our core routers (Ielo), due to inadequate FIB resource management. A software and hardware update campaign has been ongoing since August, along with reinforced alert metrics to anticipate such situations.

    • Second Event: The factors causing traffic loss on L2 links remain unidentified.

    Conclusion

    The incident on 14/02/2025 was caused by FIB resource saturation on a core network router, resulting in RIB/FIB inconsistencies and connectivity losses. Following isolation and configuration restoration, impacted devices were recovered. This intervention triggered a second event in another network section, causing L2 service interruption. Applying the max-metric router-lsa directive resolved the issue without requiring a restart. Enhanced monitoring is in place to prevent recurrence.

  • Résolu
    Résolu

    Bonjour,

    Depuis notre dernière intervention à 14h57, nous n'observons plus d’impact. En conséquence, nous clôturons cet incident générique.

    Nous nous excusons pour la gêne occasionnée et vous remercions pour votre compréhension.

    Cordialement,


    Hello,

    Since our last intervention at 14:57, we have observed no further impact. As a result, we are closing this generic incident.

    We apologize for any inconvenience caused and thank you for your understanding.

    Regards

  • Mettre à jour
    Mettre à jour

    Bonjour,

    Nos équipes ont remis aux normes l’équipement du cœur de réseau après avoir contrôlé sa configuration et procédé à son redémarrage. Cette remise aux normes a été effectuée à 14h57 heure locale.

    À ce stade, nous n’observons aucun impact. Nous maintenons néanmoins une surveillance active de la situation jusqu’à 18h00.

    Cordialement,


    Hello,

    Our teams have restored the core network equipment to standard after verifying its configuration and rebooting it. This restoration was completed at 14:57 local time.

    At this stage, we do not observe any impact. However, we will continue to actively monitor the situation until 18:00.

    Regards

  • Surveillé
    Surveillé

    Bonjour,

    Nous suspectons qu’un équipement actif de notre cœur de réseau soit à l’origine de l’incident. Cet équipement a été isolé et nous constatons une amélioration de la situation.

    Nous effectuons actuellement un inventaire de l’état des services signalés dans les tickets d’incidents. En parallèle, nos équipes d’ingénierie et d’exploitation poursuivent leur investigation sur l’équipement identifié.

    Nous vous tiendrons informés de toute avancée significative.

    Cordialement,
    Service d'Exploitation ielo


    Hello,

    We suspect that an active device in our core network is the source of the incident. This device has been isolated, and we are observing an improvement in the situation.

    We are currently assessing the status of reported services based on incident tickets. Meanwhile, our engineering and operations teams are continuing their investigation on the identified equipment.

    We will keep you informed of any significant updates.

    Regards

  • Détecté
    Détecté

    Bonjour,

    Une perturbation affectant notre infrastructure Backbone a été identifiée. Nous constatons des interruptions sur certaines liaisons L2 au sein de notre coeurs. Nous observons aussi des cas de trafic unidirectionnel entre certaines collectes opérateurs et les routeurs d'accès.

    Nos équipes sont mobilisées pour analyser et résoudre l’incident dans les meilleurs délais. Nous vous tiendrons informés de toute évolution significative.

    Cordialement,
    Service d'Exploitation ielo

    ----

    Hello,

    A trouble has been identified in our backbone infrastructure. We are observing interruptions on certain L2 links within our core. We are also observing cases of unidirectional traffic between certain trunk operator and access routers.

    Our teams are mobilised to analyse and resolve the incident as quickly as possible. We will keep you informed of any significant developments.

    Regards
    ielo Operations Department

01/01

Aucun incident signalé ce mois-ci

01/01 à 01/03

Suivant