XWiN-Anschluss

We have received preliminary information about upcoming security updates that we will need to install on a number of network components of the RWTH network.

Generally, installation of software updates is a routine procedure that we perform quite regularly in order to ensure continued secure operation and management of our network. This time around, we don't have detailed information about when exactly updated software will be available to us, which obviously makes planning a bit more difficult. It may be necessary to install updates and reboot network components on short notice, which may cause short but potentially noticeable service interruptions. We try as much as possible to do this outside of regular usage hours.

We will provide specifics about what systems will be concerned once we actually have this information ourselves.

Currently, this software update situation is affecting a number of VPN devices at our university: At night, we'll install software updates on customers' VPN devices, multiple of which will need to be rebooted subsequently. All this will take place outside of regular work hours, in order to minimise impact.

Several central L3 switches will be receiving software updates tonight. These required security updates have been announced and provided to us at short notice.

We only expect minimal impact on network usage due to the redundant design of this part of our network. In addition, updates are performed at times of low network usage.

We'd like to apologise in case you do notice certain smaller effects (e.g. reduced throughput, momentary interruptions while we are performing a failover) during the software updates.

new software old version 7.3.3 new version 7.3.4

A brief interruption to the RWTH Internet connection occurred due to the failure of one of two firewall nodes.

Aktuell gibt es einen Fibre-Cut zwischen Hannover und Aachen , sowie Paderborn und Aachen.

Aufgrund der Redundanzen liegt keine Serviceeinschränkung vor.

Partial outage has been resolved.

Device was stubborn

new software

done.

An den Standorten Aachen und Bonn werden im Auftrag des DFN jeweils ein Raman-Verstärker (Amplifier) ausgetauscht. Da beidseitig ein neues kompatibles Modell eingesetzt werden muss, finden die Arbeiten parallel an beiden Standorten statt.
In dem Zeitfenster wird es zu Unterbrechungen der Leitung nach Frankfurt von ca. 5-10 Minuten kommen. Während der Unterbrechung wird daher die redundante Anbindung nach Hannover genutzt. Somit ist nur mit kurzen Ausfällen (wenige Sekunden) durch die Routing-Umstellungen zu rechnen.

A DDoS attack that, in its initial phase, saturated both lines to the DFN, leading to impairments in external connectivity.

The Firewallengines get new Software (7.1.11 -> 7.1.12)

Done.

The Serverhardware of the Firewall gets a Firmwareupdate

Done.

"Strong" work is needed.

The Serverhardware of the Firewall gets a Firmwareupdate

Done

Due to a fibre optic cable break on the Aachen <-> Bonn route, the Internet uplink via DFN to the location Frankfurt is no longer available. However, the redundant route via Hanover is functioning perfectly. Work is already underway to rectify the fault, which should be completed during the course of the day.

All firewalls are receiving a software update
From 7.1.10 to 7.1.11
From 7.2.4 to 7.2.5

Done.

A spontaneous reboot occurred while installing signature updates.
This resulted in a brief interruption in the connection between the systems.

Aufgrund eines Faserbruchs auf der Strecke nach Frankfurt wird der Datenverkehr über Hannover umgeleitet. Es bestehen daher keine Einschränkungen für die RWTH-Anbindung.

Die Firewall Engines erhalten neue Software

Erledigt.

During this period, the routing of the previous XWiN routers (Nexus 7700) will be switched to the new XWiN routers (Catalyst 9600). These routers are essential for RWTH's network connection. This changeover also requires the migration of the DFN connection, which is switched redundantly to Frankfurt and Hannover, and the RWTH firewall to the new systems.
There will be complete or partial outages of the external connection during the maintenance window. All RWTH services (e.g. VPN, email, RWTHonline, RWTHmoodle) will not be available during this period. The accessibility of services within the RWTH network will be temporarily unavailable due to limited DNS functionality.

Der Uplink nach Frankfurt wurde erfolgreich auf das neue System geschwenkt.

Umbau des Uplinks nach Hannover beginnt.

Uplink nach Hannover auf das neue System umgezogen.

BGP v4/v6 nach Frankfurt und Hannover sind nun über die neue Routern funktional.

Es stehen noch ein paar kleinere Nacharbeiten an.

Wartung ist abgeschlossen. Der Datenverkehr läuft nun vollständig über die neuen Router!

Problematik mit der Anbindung zur Physik identifiziert, Lösung erfolgt morgen früh.

Die Switche werden durch neuere leistungsfähigere ersetzt.

Die Software der Firewall Nodes wird aktualisiert

Done.

Wg. Anpassung eines Kernelparameters müssen die Systeme neu gestartet werden

Abgeschlossen.

Diverse Firewallknoten werden aktualisiert.

Done.

Eine hoffentlich weniger speicherhungrige Version wurde installiert.

In dem Zeitraum finden Redundanztests unserer Außenanbindung statt. Es könnte zu kürzeren Ausfällen in dem Zeitraum kommen.

Seit 10:15 Uhr ist ein Großteil der Netaachen / Netcologne Kund*innen aus dem RWTH Netz nicht mehr erreichbar. Die Störung liegt nicht bei uns. Dieser Hinweis geht ist an die Kolleg*innen im Homeoffice gerichtet, die unsere Dienste nicht mehr nutzen können.
Die Störung wurde um ~16:30 Uhr behoben.

So langsam sind wieder mehr und mehr Netaachen/Netcologne Kund*innen erreichbar.

Die Situation der Konnektivität zu Netaachen/Netcologne Zielen hat sich wieder bedeutend verschlechtert. Vermutlich wird die Störung noch länger dauern.

Aufgrund eines Faserbruchs der Anbindung nach Frankfurt kam es zu einer kurzen Unterbrechungen der Konnektivität durch die Routing-Anpassung. Der Datenverkehr wird nun vollständig über den Uplink nach Hannover umgeleitet.
Es wird bereits an einer Lösung des Problems gearbeitet.

Es handelt sich um einen Faserbruch auf dem Weg nach Frankfurt.
Wir halten Sie auf dem Laufenden

Die Firewallknoten erhalten ein Softwareupdate

Done.

Aufgrund von Linkflaps der Anbindung nach Frankfurt kommt es derzeit zu kurzen Unterbrechungen der Konnektivität. Es wird bereits an einer Lösung des Problems gearbeitet.

Erweiterung der Ticketqueues.

Nachdem das DFN-seitige Problem nachts wenig ausgeprägt auftrat, waren seit ca. 10:14 Uhr hochschulweit vorübergehende Qualitätseinschränkungen in der Außenanbindung bemerkbar (abbrechende Verbindungen usw.). Nach Diagnose zusammen mit dem DFN-Verein wurde das Routing gegen 10:55 Uhr manuell angepasst, so dass nun kein Datenverkehr mehr über die – immer noch selbsttätig zu- und abschaltende – Faserverbindung nach Frankfurt a.M. fließt.
Die Anbindung läuft nun stabil über Hannover, so dass der Faserdefekt für uns keine bemerkbaren Auswirkungen mehr hat.
(Zu einem späteren Zeitpunkt, nach Wiederherstellung einer stabilen Verbindung nach Frankfurt durch den DFN-Verein bzw. seine Auftragnehmer, werden wir das Routing über beide Faserwege wieder in Betrieb nehmen.)

Die Leitung nach Frankfurt ist seit 18:26 Uhr wieder im regulären Betrieb. Ein defekter Transceiver wurde auf der Gegenseite getauscht.

Seit 7:04 Uhr gibt es eine Unterbrechung der Faserstrecke nach Frankfurt.
Während eines Inbetriebnahme-Versuchs gefolgt von einem erneuten Ausfalls um 10:04 Uhr kam es durch die Routing-Konvergenz zu einer Unterbrechung der externen Konnektivität von ca. 3 Minuten.
Aktuell läuft der Internetverkehr ungestört über den zweiten Weg.

Nach einer Wartung durch den DFN am Standort Frankfurt kam es zu einem Ausfall der 100 Gigabit-Strecke dorthin. Seit 10:05 Uhr ist dies gelöst. Bei der Wiederinbetriebnahme kam es bei einem Teil der IPv4-Verbindungen zu einer kurzen Unterbrechung.

Aufgrund eines Hardware-Schadens einer Linecard in unserem XWiN-Router erfolgt ein kurzer Umschaltvorgang auf eine fehlerfreie Linecard. Dadurch kommt es zu einer Unterbrechung des Routings nach Frankfurt von bis zu 60 Sekunden. Einige Ziele werden in dem Zeitraum nicht erreichbar sein.

Nach 7 Jahren wird eine neue Hardware für die RWTH Firewall in Betrieb genommen.
Es muss damit gerechnet werden, dass Verbindungen unterbrochen werden.
Der generelle Ausfall sollte kleiner als 30s bleiben.

Aufgrund hoher Last auf der zentralen RWTH Firewall kam es zu erhöhten Latenzen, wodurch insbesondere Videokonferenzen gestört wurden. Durch die Deaktivierung ein paar nicht essenzieller Dienste konnte das Problem behoben werden. In Kürze ist eine Leistungssteigerung der Firewall geplant, um zukünftig genügend freie Ressourcen zu schaffen.

Erweiterung der Meldung auf die Queue Webex. Durch die Störung werden Echtzeitanwendungen wie Webex in Mitleidenschaft gezogen.

Die genannten Firewalls erhalten neue Software