Wg. Anpassung eines Kernelparameters müssen die Systeme neu gestartet werden
Memory fragmentation handling buffers verdoppelt
Abgeschlossen.
Diverse Firewallknoten werden aktualisiert.
Von 7.1.7 nach 7.1.8
Done.
Eine hoffentlich weniger speicherhungrige Version wurde installiert.
von 7.1.7 nach 7.1.7-custom.1
In dem Zeitraum finden Redundanztests unserer Außenanbindung statt. Es könnte zu kürzeren Ausfällen in dem Zeitraum kommen.
Seit 10:15 Uhr ist ein Großteil der Netaachen / Netcologne Kund*innen aus dem RWTH Netz nicht mehr erreichbar. Die Störung liegt nicht bei uns. Dieser Hinweis geht ist an die Kolleg*innen im Homeoffice gerichtet, die unsere Dienste nicht mehr nutzen können. Die Störung wurde um ~16:30 Uhr behoben.
So langsam sind wieder mehr und mehr Netaachen/Netcologne Kund*innen erreichbar.
Die Situation der Konnektivität zu Netaachen/Netcologne Zielen hat sich wieder bedeutend verschlechtert. Vermutlich wird die Störung noch länger dauern.
Aufgrund eines Faserbruchs der Anbindung nach Frankfurt kam es zu einer kurzen Unterbrechungen der Konnektivität durch die Routing-Anpassung. Der Datenverkehr wird nun vollständig über den Uplink nach Hannover umgeleitet. Es wird bereits an einer Lösung des Problems gearbeitet.
Es handelt sich um einen Faserbruch auf dem Weg nach Frankfurt. Wir halten Sie auf dem Laufenden
Die Firewallknoten erhalten ein Softwareupdate
Von 7.1.6 auf 7.1.7
Done.
Aufgrund von Linkflaps der Anbindung nach Frankfurt kommt es derzeit zu kurzen Unterbrechungen der Konnektivität. Es wird bereits an einer Lösung des Problems gearbeitet.
Erweiterung der Ticketqueues.
Nachdem das DFN-seitige Problem nachts wenig ausgeprägt auftrat, waren seit ca. 10:14 Uhr hochschulweit vorübergehende Qualitätseinschränkungen in der Außenanbindung bemerkbar (abbrechende Verbindungen usw.). Nach Diagnose zusammen mit dem DFN-Verein wurde das Routing gegen 10:55 Uhr manuell angepasst, so dass nun kein Datenverkehr mehr über die – immer noch selbsttätig zu- und abschaltende – Faserverbindung nach Frankfurt a.M. fließt. Die Anbindung läuft nun stabil über Hannover, so dass der Faserdefekt für uns keine bemerkbaren Auswirkungen mehr hat. (Zu einem späteren Zeitpunkt, nach Wiederherstellung einer stabilen Verbindung nach Frankfurt durch den DFN-Verein bzw. seine Auftragnehmer, werden wir das Routing über beide Faserwege wieder in Betrieb nehmen.)
Die Leitung nach Frankfurt ist seit 18:26 Uhr wieder im regulären Betrieb. Ein defekter Transceiver wurde auf der Gegenseite getauscht.
Seit 7:04 Uhr gibt es eine Unterbrechung der Faserstrecke nach Frankfurt. Während eines Inbetriebnahme-Versuchs gefolgt von einem erneuten Ausfalls um 10:04 Uhr kam es durch die Routing-Konvergenz zu einer Unterbrechung der externen Konnektivität von ca. 3 Minuten. Aktuell läuft der Internetverkehr ungestört über den zweiten Weg.
Nach einer Wartung durch den DFN am Standort Frankfurt kam es zu einem Ausfall der 100 Gigabit-Strecke dorthin. Seit 10:05 Uhr ist dies gelöst. Bei der Wiederinbetriebnahme kam es bei einem Teil der IPv4-Verbindungen zu einer kurzen Unterbrechung.
Aufgrund eines Hardware-Schadens einer Linecard in unserem XWiN-Router erfolgt ein kurzer Umschaltvorgang auf eine fehlerfreie Linecard. Dadurch kommt es zu einer Unterbrechung des Routings nach Frankfurt von bis zu 60 Sekunden. Einige Ziele werden in dem Zeitraum nicht erreichbar sein.
Hardware-Fehler eines FPGAs auf der betroffenen Linecards.
Nach 7 Jahren wird eine neue Hardware für die RWTH Firewall in Betrieb genommen. Es muss damit gerechnet werden, dass Verbindungen unterbrochen werden. Der generelle Ausfall sollte kleiner als 30s bleiben.
C240-M4S nach C240-M7SX
Aufgrund hoher Last auf der zentralen RWTH Firewall kam es zu erhöhten Latenzen, wodurch insbesondere Videokonferenzen gestört wurden. Durch die Deaktivierung ein paar nicht essenzieller Dienste konnte das Problem behoben werden. In Kürze ist eine Leistungssteigerung der Firewall geplant, um zukünftig genügend freie Ressourcen zu schaffen.
Erweiterung der Meldung auf die Queue Webex. Durch die Störung werden Echtzeitanwendungen wie Webex in Mitleidenschaft gezogen.
Die genannten Firewalls erhalten neue Software
von 7.1.4 auf 7.1.5
Die Firewalls erhalten neue Software
Wechsel von 7.1.3 auf 7.1.4
dc und zhv sind durch, xwin ergänzt
xwin ist auch durch
Aufgrund eines Fibercuts ist die Leitung nach Hannover ausgefallen. Der Leitungsprovider wurde bereits vom DFN informiert. Die redundante Leitung nach Frankfurt funktioniert hingegen einwandfrei, wodurch es aktuell zu keinerlei Störungen der Netzanbindung kommt.
Störung wurde behoben
Die Firewall Nodes erhalten neue Software. Aufgrund eines Software Bugs ist das Update dringend erforderlich. Aus diesem Grund erfolgt die Ankündigung nur mit kurzer Vorlaufzeit. Es besteht die Möglichkeit, dass es während der Arbeiten zu Ausfällen der XWiN-Anbindung oder Ausfälle der Netzverbindung kommen kann. --- english version--- The firewall nodes are receiving new software. The update is urgently required due to a software bug. For this reason, the announcement has been only made with a short lead time. There is a possibility that the XWiN connection or network connection may fail during the work.
Update der Software von 7.0.3 auf 7.1.2
Aufgrund eines Fibercuts zwischen Aachen und Jülich ist die Leitung nach Hannover ausgefallen. Der Leitungsprovider wurde bereits vom DFN informiert. Die redundante Leitung nach Frankfurt funktioniert hingegen einwandfrei, wodurch es aktuell zu keinerlei Störungen der Netzanbindung kommt.
Störung wurde behoben
Die RWTH Anbindung via Frankfurt steht in dem Zeitraum aufgrund einer Muffensanierung nicht zur Verfügung. Während des Wartungsfensters wird der Verkehr über Hannover geleitet.
Neue Software für die Firewall Engines
2. Versuch 6.10.13 auf 7.0.3 um das problematische Verhalten der Management Console zu studieren
Die Engines der RWTH Firewall erhalten ein Softwareupdate
Von 6.10.13 auf 7.0.3
Erledigt.
Heute 20230916 wurde zwischen 17:45 und 18:30 ein Downgrade der RWTH Firewall auf 6.10.13 angestoßen. Da einige Leute den vorherigen Upgrade (wohl zu recht) bemängelt hatten, wäre es nett zu erfahren, ob die Probleme damit gelöst wurden.
Aufgrund eines memory leaks ist ein Reboot des n7k-lssnord-1 erforderlich. Die Wartung ist ausfallfrei geplant und der Datenverkehr wird in dem Zeitraum über Hannover geroutet.
Aktuell ist das RWTH Netz aufgrund eines Routingproblems nur eingeschränkt erreichbar. Das Routing wurde RWTH seitig bereits geprüft und ist innerhalb RWTH Netzes fehlerfrei. Der Fehler liegt somit außerhalb unseres Einflussbereichs. Dies haben wir bereits gemeldet und nun warten wir auf die Behebung.
Nach vorläufiger Problemanalyse wurde gegen 7:40 Uhr unsererseits ein Workaround implementiert. Dadurch sollte die Außenanbindung der RWTH seitdem aus Kundensicht wieder normal funktionieren.
Mit Unterstützung des DFN konnte Stelle des Paketverlusts aufgefunden werden. Zur Klärung eines Softwarebugs bzw. Hardwareschaden ist ein Reboot des XWiN-Routers n7k-ww10-1 erforderlich. Es sind kürzere Ausfälle möglich.
Regulärer redundanter Betrieb wieder hergestellt.
Am 07.09.2023 ab 16:00 Uhr werden die Supercore und Core-Router an den Standorten Wendlingweg, Seffenterweg, Hörsaalgebäude CARL und LSSNord auf die aktuelle Version geupdatet. Die Update sind störungsfrei geplant.
Die RWTH Firewall erhält ein Update
Von 6.10.12 auf 6.10.13
Done.
Die Firewallengines zum XWiN erhaltern ein Softwareupdate
6.10.10 nach 6.10.12