***English Version below*** Aktuell gibt es Probleme mit der Anmeldung an Console1.dasi.rwth-aachen.de für RWTH Backup-Admins An einer Ĺösung wir bereits gearbeitet. Backupjobs sind von der Störung nicht betroffen. Die Sicherungen laufen wie geplant weiter. ***English Version*** There are currently problems with logging in to Console1.dasi.rwth-aachen.de for RWTH backup admins We are already working on a solution. Backup jobs are not affected by the disruption. The backups continue to run as planned.
Störung wurde behoben
Aktuell kommt es im Backup-System zu deutlichen Verzögerungen in der Abarbeitung der Backup- und Restore-Jobs. Commvault ist bereits an der Analyse des Problems und wir hoffen auf eine Lösung des Problems im Laufe des Nachmittags.
Leider konnte das Problem auch weiterhin nicht behoben werden. Wir hoffen auf eine Lösung bis heute Abend.
Leider konnte das Problem heute nicht mehr behoben werden. Wir hoffen, das Problem bis einschließlich Montag zu beheben. Wir bitten entstandene Unannehmlichkeiten zu entschuldigen.
Die Situation hat sich inzwischen wieder stabilisiert. Die blockierenden Prozesse konnten beendet werden und die Backups laufen wieder.
Es findet in der angegebenen Zeit eine Wartung des Keycloak Servers für Commvault statt, so dass in dieser Zeit keine Anmeldung an der Webkonsole von Commvault möglich ist. Backups laufen wie gewohnt weiter.
Wegen einer wichtigen Hardware-Wartung unseres Speicher-Backends im Kop6 wird es ein kurzfristiges Blackoutwindow im Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.
Leider verzögern sich die Harwarearbeiten im Storagesystem, sodass die Hardwarewartung verlängert werden muss.
Bedauerlicherweise verzögern sich die Hardwarearbeiten weiterhin. Wir bitten den Ausfall zu entschuldigen. Wir hoffen, dass bis 21 Uhr die Arbeiten abgeschlossen sind.
Die Komplikationen bei der Hardwarewartung konnten heute leider nicht abgeschlossen werden, so dass die Arbeiten orgen früh fortgeführt werden müssen. Das Wartungsfenster wurde daher bis Morgen 11:00 verlängert.
Leider konnten die Reparaturen am Storage System noch nicht abgeschlossen werden. Um den Backup Betrieb nicht weiter zu behindern wurde das Blackout Window dennoch geschlossen, sodass die Sicherungen der Clients jetzt wieder möglich sein sollten. Da das besagte Storage System noch nicht verfügbar ist, kann es bei Restores zu Fehlermeldungen bzgl. nicht verfügbarer Objekte kommen. An der Reparatur des Storage Systems wird weiter mit Hochdruck gearbeitet. Wir bitten die Unanehmlichkeiten zu entschuldigen.
Leider ließen sich die Probleme am Storage System bisher noch nicht beheben, aufgrund weiterer Komplikationen. Das Ticket dazu wurde auf internationalen Sev 1 Level angehoben und hat damit höchste Priorität beim internationalen Support. An der Reparatur des Storage Systems wird weiter mit Hochdruck gearbeitet. Das Sichern der Clients ist weiterhin gewährleistet. Allerdings kann es bei Restores auch weiterhin zu Fehlermeldungen bzgl. nicht verfügbarer Objekte kommen, da das Storage System noch nicht wieder verfügbar ist. Wir bitten die Unanehmlichkeiten und die weitere Verzögerung zu entschuldigen.
Die Probleme am dem Storage System wurden heute behoben und das System ist nun wieder Read/Write fähig. Die Restores sollten nun wieder ordnungsgemäß funktionieren. Wir bitten die entstandenen Unanehmlichkeiten und Verzögerungen zu entschuldigen.
Um einige wichtige Updates und Fixes auf den Commvault-Systemen zu installieren wird es ein kurzfristiges Blackoutwindow Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.
Aktuell gibt es Verbindungsprobleme mit dem Backup-Portal. Wir arbeiten bereits an einer Lösung. ---english--- There are currently connection problems with the backup portal. We are already working on a solution.
Die Störung wurde behoben. ---english--- The problem has been resolved.
Um einige wichtige Updates und Fixes auf den Commvault-Systemen zu installieren wird es ein kurzfristiges Blackoutwindow Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.
Da die Index-Datenbank des Mediaservers ma-16 vollgelaufen ist und automatische Prozesse in Commvault, die zur Bereinigung dienen nicht ordnungsgemäß funktionieren, ist der Mediaagent offline. Jobs des ServerplansD laufen normal auf anderen Mediaagents weiter. In einigen Fällen kann es zu entsprechenden Fehlermeldungen kommen und gegebenenfalls bei Restore Jobs, die auf die auf die Index-Datenbank des Mediaagents ma-16 zugreifen zu Fehlern oder zu längeren Durchführungszeiten. Wir arbeiten gemeinsam mit dem Commvault-Support an einer Lösung.
Der Login ins Commandcenter per console1.dasi.rwth-aachen.de (per SSO) ist aktuell nicht möglich, wir arbeiten an der Behebung der Störung.
Der Login funktioniert wieder. Einige Prozesse, die keine Reaktion mehr zeigten, konnten durch Neustarts der beteiligten Systeme wieder in Gang gebracht werden.
Der Mediaagent ma-03 ist offline, wir arbeiten an der Behebung der Störung. Es sind aktuell keine Einschränkungen von Backups- und Restore-Jobs dadurch zu erwarten.
Der Fehler konnte behoben werden und der Mediaagent ist wieder online.
Um einige wichtige Updates und Fixes auf den Commvault-Systemen zu installieren wird es ein kurzfristiges Blackoutwindow Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.
Die Wartung wurde erfolgreich durchgeführt, der Commserve ist nun auf Version 11.32.23
Da die Index-Datenbank des Mediaservers ma-09 vollgelaufen ist und automatische Prozesse in Commvault, die zur Bereinigung dienen nicht ordnungsgemäß funktionieren, ist der Mediaagent offline. Jobs des ServerplansB laufen normal auf anderen Mediaagents weiter. In einigen Fällen kann es zu entsprechenden Fehlermeldungen kommen und gegebenenfalls bei Restore Jobs, die auf die auf die Index-Datenbank des Mediaagents ma-09 zugreifen zu Fehlern oder zu längeren Durchführungszeiten. Wir arbeiten gemeinsam mit dem Commvault-Support an einer Lösung.
Wir arbeiten weiterhin mit den Herstellern an einer dauerhaften Lösung. Bisherige Lösungsansätze waren nur kurzfristig erfolgreich bzw. die Erfolge werden noch bis zum Ende von Verschiebe-Prozessen voraussichtlich noch einige Tage Zeit in Anspruch nehemen.
Der Mediaagent ma-09 ist nach Hard- und Softwareanpassungen wieder im Normalbetrieb.
Da ein DIMM-Modul getauscht werden soll, der laut Vorhersagen ausfallgefährdet ist, wird ein Mediaagent (ma-04, ServerplanB) für die Dauer des Tausches abgeschaltet. Außerdem werden Arbeiten an der Stromversorgung durchgeführt, die voraussichtlich keine Störung verursachen werden.
Die Administration von Backup- und Restorejobs ist über console1.dasi.rwth-aachen.de nicht möglich, nach dem Login per SSO wird eine leere Seite angezeigt. Wir arbeiten an einer Lösung und erwarten, dass nach dem Restart der Dienste der Login in Kürze wieder möglich sein wird.
Der Fehler wurde gefunden und behoben.
Aufgrund von Maßnahmen zu Problembehebungen und Erweiterungen von Hardware-Komponenten kommt es in den letzten Tagen häufiger zu Systemmeldungen der Form "Failed to mount the disk media in library ... with mount path ... on MediaAgent .... [Cloud] There is a slow down error." Die Hersteller der Soft- und Hardware arbeiten gemeinsam unter Hochdruck an einer Lösung. Sollten Restores von einzelnen Dateien, Ordnern oder Systemen fehlschlagen, empfielt es sich diese Jobs nach einiger Zeit erneut zu starten.
Commvault Backups: Hitachi arbeitet weiterhin an einer Lösung um die Ursache für "failt to mount" und "slow down" Meldungen zu beseitigen.
Bei den Hitachi HCP Clustern müssen unregelmäßig Neustarts Seitens Hitachi ausgeführt werden. Bei den Umkonfigurationen, die zur Fehlerbehebung dienen sollen, fallen die Systeme gelegentlich in "Read-Only-Status". Es tauchen dadurch unterschiedliche Fehlermeldungen bei Commvault Jobs auf - auch wenn diese häufig Unterbrochen werden, werden sie regelmäßig bis zum Ende (completed/committed oder failed) automatisch fortgesetzt (running/waiting).
Die Hersteller arbeiten weiter an der Lösung identifizierter Probleme. Aktuell treten gelegentlich Meldungen der Art "....Error occurred in Disk Media, Path [hcp...../CV_MAGNETIC/V_123456][Check whether the path[hcp..../CV_MAGNETIC/V_123456] is Accessible.] ....." auf - die Analyse der Logs dazu Seitens der Hersteller läuft bereits.
Nach den eingespielten Software-Updates beobachten wir eine Verbesserung. Wir beobachten die Systeme gemeinsam mit den Herstellern weiterhin und werden berichten, falls erneut Auffälligkeiten auftreten.
In der Wartung werden die Hitachi Content Plattform Speichersysteme an sechs Standorten auf eine neue Softwareversion aktualisiert. Aufgrund der Kritikalität des Upgrades haben wir uns nach sorgfältiger Abwägung dazu entschlossen, das Upgrade auf allen Teilen des Systems in einer Wartung und nicht im laufenden Betrieb durchzuführen. Das System wird hierfür für insgesamt drei Tage offline gehen: Die Wartung beginnt am 26. September 2023 morgens um 6:00 Uhr und endet planmäßig am 28. September um 17:00 Uhr. Bitte beachten Sie, dass in dieser Zeit weder die Einlieferung neuer Backup-Daten in das System noch das Wiederherstellen von Daten aus dem Backup möglich sein wird. Zur Vorbereitung und Durchführung der Wartung besteht Ihrerseits kein direkter Handlungsbedarf. Sollten Ihre dort gesicherten Anwendungen (z. B. Datenbanksysteme) allerdings ein regelmäßiges Backup innerhalb eines festen Zeitfensters zwingend erfordern, sollten Sie für den Zeitraum der Wartung nach alternativen Sicherungsmöglichkeiten suchen. Nach Beendigung der Wartung werden Ihre Backup-Prozesse automatisch zu den planmäßig eingestellten Uhrzeiten wieder anlaufen. Der DaSi Lizenzserver ist von der Wartung nicht betroffen und wird während der Wartung zur Verfügung stehen. Wir bitten die Unannehmlichkeiten, die durch das lange Wartungsfenster entstehen, zu entschuldigen. ---------------- During maintenance, Hitachi Content Platform storage systems at six sites will be upgraded to a new software version. Due to the criticality of the upgrade, after careful consideration, we have decided to perform the upgrade on all parts of the system during maintenance rather than during live operations. The system will go offline for a total of three days to do this: Maintenance will begin at 6am on September 26 and will end as scheduled on September 28, 2023 at 5pm. Please note that it will not be possible to submit new backup data to the system or restore data from the backup during this time. No direct action is required on your part to prepare for and perform the maintenance. However, if your applications backed up there (e.g. database systems) require a regular backup within a fixed time window, you should look for alternative backup options for the duration of the maintenance. After the maintenance is finished, your backup processes will automatically restart at the scheduled times. The DaSi license server is not affected by the maintenance and will be available during the maintenance. We apologize for any inconvenience caused by the long maintenance window.
Hiermit erinnern wir Sie an die anstehende Wartung des Commvault Backupsystem vom 26. September bis zum 28. September 2023 // We hereby remind you about the upcoming maintenance of the Commvault backup system from September 26 to September 28, 2023
Der Upgrade des Speicher-Backends konnte erfolgreich durchgeführt werden. Nach erfolgreichen Tests des Gesamtsystems steht dieses ab jetzt wieder zur Verfügung. Ab 18:00 werden die planmäßigen Sicherungen der Systeme wieder wie gewohnt starten. Wir bedanken und für die Geduld während der Wartung und bitten nochmal die entstandenen Unannehmlichkeiten zu entschuldigen.
Um einige wichtige Updates und Fixes zu installieren wird ein Blackout Window im Commvault System eingestellt. In dem Zeitraum der Wartung werden keine Backup- und Restore-Jobs möglich sein. Zuvor gestartete, laufende Backup- und Restore-Prozesse werden automatisch pausiert und wieder fortgesetzt.
Aufgrund von laufenden Wiederherstellungsprozessen der Dedup Datenbanken von ServerplanD, die nicht unterbrochen werdn können wird die geplante Wartung vom 17.08. auf den 23.08.23 verschoben.
Wegen laufender automatischer Commvault-Prozesse, die länger dauern als gewöhnlich, sind die Dedup-Datenbanken des ServerplanD offline. Daher sind akuell keine Backup- und Restore Jobs möglich. Wir arbeiten gemeinsam mit Commvault an einer Lösung.
Die automatische Wiederherstellung der Dedup Datenbank dauert aufgrund der sehr großen Menge der Einträge noch an und wird vermutlich noch bis morgen andauern.
Da die Prozesse zur Wiederherstellung länger dauern als erwartet, wurde die geplante Wartung der Commvault-Systeme auf den 23.08.23 verschoben. Es können weiterhin keine Backup- und Restore-Prozesse auf ServerplanD durchgeführt werden, bis die Dedup Datenbank wiederhergestellt wurde. Für Backups ist es möglich in dringenden Fällen Clients von ServerplanD auf ServerplanE umzustellen und eine Vollsicherung anzustoßen.
Die Dedup Datenbank-Partitionen des Mediaagent Grids, auf dem ServerplanD läuft, wurden heute früh erfolgreich wiederhergestellt. Die laufenden Jobs werden wieder abgearbeitet, es gibt möglicherweise noch Warteschlangen, die sich nach und nach auflösen werden.
Ab Dienstag, 17.01.2023, ist das TSM-Backup-System nur noch im "Read Only"-Modus verfügbar. Backups werden ab dem 17.01. nur noch über das Commvault-Backup-System entgegengenommen. Der Parallelbetrieb der Backup-Systeme wird damit beendet. Details zum Commvault-Backup-System erhalten Sie auf IT Center Help https://help.itc.rwth-aachen.de/service/t4ctl3msqrmt/article/0c39665e06364621bd17be42d1890a06/ Sowie im IT Center Blog: https://blog.rwth-aachen.de/itc/2022/11/18/tsm-backup-read-only/
Zur Zeit kann es zu Fehler bei Restoreoperationen im Commvault Backup System kommen.
Es kommt vereinzelt zu Zugriffsfehlern auf ein Speichersystem des Cummvault Backup Services. Weitere Analysen laufen.
Commvault: Aufgrund der Störung können Backup-Jobs längere Laufzeiten als sonst haben und temporär Startverzögerungen durch Warteschlangen auftreten. An der Analyse und Behebung wird weiter gearbeitet.
Einige Fehler sind behoben, so dass Jobs wieder schneller abgearbeitet werden können und die Warteschlangen abgebaut werden. Die Ursachen-Analyse läuft weiter.
Wir sind weiter im Austausch mit Hard- und Software-Herstellern und versuchen Lösungen für die noch einzeln auftretenden Fälle zu finden.
Es werden weiterhin Probleme bei Restore-Versuchen beobachtet. Diese stehen höchstwahrscheinlich mit den Replikationsproblemen des Speichers in Zusammenhang, an deren beseitigung der Hersteller weiterhin mit Hochdruck arbeitet. Gestartete Inkrementelle Backup-Jobs werden teilweise automatisch in Vollsicherungen umgewandelt, da die Daten aus dem gleichen Grund nicht (oder nicht ausreichend schnell genug) verifiziert werden.
Bitte verfolgen Sie für aktuelle Hinweise die Störungsmeldung von 01.06.2023
Aufgrund kurzfristiger Wartungsarbeiten werden Commvault Jobs pausiert - Hitachi HCP Cluster müssen nach Konfiguratuinsanpassungen zur verhinderungen der "Slow-Down-Meldungen" neu gestartet werden.
Das Commvault Blackoutfenster wurde beendet, so dass Backup- und Restore-Jobs wieder laufen können.
Da der Hersteller der Storagesysteme an einem DaSi-Standort Wartungsarbeiten durchführen wird, können temporär Backup- und Restore-Dienste innerhalb des Zeitraums dieser Arbeiten länger dauern.
Da der Hersteller der Storagesysteme Wartungsarbeiten durchführen wird, werden temporär Backup- und Restore-Dienste pausiert. Laufende Jobs werden angehalten und automatisch fortgesetzt. Wir versuchen die "Blackout-Fenster" so klein wie möglich zu halten.
Da der Hersteller der Storagesysteme Wartungsarbeiten durchführen wird, werden temporär Backup- und Restore-Dienste pausiert. Laufende Jobs werden angehalten und automatisch fortgesetzt. Wir versuchen die "Blackout-Fenster" so klein wie möglich zu halten.
Um einige wichtige Updates und Fixes zu installieren wird es ein kurzfristiges Blackoutwindow Commvault System geben. Laufende Backup- und Restore-Prozesse werden automatisch pausiert und wieder fortgesetzt.
Zur Zeit ist der Login in das Commvault web Interface (console1.dasi.rwth-aachen.de) gestört. Wir abrieten an der Problemlösung
--english version below-- Commvault: Aufgrund von geplanten Wartungsarbeiten (Kühlsysteme /Spannungsversorgung) werden einige DaSi-Systeme vorsorglich heruntergefahren. Durch das abschalten der Systeme erwarten wir keine Beeinträchtigung des Gesamtsystems. Es kann bei ungeplanten Ausfällen weiterer Systeme zu Einschränkungen bei Backup- und Restore-Jobs kommen. --english version-- Commvault: Due to planned maintenance work (cooling systems / power supply), some DaSi systems will be shut down as a precaution. We do not expect any impact on the overall system due to the shutdown of the systems. There may be restrictions in backup and restore jobs in case of unplanned downtime of further systems.
Die Arbeiten im C.A.R.L. wurden abgeschlossen, die Systemen arbeiten wieder normal.
Aufgrund eines Zertifikatstausch, kann es zu kurzzeitigen Unterbrechungen beim Login in das Commvault Portal (console1.dasi.rwth-aachen.de) kommen.
Uns erreichen vermehrt Meldungen zu Loginproblemen bei Commvault. Der Anmeldeversucht läuft nicht durch, er resultiert in einer Single Sign-On-Dauerschleife. Die zuständige Fachabteilung wurde bereits informiert. --- english --- We are receiving reports of login problems with Commvault. The login attempt does not go through, it results in a single sign-on continuous loop. The responsible specialist department has already been informed.
In der Commvault Weboberfläche (Commandcenter) funktionieren aktuell das Sortieren, Suchen, Filtern nicht. Ebenso ist ein Umblättern auf eine nächste Seite bei der Pagination teilweise nicht möglich. Der Software-Hersteller analysiert das Problem und arbeitet an einer baldigen Lösung.
Ein für die genannten Funktionen erforderlicher Prozess war durch einen Fehler abgestürzt. Der Prozess ist wieder im Gang und die Funktionen (Sortieren, Filtern, Suchen) sind wieder nutzbar.
Uns erreichen vermehrt Meldungen zu Loginproblemen bei Commvault. Der Anmeldeversucht läuft nicht durch, er resultiert in einer Single Sign-On-Dauerschleife. Die zuständige Fachabteilung wurde bereits informiert. --- english --- We are receiving reports of login problems with Commvault. The login attempt does not go through, it results in a single sign-on continuous loop. The responsible specialist department has already been informed.
Aufgrund der Störung des Commvault-Backup-Systems ist ein Reboot des Servers notwendig. An der Behebung der Störung wird gearbeitet.
Die Störung konnte behoben werden. Der Login auf console1 ist wieder möglich.
Commvault: Aufgrund von Wartungsarbeiten (Einspielung von Firmwareupdates und Neustarts) kann es in dem Zeitraum zu Unterbrechungen oder "Blackout Windows" kommen, so dass laufende Jobs pausiert und automatisch fortgesetzt werden. Backup- und Restore-Dienste sind temporär nur eingeschränkt nutzbar.
Ein Teil der Arbeiten, die für den 25.04.23 geplant waren, sind erfolgreich abgeschlossen. am 26.04.23 werden die Arbeiten fortgesetzt.
Die Arbeiten, die für den 25./26.04.23 geplant waren, sind erfolgreich abgeschlossen.
Zur Zeit gibt es Probleme mit dem Login in das Commvault Portal (console1.dasi.rwth-aachen.de). Die äußern sich so, dass man nach dem Login am Singe Sigen On Service wieder zur Commvault Login Seite weitergeleitet wird. Die Backup Funktionalität ist hiervon nicht beeinträchtigt.
Console: commserve1 und console1 werden neu gestartet, die Backup und Restore-Dienste sind kurzzeitig nicht verfügbar.
Der Login über das Commvault Portal (console1.dasi.rwth-aachen.de) funktioniert wieder, die Backup- und Restore-Dienste sind wieder nutzbar.
Zur Zeit liegt eine Hardware Störung im TSM System vor, die zu Problemen bei Backups und Restores führen kann.
Das Hardware Problem wurde behoben
Commvault: Aufgrund Hardware-Aus- und -Umbau-Maßnahmen werden die Backup- und Restore-Dienste innerhalb des "Blackout Windows" temporär nicht zur Verfügung stehen. Zum Startzeitpunkt der Arbeiten laufende Jobs werden automatisch pausiert und später fortgesetzt.
Zur Zeit laufen im Commvault Systeme keine Jobs mehr an. Dies betrifft sowohl Backups als auch Restores. Ein Ticket beim Hersteller wurde bereits eröffnet und die Fehleranalyse läuft.
Der Softwarehersteller hat einen Patch für das aufgetretene Problem zur Verfügung gestellt. Nun laufen alle Operationen wieder. Hierdurch werden die verpassten nächtlichen Backups nun nachgeholt.
Zur Sicherstellung der Betriebs und Fehlerbehebung werden im genannten Zeitraum Updates an zentralen Komponenten des Commvault Backup durchgeführt. Backup, Restore, Sowie die Verwaltungsinterfaces (console1.dasi.rwth-aachen.de) stehen zeitweise nicht zur Verfügung.
Mit den neuen Workflow UnassignClientFromGroup sind berechtigte Personen ab sofort in der Lage eine Gruppenzuordnung im Commvault Backup System wieder aufzuheben. Hierzu sind, wie beim Zuordnen zu Gruppen die Informationen Client FQDN und Client Token nötig. Diese können mit den Skripten ermittelt werden, die im Commvault (Web console -- Download Center) Download Portal zu finden sind.
Commvault: Der Login über console1 ist zur Zeit nicht möglich. Wir arbeiten an der Behebung des Problems.
Commserve1 und Console1 müssen neu gestartet werden, alle laufenden Jobs werden pausiert und nach dem Neustart automatisch fortgesetzt. Die Dienste sind während des Neustarts kurzfristig nicht nutzbar, Logins nicht möglich.
Die Dienste sind wieder nutzbar, Logins sind wieder möglich.
Commvault: Backup-Jobs starten nicht oder zeigen keinen Fortschritt mit der Meldung "Description: Index server is disabled on the Media agent". Betroffen sind Sicherungen auf ServerplanB. Wir arbeiten an einer Fehlerbehebung.
Der Fehler wurde in der Nacht behoben
Im genannten Zeitraum finden kleinere Anpassungen am Authentication Service für das Webinterface des Commvault Backups Statt. Es ist nicht mit Unterbrechungen zu rechnen.
Das Zeitfenster musste angepasst werden
In genannten Zeitraum sind Konfigurationsänderungen auf Zentralen Servern des Commvault Basckup Systems geplant. Hiebe kann es zu kurzen Unterbrechungen in der Dienstverfügbarkeit kommen. Unterbrochene Jobs werden automatisch wieder aufgenommen.
wegen eines dringenden Software Updates, kommt es zu kurzzeitigen Ausfällen einzelner Komponenten des Commvault backup System. Unterbrochene Prozesse (backup, restore) werden nach dem Update fortgesetzt.
Commvault: Der Login über console1 ist zur Zeit nicht möglich. Wir arbeiten an der Behebung des Problems. Da console1 und commserve1 neu gestartet werden müssen, werden die Dienste kurzfristig nicht nutzbar sein.
Der Login und die Nutzung der Commvault-Dienste ist wieder möglich.
Das neue Backup-System kann seit dem 15.08.2022 genutzt werden. Voraussetzung für die Umstellung auf das neue Backup-System ist die initiale Vollsicherung der zu sichernden Systeme. Anleitungen dazu finden Sie hier auf IT Center Help (Software Installation, Client Registrierung, etc.). Details und Hintergründe haben wir im IT Center Blog für Sie veröffentlicht: https://blog.rwth-aachen.de/itc/2022/08/19/hurra-das-neue-backup-system-ist-da/ Wir bitten darum davon abzusehen, von nun an neue Clients über das Alt-System TSM anzulegen.
Aufgrund eines Hardwareausfalls im alten TSM Backup System kommt es zur zeit zu abbrechenden Backups und fehlschlagenden Restores.
TSM: Die Library ist wieder teilweise Einsatzfähig: ein Bandroboter (von zwei) und alle Bandlaufwerke arbeiten wieder.
Um kleine Updates im neuen Commvault Backup System vorzunehmen, müssen im genannten Zeitraum einzelne Systeme neu gestartet werden. Hierdurch kann das Webinterface (console1.dasi.rwth-aachen.de) kurzfristig nicht erreichbar sein.
Commvault: Wegen der Einspielung von Sicherheitspatches musste commserve1.dasi.rwth-aachen.de neu gestartet werden. In dem kurzen Zeitraum wurden Jobs kurzzeitig Pausiert und laufen automatisch wieder weiter. (Die Administrationsoberfläche auf console1.dasi.rwth-aachen.de war weiterhin erreichbar).
Aufgrund von Problemen mit einem zugrundeliegenden Speichersystem, kommt es zur zeit vermehrt zu Abbrüchen bei Backups und Restores im Commvault Backup System. Wir arbeiten an der Problembeseitigung. Fehlgenschlagende Backups werden zeitnah wiederholt. Unterbrechende Jobs werden nach der Störungsbeseitigung automatisch fortgesetzt.
leider dauern die Probleme weiter an
Stand 04.10.22: Leider dauern die Probleme weiterhin an.
Am Mittwoch, den 05.10.2022 08-18 Uhr werden interne Konfigurationsarbeiten stattfinden.
Neuer Commvault Mediaagent-Grids wurden erstellt und neue Speicherbereiche und Serverpläne stehen zur Verfügung. Da eine große Zahl neuer Fullbackups durchgeführt werden und viele neue Knoten hinzukommen, sind teilweise noch Warteschlangen der Prozesse zu sehen, die automatisch abgearbeitet werden.
Die Störungen sind soweit behoben. Der Backlog konnte aufgearbeitet werden. Das Commvault-Backup-System kann ohne Einschränkungen genutzt werden.(13.12.2022)
Zurzeit ist die Anmeldung beim Commvault Command Center nicht möglich: https://console1.dasi.rwth-aachen.de/ Wir arbeiten an der Behebung des Problems. ***englisch*** At the moment it is not possible to log in in Commvault Command Center: https://console1.dasi.rwth-aachen.de/ We are working on a solution.
Die Störung ist behoben/// The Problem has been solved
TSM: Aufgrund einer erneuten Störung an der Tape Library kommt es zur Zeit zu Fehlern beim Backup und Restore im TSM Backup System.
Die Library arbeitet mit einem (von zwei) Bandroboter weiter, alle Band-Laufwerke arbeiten normal.
Leider ist der Bandroboter erneut ausgefallen, so dass die Tape-Library nicht arbeitet.
TSM: Um Reparaturarbeiten an der Tape-Library durchzuführen werden am 18.11.2022 zwischen 09:00 Uhr und 18:00 Uhr gegebenenfalls Neustarts der Backup- und Archiv-Server durchgeführt werden. TSM Backup- und Restore-Jobs werden dadurch möglicherweise unterbrochen.
TSM: Die Library läuft aktuell wieder mit einem Bandroboter und allen Bandlaufwerken.
Im angegeben Zeitraum werden auf allen TSM Servern die SSL Zertifikate erneuert. Dadurch kann es zu Abbrüchen bestehnder Verbindungen kommen, da die Server für den Austausch neu gestartet werden müssen.
***english version below*** Derzeit liegt eine Störung der Object-Storage-Infrastruktur vor. Davon betroffen sind aktuell die Services Backup/Restore (TSM) und Software Engineering Services (GitLab). Wir arbeiten weiterhin mit Hochdruck an der Behebung des Problems und bitten um Verzeihung für die Einschränkungen ***english version*** There is currently a disruption in the object storage infrastructure. This currently affects the services Backup/Restore (TSM) and Software Engineering Services (GitLab). We continue to work at full speed to resolve the issue and apologize for any inconvenience.
Es handelte sich um eine Falschmeldung, der Object Storage funktoniert. Bitte entschuldigen Sie die Meldung
Aufgrund einer Störung an der Tape Library kommt es zur Zeit zu Fehlern beim Backup und Restore im TSM Backup System.
Die Störung wurde behoben, die Library arbeitet wieder.
Um Arbeiten an der Commvault-Storageinfrastruktur vorzunehmen werden in dem genannten Zeitraum keine Backups-Jobs in Commvault laufen. Laufende Jobs werden automatisch pausiert und nach der Wartung wieder fortgesetzt.
Leider gibt es andauernde Probleme mit den genannten Storage Systemen. Daher bleibt das Backup System vorerst nicht einsatzbereit. Laufende Jobs werden nach Wiederherstellung der Betriebsfähigkeit wieder aufgenommen und verpasst nachgeholt.
Leider dauern die Probleme im Speicherbackend an und Hitachie arbeitet mit Hochdruck an einer Behebung der Probleme.
Das Blackout-Window wurde deaktiviert, nach dem Hitachi grünes Licht dazu gegeben hat. Pausierte Backups-Jobs in Commvault werden fortgesetzt und neue können gestartet werden bzw. starten planmäßig automatisiert.
Aufgrund einer Störung an der Tape Library kommt es zur Zeit zu Fehlern beim Backup und Restore im TSM Backup System.
Die Library läuft wieder (ein Bandroboter ist aktiv und die Tape-Laufwerke sind wieder Verfügbar), an dem zweiten Bandroboter wird noch gearbeitet.
Beide Accessoren und alle Tape-Laufwerke sind wieder verfügbar, die TSM-Library arbeitet wieder normal.
Aufgrund einer Störung an der Tape Library kommt es zur Zeit zu Fehlern beim Backup und Restore im TSM Backup System.
Die Störung wurde beseitigt, die Library arbeitet wieder.
Das Backupportal ist aktuell nicht erreichbar, wir arbeiten bereits an der Behebung der Ursache.
Die Störung wurde behoben, das Backupportal ist wieder erreichbar.
Im angegebenen Zeitraum finden Wartungsarbeiten an den MySQL-Datenbankservern des IT Centers statt. Es werden die aktuellen MySQL- sowie Kernel- und OS-Updates eingespielt. Die vom IT Center gehosteten MySQL Datenbanken werden während dieser Wartung nicht zur Verfügung stehen. Betroffen davon sind auch alle abhängigen Services des IT Centers, d.h. unter anderem Gigamove, MailAdm, Backup Portal, Streamingserver, SeviRe, Laptop Leihpool, JARDS, RWTHblog
Usern, die sich nach dem 22.09. das erste Mal am Commvault System angemeldet haben werden zur Zeit keine korrekten Berechtigungen zugewiesen. Hierdurch sind für diese User die Software Downloads sowie die Verwaltung von Clients unter Umständen nicht möglich.
Die Probleme wurden behoben. Alle User erhalten jetzt die vorgesehen Rechte.
Um Wartungsarbeiten an Storage-Systemen der Commvault Backupinfrastruktur durchzuführen wurden die Backup-Jobs pausiert und ein Blackoutwindow eingestellt. Die Jobs werden automatisch fortgesetzt, sobald die Arbeiten beendet wurden.
Die Wartungsarbeiten sind beendet, das Blackoutwindow für Commvault Backup-Jobs ist beendet.
Um Wartungsarbeiten an Storage-Systemen der Commvault Backupinfrastruktur durchzuführen wurden die Backup-Jobs pausiert und ein Blackoutwindow eingestellt. Die Jobs werden automatisch fortgesetzt, sobald die Arbeiten beendet wurden.
Die Wartungsarbeiten sind beendet, das Blackoutwindow für Commvault Backup-Jobs ist beendet.
Um Änderungen an dem System vorzunehmen werden in dem genannten Zeitraum keine Backups-Jobs laufen. Laufende Jobs werden automatisch pausiert und nach der Wartung fortgesetzt.
Der Login über RWTH SSO funktioniert aktuell nicht. An einer Behebung der Störung wird bereits gearbeitet.
Der Fehler ist behoben, Logins sind wieder möglich.
Aufgrund einer Störung an der Tape Library kommt es zur Zeit zu Fehlern beim Backup und Restore im TSM Backup System.
Beschaffung eines Ersatzteils läuft Reparatur für 13.10. erwartet.
Aufgrund einer Störung an der Tape-Library kommt es zur Zeit zu Fehlern beim Backup und Restore im TSM Backup System.
10.10.22 12:15 Uhr: Die Library arbeitet wieder. Durch nachgelagerte Aufräumarbeiten können Prozesse eingeschränkt laufen. Voraussichtlich am 11.10.22 werden defekte Komponenten erneuert.
Aufgrund einer Störung an der Tape Library kommt es zur Zeit zu Fehlern beim Backup und Restore im TSM Backup System
Zur Zeit ist der Download der Commvault Installationspackte nicht möglich. Wir abrieten daran das Problem zu beseitigen.
Der Download ist nun wieder möglich
Für Wartungsarbeiten Software-Aktualisierungen müssen Prozesse im Wartungszeitraum vorübergehend gestoppt werden und die Server rebootet werden. Unterbrochene Backup-Jobs werden automatisch fortgesetzt, sobald die Services wieder verfügbar sind. Backups und Restores über Commvault sind im Wartungszeitraum nicht möglich.
zur zeit gibt es noch Probleme mit dem User Login. Backup Operation sollten allerdings ohne Einschränkungen laufen
Auch den Login ist nun wieder möglich.
Da einige Partitionen der Dedup Datenbanken von Commvault aktuell einen Resync durchführen, kann es vorkommen, dass einige Backup-Jobs länger benötigen, bis die Partitionen wieder verfügbar werden. Solange ein Backup-Job nicht den Status "failed" hat, wird dieser Job automatisch fortgesetzt. Sonst wird planmäßig ein neuer Job gestartet, ohne dass Sie aktiv werden müssen.
Aktuell ist der Zugriff auf die Webschnittstelle https://console1.dasi.rwth-aachen.de/ gestört.
Das System ist wieder erreichbar.
Im genannten Zeitraum werden Updates im Commvault Backup System eingespielt. im Zeitraum der Wartung kann es zu Ausfällen des Webinterface (console1.dasi.rwth-aachen.de) kommen. Backup und Restore Aktivitäten werden unter Umständen pausiert.
Die Arbeiten wurden abgeschlossen
Aufgrund eines Hardwaredefektes kommt es zur Zeit zu Fehlermeldungen beim Backup, sowie beim Restore. Wir arbeiten an der Störungsbeseitigung.
Besagte Router werden getauscht um das Konzept in den Produktiv-Betrieb zu überführen. Es sollte zu keinen Komplettausfall kommen.
MySQL Datenbanken werden während dieser Wartung nicht zur Verfügung stehen. Betroffen davon sind auch alle abhängigen Services des IT Centers, d.h. unter anderem Gigamove, MailAdm, Backup Portal, Streamingserver, DigitalArchiv (SeviRe), Laptop Leihpool, Webhosting (hier nur die Datenbanken, die noch nicht zur FH migriert sind).
Es werden aktuelle Kernel-, OS- und MySQL-Updates eingespielt.