Computernerds unter sich - Der Computerschwampf

[Widukind]

vor 44 Minuten schrieb Owen:

Klaus Kinski kennt er auch nicht. Aber trotzdem ein lustiges Easter Egg.

dafür kennt er Chewbacca

[Solwac]

Ich habe gerade erst mitbekommen, dass die erfolgreiche Z80 vor vier Wochen eingestellt wurde. Sie konnte noch bis zum 14.6. bestellt werden.

[Owen]

Weltweite IT-Ausfälle sorgen für Probleme bei Flughäfen, Banken, Krankenhäusern

Ein fehlerhaftes Update einer Sicherheitsfirma führt derzeit zu einem massiven Ausfall von IT-Dienstleistungen. Auch am Flughafen Wien sind einige Airlines von den Problemen betroffen

https://www.derstandard.at/story/3000000229086/it-ausfaelle-legen-flughaefen-banken-und-sender-lahm

Erschreckend wie abhängig wir mittlerweile sind. Und das wegen einer Firma.

[Widukind]

vor 59 Minuten schrieb Owen:

Weltweite IT-Ausfälle sorgen für Probleme bei Flughäfen, Banken, Krankenhäusern

Ein fehlerhaftes Update einer Sicherheitsfirma führt derzeit zu einem massiven Ausfall von IT-Dienstleistungen. Auch am Flughafen Wien sind einige Airlines von den Problemen betroffen

https://www.derstandard.at/story/3000000229086/it-ausfaelle-legen-flughaefen-banken-und-sender-lahm

Erschreckend wie abhängig wir mittlerweile sind. Und das wegen einer Firma.

das Schöne daran: 

Wir (also mein Arbeitgeber, als einer der ganz großen IT-Dienstleister und Serverbetreiber) ist

a) nicht schuld dran und

b) nicht betroffen

[Owen]

vor 6 Minuten schrieb Widukind:

b) nicht betroffen

Wir auch nicht.

[Owen]

@Widukind Aber es ist halt schon erschreckend, dass eine Firma da so viel Einfluss hat. 

[Einskaldir]

vor 5 Stunden schrieb Widukind:

das Schöne daran: 

Wir (also mein Arbeitgeber, als einer der ganz großen IT-Dienstleister und Serverbetreiber) ist

a) nicht schuld dran und

b) nicht betroffen

Die deutschen Behörden auch nicht.

[Abd al Rahman]

Bei meiner Arbeitgeberin war keines der Systeme betroffen die in Azure oder der Google Cloud laufen. Auch die Rechner liefen stabil. Sonst hätte es für mich ein arbeitsreiches Wochenende bedeutet.

OTA AdHoc Updates in ein laufendes System sind böse. Waren sie schon immer. Die Systeme laufen halt zu sicher um hier einen Testzyklus auf Kundenseite einzubauen. Wenn dann doch mal was schiefgeht...   

[Widukind]

Also von Windows habe ich keine Ahnung,  aber unsere Linux-Systeme werden nur mit Downtime upgedatet,  und dann auch erst die Test-, dann die Referenz- und dann die Produktivungebung. 

[Abd al Rahman]

vor 5 Minuten schrieb Widukind:

Also von Windows habe ich keine Ahnung,  aber unsere Linux-Systeme werden nur mit Downtime upgedatet,  und dann auch erst die Test-, dann die Referenz- und dann die Produktivungebung. 

Wenn ich das Problem richtig verstanden habe waren das zum teil updates von Signaturen und ähnliches um Schädlinge draußen zu halten. Die haben eine gewisse Dringlichkeit. 

[Widukind]

Gerade eben schrieb Abd al Rahman:

Wenn ich das Problem richtig verstanden habe waren das zum teil updates von Signaturen und ähnliches um Schädlinge draußen zu halten. Die haben eine gewisse Dringlichkeit. 

Selbst die werden bei uns nicht alle am selben Tag ausgerollt. 

[metallian1]

vor 36 Minuten schrieb Abd al Rahman:

Bei meiner Arbeitgeberin war keines der Systeme betroffen die in Azure oder der Google Cloud laufen. Auch die Rechner liefen stabil. Sonst hätte es für mich ein arbeitsreiches Wochenende bedeutet.

OTA AdHoc Updates in ein laufendes System sind böse. Waren sie schon immer. Die Systeme laufen halt zu sicher um hier einen Testzyklus auf Kundenseite einzubauen. Wenn dann doch mal was schiefgeht...   

Wobei man schon fragt, ob die bei Cloudstrike nicht testen. Kann ja wohl kaum angehen, dass bei denen alles glatt geht, was weltweit zig Tausende Server lahm legt.

[Abd al Rahman]

vor 4 Minuten schrieb metallian1:

Wobei man schon fragt, ob die bei Cloudstrike nicht testen. Kann ja wohl kaum angehen, dass bei denen alles glatt geht, was weltweit zig Tausende Server lahm legt.

Die testen garantiert. Aber vor menschlichem Versagen ist man nie ganz gefeit. 

[metallian1]

vor 6 Minuten schrieb Abd al Rahman:

Die testen garantiert. Aber vor menschlichem Versagen ist man nie ganz gefeit. 

Was heisst in dem Fall "menschliches Versagen"? Ich hab die Details nicht gelesen, haben die etwas anderes verteilt als getestet wurde?

[Abd al Rahman]

vor 9 Minuten schrieb metallian1:

Was heisst in dem Fall "menschliches Versagen"? Ich hab die Details nicht gelesen, haben die etwas anderes verteilt als getestet wurde?

Keine Ahnung. Aber shit happens  Auch wenn die Auswirkungen katastrophal sein können.

[Kazzirah]

vor einer Stunde schrieb Abd al Rahman:

Keine Ahnung. Aber shit happens  Auch wenn die Auswirkungen katastrophal sein können.

Exakt, egal wie gut getestet wird. Bei der Komplexität ist es völlig klar, dass immer wieder mal was schief gehen wird, einschließlich richtig übel schief. 

Kannst nur das Risiko minimieren. Aber wichtiger ist, wie gut und schnell bist du darin, den Fehler zu beheben und den Schaden zu minimieren. 

Ganz ehrlich, Bluescreen ist ärgerlich, aber selbst flächendeckend kein Beinbruch. Bestenfalls ne Anekdote, wenn man später Junioren die Angst nimmt, dass sie was kaputt machen könnten. 

Teurer Spaß, sicher, aber shit happens.

[Ma Kai]

Immerhin ging es tatsächlich relativ fix wieder hoch. Ein halber Tag ist ärgerlich, aber für uns aufholbar - zumal im Zweifelsfall der Kunde auch stand. 

[Owen]

Ist euch schon mal ein Hoppala passiert? Mir schon. Ist ca. 17 Jahre her. Wollte ein Update der Datenbank auf unserem Integrationssystem machen. Auf Dev lief alles schon. Also ein Kinderspiel. Hab aber leider die Produktionsumgebung erwischt.  Sofort den DB-Admin angerufen: "Spiel bitte ASAP das Backup ein!!!" "Wieso?" Ich voll in Panik "Frag nicht! Mach bitte!" "Ok, was ist passiert?" "MACH!!!" "Ja, ok." Gott sei Dank hatte das keine Auswirkungen.

Bearbeitet 20. Juli von Owen

[Abd al Rahman]

vor 10 Stunden schrieb Kazzirah:

Ganz ehrlich, Bluescreen ist ärgerlich, aber selbst flächendeckend kein Beinbruch. Bestenfalls ne Anekdote, wenn man später Junioren die Angst nimmt, dass sie was kaputt machen könnten. 

Hab das in nem Video gelernt. Ich bin ja kein Windows-Nutzer:

Bitlocker hat auch Probleme gemacht. Die Lösung des Problems war, dass ein File gelöscht werden musste (wie eigentlich häufig in so Fällen). Bitlocker verhindert aber den Zugriff. Es gibt zwar einen Key um Bitlocker abzuschalten, aber man stelle sich vor, dass man den Key nicht irgendwo ausgedruckt liegen hat, sondern auf Rechnern verwaltet, die auch nicht mehr hochfahren. Da hilft es nur das ganze System auf einen alten Stand zurückzusetzen... Das wären dann ein paar Stunden Datenverlust auf dem System mit den Schlüsseln....

[Abd al Rahman]

Gerade eben schrieb Owen:

Ist euch schon mal ein hoppala passiert? Mir schon. Ist ca. 17 Jahre her. Wollte ein Update der Datenbank auf unserem Integrationssystem machen. Auf Dev lief alles schon. Also ein Kinderspiel. Hab aber leider die Produktionsumgebung erwischt.  Sofort den DB-Admin angerufen: "Spiel bitte ASAP das Backup ein!!!" "Wieso?" Ich voll in Panik "Frag nicht! Mach bitte!" "Ok, was ist passiert?" "MACH!!!" "Ja, ok." Gott sei Dank hatte das keine Auswirkungen.

Oh ja! Ich hab mal eine zentrale Phase gegen das falsche System (Produktion anstelle Entwicklung) gewandelt... Das ist ewig her. Damals waren Begriffe noch eingedeutscht (Wandeln = compilieren bzw. linken, Phase = .o File (zumindest soweit ich mich erinnere).

Ging Gott sei Dank gut aus. Aber für ne halbe Stunde ging nix mehr im System.

[Kazzirah]

vor 52 Minuten schrieb Owen:

Ist euch schon mal ein Hoppala passiert? Mir schon. Ist ca. 17 Jahre her. Wollte ein Update der Datenbank auf unserem Integrationssystem machen. Auf Dev lief alles schon. Also ein Kinderspiel. Hab aber leider die Produktionsumgebung erwischt.  Sofort den DB-Admin angerufen: "Spiel bitte ASAP das Backup ein!!!" "Wieso?" Ich voll in Panik "Frag nicht! Mach bitte!" "Ok, was ist passiert?" "MACH!!!" "Ja, ok." Gott sei Dank hatte das keine Auswirkungen.

Einmal? Wo gehobelt wird, fallen Späne.

Fall 1: Performanceverbesserung für ein bestehendes Programm durch Parallelisierung. Laufzeit auf Produktion ging von mehrere Wochen auf wenige Stunden runter. Leider war die Prüfung, die sicherstellen sollte, dass noch genügend Tasks frei waren, immer wahr. Auf allen Testinstanzen waren nie genug Datensätze, um an das zu testen. Der Berater hat also voller Freude immer mehr Daten durch den Report gejagt, bis das Hauptfinanzsystem des größeren international agierenden IT-Konzerns abstürzte.

Gab ein paar Formulare auszufüllen warum und wieso, und die Bürokratie, das Fix live zu kriegen war aufwändiger.

Anderer Fall, zum Glück nicht produktiv, aber produktionsnah und Kunde ne Bank: ich hab eine Struktur geändert, die relativ komplex auch Datenbanktabellen betraf. Aber an sich Routine. Daten müssen halt umgesetzt werden. Hab ich gemacht. Um festzustellen, dass die auf Fehler liefen. Und alle betroffenen Datenbanketabellen nicht mehr im System waren. Zum Glück, mit einigem Suchen, hab ich Schattentabellen gefunden, in die alles geschrieben wurde. Aber da hab ich Blut und Wasser geschwitzt. 

Aber bei beiden Fällen hab ich sehr viel gelernt. 

[Abd al Rahman]

vor 17 Minuten schrieb Kazzirah:

Aber bei beiden Fällen hab ich sehr viel gelernt

Ich wurde für meinen Fehler hart bestraft. Wann immer ich in der Firma war (ich war externer Berater) hat der Systemmensch eine Serverweite Nachricht aufpoppen lassen: "Achtung! Maier im System!" Jaja, Strafe muss sein  

[Eswin]

Ich wollte eine Kopie der produktiven Datenbank aufs Testsystem spielen. Hab die Systeme verwechselt. Direkt gemerkt und rückgängig gemacht.

Hatte zum Glück von beiden Datenbanken direkt vorher ein Backup gezogen. Keiner hat's bemerkt 

[Owen]

vor 3 Stunden schrieb Owen:

Sofort den DB-Admin angerufen

Übrigens damals ging das noch. Ich hatte die Nummer und kannte den persönlich. Heute undenkbar. Kollegen irgendwo in Bulgarien. Ohne Nummer nur über den Servicedesk erreichbar. Bis die reagieren bin ich tot.

[Widukind]

vor 11 Stunden schrieb Owen:

euch schon mal ein Hoppala passiert

Ich war mal dabei,  als ein Kollege ein schlichter Vertipper passierte.

Statt 

rm -rf /tmp/xxx 

hat er

rm -rf / tmp/xxx

eingegeben. Es dauerte verdächtig lange. 

Das Gute: es war auf einem noch nicht produktiven System, das gerade installiert wurde. 

Das Nichtsogute: Da da System noch nicht fertig war,  gab es kein Backup. Zwei Tage Installation für den A****.

 

Bearbeitet 20. Juli von Widukind