Leider ist heute (16.11.2010) gegen 13.20h ein Netzteil in einem unserer Server im wahrsten Sinne des Wortes geplatzt und hat neben sich selber auch die Sicherung fürs Rack als auch die Hauptsicherung mitgenommen.
Resultat war leider wie Ihr bemerkt habt, ein kompletter Down aller Server. Ein solcher plötzlicher Shutdown der Dienste führt bei einer solchen Anwendung wie dem Location Network leider zu einer sehr langen Prozedur an Überprüfungen der Systeme usw. mit sich.
Diese ist nun abgeschlossen und die Locations sollten wieder wie gewohnt Ihren Dienst tun. Allerdings stehen für die kommende Nacht keine Backups zu Verfügung. Sollte also heute Nacht etwas schief laufen, wovon wir allerdings nicht ausgehen, verlieren wir alles was heute ab 6h morgens passiert ist.
Wir entschuldigen uns vielmals für die Laune des Hardwaregottes und wünschen euch weiterhin viel Spaß auf den Locations.
Euer Location Network Technik Team |
16 Kommentare - 16588 Klicks | |
|---|
| Di 16.11.2010, 15:46 Uhr :
ham die server keine redundanten netzteile und USV-Stromversorgung?
wie kann ein Server gleich die Hauptsicherung fürs Rack raushauen?
hat der RZ-Betreiber hier keine Ausreichenden Tests gemacht?
ansonsten, hut ab - schnelle reaktion, es läuft ja auch alles wieder. |
| Di 16.11.2010, 16:22 Uhr :
was warn des .
ich versteh den text nich .
ka .
oida . ich täts halt dann sicher machen
naja .
zum glück gehts wieda . (: |
| Di 16.11.2010, 17:14 Uhr :
Zitat Original von k0nfettiham die server keine redundanten netzteile und USV-Stromversorgung? wie kann ein Server gleich die Hauptsicherung fürs Rack raushauen? hat der RZ-Betreiber hier keine Ausreichenden Tests gemacht? ansonsten, hut ab - schnelle reaktion, es läuft ja auch alles wieder. was bringt dir ein usv wen ddas netzteil im arsch ist das usv soll ja nur stom bis zu server sprch zum netzteil bringen aber wen das netzeil immarsch ist nutz dir ein usv nich viel |
| Di 16.11.2010, 17:47 Uhr :
Zitat Original von PinguNeonZitat
Original von k0nfetti
ham die server keine redundanten netzteile und USV-Stromversorgung?
wie kann ein Server gleich die Hauptsicherung fürs Rack raushauen?
hat der RZ-Betreiber hier keine Ausreichenden Tests gemacht?
ansonsten, hut ab - schnelle reaktion, es läuft ja auch alles wieder.
was bringt dir ein usv wen ddas netzteil im arsch ist das usv soll ja nur stom bis zu server sprch zum netzteil bringen aber wen das netzeil immarsch ist nutz dir ein usv nich viel Ich hab bzgl. des NT's mal die relevante Stelle fett markiert. Und zusätzlich hab ich die Frage nach der Absicherung im Rack gestellt. Wer lesen kann... - wenn die Server natürlich nur ein NT haben - dann is wahrlich klar, das dann nix geht, trotzdem wundert es mich, wie ein defektes Netzteil gleich das ganze Rack lahmlegt - normal hat man 1. Phasenaufteilung um die Last auch zu verteilen, 2. vernünftig die Server einzeln abgesichert und die Selektivität sollte gewährleisten, das die dem Störfall naheliegendste Sicherung auslöst und nicht gleich die Hauptsicherung. Ich hab das RZ nicht designt, kenne es daher nicht, weis aber durchaus wie man große Rechenzentren ausbaut und auch Last-tests macht, bevor etwas Produktiv geht - hab da selber schon im 1st Level Bereich was gemacht, nur irgendwie wundert mich das hier schon...   |
| Di 16.11.2010, 21:31 Uhr :
Wie konnte sowas passieren? Ich sichere z.B. alle 3 Stunden die Server der Community die ich betreibe über einen Crontab & ein Shell Backup Script.
Außerdem, wie zerschießt man bitte Netzteile von Rackservern und schafft es die Main Sicherung vom RZ rauszuhauen? |
| Di 16.11.2010, 23:54 Uhr :
naja, das Netzteil an sich ist ein Netzteil, das halt irgendwann den Geist aufgibt, vlt. ist nen Elko ausgelaufen oder was auch immer... - nur was eben wirklich interessant ist, wieso es gleich die Hauptsicherung raushaut... - davon müssen doch dann andere Kunden beim Hoster auch betroffen gewesen sein... ? |
| Mi 17.11.2010, 00:01 Uhr :
Zitat Original von josephhWie konnte sowas passieren? Ich sichere z.B. alle 3 Stunden die Server der Community die ich betreibe über einen Crontab & ein Shell Backup Script. Außerdem, wie zerschießt man bitte Netzteile von Rackservern und schafft es die Main Sicherung vom RZ rauszuhauen? Mein Gott, hier wird gespamt das die Server überlasten 
Leute jedes System, jedes NT egal was in der IT kann plötzlich ausfallen ...
Es gibt sooo viele möglichkeiten BackUps zu erstellen, was aber nicht heißt das JEDES BackUp gleich sicher ist ... Auch ein BackUp kann ausfallen, soviel dazu ^^
Das CAs ARCServe/r Backup wurde durch DoSAngriffe bebomt und was war die Sicherheitslücke ?? <xdr_rwsstring>
Damit möcht ich sagen, das jedes System seine Sicherheitslücken/Macken haben kann und somit nicht immer stabil läuft ...
MfG <close>   |
feliXking kong bossmonster
| | |
| Do 18.11.2010, 16:16 Uhr :
Ein Backup dauert bei uns 2h und das auch nur, wenn überhaupt kein Traffic auf dem System ist. Wir haben kein Modulares Backup.. somit fällt das aus...
das Netzteil war nicht redundant, da es das Netzteil vom Backup-Server war,... normales Netzteil 60e , redundant das 3-fache.. dafür, daß es halt mal eine Nacht kein Backup gibt.. wuuuhuuu! |
| Do 18.11.2010, 20:11 Uhr :
Ich würde da im Rack extra nen Backupserver auf Atom Basis mit ner 2TB Sata HDD einsetzen.
Dann hat sich das Problem, davor natürlich das ganze noch in ein tar Archiv packen. |
feliXking kong bossmonster
| | |
| Fr 19.11.2010, 15:23 Uhr :
guter plan jospeh, vorallem wenns die eine 2TB platte dann zerreisst.. was im 1.5-Jahreszyklus bei non-server-platten durchaus normal ist |
| Fr 19.11.2010, 16:19 Uhr :
Zitat Original von feliXguter plan jospeh, vorallem wenns die eine 2TB platte dann zerreisst.. was im 1.5-Jahreszyklus bei non-server-platten durchaus normal ist Das kommt auf die Qualität und Kühlung der Platten an. Hehe, da kann ich froh sein, das ich mir über die Hardware bei meinen virtuellen Kisten keine Sorgen machen muss, obwohl schon diverse Überlegungen in Sachen Hetzner Colocation vorhanden waren und auch noch sind. |
| Fr 19.11.2010, 23:27 Uhr :
hei josephh, komm wieder runter  wenn der Plattenstapel deiner VMs den Geist aufgibt, oder diese der VM unterm hintern weggerissen wird - wars das. single-point-of-failure. @ felix, schade um den backupserver, bzw. das NT - aber wieso hats die sicherung dann gleich noch mit gewixxt? - das is eher das, wo ich noch nicht so ganz versteh... - hab mich gestern mal auf deren HP umgeschaut, schaut doch eigentlich solide aus - ham die keine 3-phasige zuleitung zum Rack? |
| Sa 20.11.2010, 12:39 Uhr :
Der gibt aber nicht so leicht den Geist auf, da das Marken HDDs sind!
Und wenn dann wird noch auf 2 weitere Standorte alle 3 Stunden gesichert. (Ludwigshafen & Mauern) |
feliXking kong bossmonster
| | |
| So 21.11.2010, 20:10 Uhr :
hehe ich seh schon, wir haben noch einiges an Nachholbedarf - aber das ist absolut okay. @ konfetti frag ich was leichteres. Ich hatte im RZ nur angerufen und der techinker sagte zu mir, daß beide Sicherungen raus waren. Wie es dazu kommt keine Ahnung.. vorallem hab ich das netzteil inzwischen mal angeschaut, daß schaut eigentlich relativ gut aus.. ka was da ablief..  |
| Di 23.11.2010, 10:09 Uhr :
Krass - naja, ich hab hier eins liegen (@arbeit), von nem desktop, das riecht schon aus 5m Entfernung... und das ist Schwarz... - vorallem, wies da in dem Gehäuse ausschaut - aber gut, das is jetzt auch schon 5 Jahre alt - Dauerlauf *gg* |
| Sa 09.04.2011, 16:09 Uhr :
Zitat Original von urschl98was warn des . ich versteh den text nich . ka . oida . ich täts halt dann sicher machen naja . zum glück gehts wieda . (: Haha, der Beitrag ist einfach soooooooooooooooooo geil  |
|
;)
;)
;)
;)