Status usług / nowości
Awaria OpenZFS - podsumowanie
22 lipca 2025 18:43
AWARIA SYSTEMU PLIKÓW OpenZFS
W dniach 17.07.2025 do 20.07.2025 występowały problemy z dostępem do 16 serwerów hostingu MyDevil.net. Bezpośrednią przyczyną była aktualizacja systemu plików OpenZFS do wersji 2.3.3, po której od kilku minut do kilku godzin systemy zatrzymały swoje działanie (kernel panic) uniemożliwiając dalszą prace.
Lista serwerów objętych awarią i ich czas niedostępności
s1.mydevil.net - 1d 16h 47m 16s
s3.mydevil.net - 1d 4h 55m 57s
s4.mydevil.net - 0d 21h 56m 56s
s5.mydevil.net - 2d 0h 35m 49s
s9.mydevil.net - 0d 22h 57m 18s
s12.mydevil.net - 1d 7h 9m 56s
s13.mydevil.net - 2d 4h 39m 34s
s19.mydevil.net - 2d 2h 4m 41s
s20.mydevil.net - 0d 14h 46m 16s
s31.mydevil.net - 1d 0h 31m 39s
s24.mydevil.net - 0d 22h 22m 57s
s27.mydevil.net - 1d 23h 48m 5s
s35.mydevil.net - 1d 11h 6m 24s
s43.mydevil.net - 1d 1h 11m 51s
s44.mydevil.net - 1d 13h 45m 23s
s52.mydevil.net - 1d 23h 32m 39s
Sprostowanie dotyczące wdrożenia aktualizacji OpenZFS
W opowiedzi na pojawiające się sugestie, jakoby aktualizacja OpenZFS została przez nas wdrożona jednocześnie na wszystkich serwerach, pragniemy stanowczo zdementować te informacje.
Aktualizacja była poprzedzona testami na serwerach testowych z taką samą konfiguracja. Następnie na MyDevil.net wprowadzana była stopniowo, zgodnie z naszym standardowym procesem - najpierw na wybranej grupie serwerów . Dlatego też problem nie dotknął wszystkich serwerów.
Sprostowanie dotyczące utrudnionej komunikacji z supportem
Zdajemy sobie sprawę, że w trakcie trwania awarii komunikacja z naszym supportem była utrudniona. Chcielibyśmy jednak wyjaśnić, że niemal całość zespołu (w tym także osoby na co dzień odpowiedzialne za obsługę zgłoszeń) została natychmiast zaangażowana w działania mające na celu szybkie przywrócenie pełnej funkcjonalności usług. Jednocześnie ilość otrzymywanych zgłoszeń była bardzo duża, co powodowało opóźnienia w udzielaniu odpowiedzi. Natomiast status o postępach w pracach był przez nas aktualizowany na bieżąco.
Naszym priorytetem w czasie awarii było jak najszybsze usunięcie problemu. Wiemy, że opóźnione odpowiedzi były frustrujące i przepraszamy za zaistniałą sytuację.
Podjęte działania zapobiegające
• Aby przywrócić usługi, musieliśmy przenieść dużą ilość danych – ponad 50 TB jak i przywracać uszkodzone dane – co nawet przy użyciu 5 zapasowych serwerów zajęło wiele godzin.
• Nasz system kopii zapasowych zadziałał prawidłowo i udało się prawidłowo przywrócić dane z ostatniego prawidłowego backupu. Nie mniej jednak, prędkość przywracania danych nie była satysfakcjonująca. Pracujemy nad zmianami w naszych procedurach i architekturze sieci aby w przyszłości przywracanie usług klientów trwało zdecydowanie krócej.
• Jeszcze przed awarią zaczęliśmy wprowadzanie nowej logiki dotyczących rozłożenia usług na nowych serwerach, wpłynie to na szybkość przywracania usług w przyszłości w razie awarii wymagającej naprawy i przesłania danych między serwerami.
Rekompensata
Zgodnie z załącznikiem "Gwarancja jakości usług (SLA)" do regulaminu gwarantowany poziom usług wynosi 99.7% w skali roku. Przekroczenie dostępności Usługi lub Usług poniżej 99,7% w okresie jednego roku zobowiązuje nas do wydłużenia ważności konta o okres 3 dni za każde 0,5% niedostępności każdej Usługi. Co w zależności od niedostępności usługi na danym serwerze którego dotyczyła awaria wydłuża jego ważność o 2-3 dni.
Z naszej strony wydłużamy już teraz usługi serwerów których dotyczył problem o dłuższy okres wynoszący 4 miesiące.
Szczegóły problemu
• Dnia 17.07 o 01:00 rozpoczęliśmy aktualizację modułu ZFS
• O godzinie 03:05 zaobserwowaliśmy pierwsze problemy
• O godzinie 03:11 odnotowaliśmy awarię i zaczęliśmy przywracanie maszyn
• W międzyczasie przestały być dostępne inne serwery z tego samego powodu
• W pierwszej kolejności zrobiliśmy downgrade ZFS i przystąpiliśmy do odzyskiwania danych z uszkodzonych pooli ZFS.
• Zebraliśmy informacje, żeby przekazać zgłoszenie autorom systemu plików OpenZFS
Bug, który uaktywnił się na naszych systemach został już opisany, jednakże bez działającego rozwiązania:
https://github.com/openzfs/zfs/issues/13483
Wszystkie serwery dostępne są ponownie od dnia 20.07.2025 godziny 11:30 i nie wykazują żadnych nieprawidłowości. Za utrudnienia związane z wyżej opisanym wydarzeniem jeszcze raz bardzo przepraszamy!
~admin, Awaria
Niedostępność serwerów MyDevil.net - co się dzieje?
17 lipca 2025 13:03
Dzisiaj w nocy część serwerów hostingu MyDevil.net przestała być dostępna online.
Aktualnie trwają prace nad przywróceniem usług do pełni działania. Współpracujemy z serwerownią ATMAN aby przyspieszyć recovery. Przedstawiamy listę serwerów, na których występują nieprawidłowości:
PEŁNA NIEDOSTĘPNOŚĆ SERWERÓW:
s5.mydevil.net - 19.07.2025 10:38 - dane zostały przeniesione na nowy serwer
s12.mydevil.net - 18.07.2025 14:15 - dane zostały przeniesione na nowy serwer
s20.mydevil.net - współpracujemy z serwerownią ATMAN nad rozwiązaniem problemu tego serwera. - 17.07.2025 22:05 - ponownie online, wszystkie dane zostały przywrócone.
s31.mydevil.net - 19.07.2025 20:02 - dane zostały przeniesione na nowy serwer
CZĘŚCIOWA NIEDOSTĘPNOŚĆ SERWERÓW:
s1.mydevil.net - 20.07.2025 11:30 - dane zostały przeniesione na nowy serwer
s3.mydevil.net - 18.07.2025 23:25 - dane zostały przeniesione na nowy serwer
s4.mydevil.net - 18.07.2025 09:10 - dane zostały przeniesione na nowy serwer
s9.mydevil.net - 18.07.2025 09:05 - dane zostały przeniesione na nowy serwer
s13.mydevil.net - 20.07.2025 00:22 - dane zostały przeniesione na nowy serwer
s19.mydevil.net - 20.07.2025 01:35 - dane zostały przeniesione na nowy serwer
s24.mydevil.net - 20.07.2025 00:55 - dane zostały przeniesione na nowy serwer
s27.mydevil.net - 19.07.2025 15:22 - dane zostały przeniesione na nowy serwer
s35.mydevil.net - 19.07.2025 08:36 - dane zostały przeniesione na nowy serwer
s43.mydevil.net - 18.07.2025 21:30 - dane zostały przeniesione na nowy serwer
s44.mydevil.net - 20.07.2025 03:05 - dane zostały przeniesione na nowy serwer
s52.mydevil.net - 19.07.2025 13:40 - dane zostały przeniesione na nowy serwer
Na powyższych serwerach usługi mogą działać wolniej lub być częściowo niedostępne. Pracujemy nad przywróceniem ich pełnego działania.
SERWERY, KTÓRE ZOSTAŁY PRZYWRÓCONE I NIE WYKAZUJĄ ŻADNYCH PROBLEMÓW:
s0.mydevil.net
s2.mydevil.net
s6.mydevil.net
s7.mydevil.net
s22.mydevil.net
s26.mydevil.net
s54.mydevil.net
s71.mydevil.net
SERWERY ONLINE (BEZ AWARII):
s8.mydevil.net
s10.mydevil.net
s11.mydevil.net
s14.mydevil.net
s15.mydevil.net
s16.mydevil.net
s17.mydevil.net
s18.mydevil.net
s21.mydevil.net
s23.mydevil.net
s25.mydevil.net
s28.mydevil.net
s29.mydevil.net
s30.mydevil.net
s32.mydevil.net
s33.mydevil.net
s34.mydevil.net
s36.mydevil.net
s37.mydevil.net
s38.mydevil.net
s39.mydevil.net
s40.mydevil.net
s41.mydevil.net
s42.mydevil.net
s45.mydevil.net
s46.mydevil.net
s47.mydevil.net
s48.mydevil.net
s49.mydevil.net
s50.mydevil.net
s51.mydevil.net
s53.mydevil.net
s55.mydevil.net
s56.mydevil.net
s57.mydevil.net
s58.mydevil.net
s59.mydevil.net
s60.mydevil.net
s61.mydevil.net
s62.mydevil.net
s63.mydevil.net
s64.mydevil.net
s65.mydevil.net
s66.mydevil.net
s67.mydevil.net
s68.mydevil.net
s69.mydevil.net
s70.mydevil.net
CO SIĘ DOKŁADNIE DZIEJE?
Podczas standardowej aktualizacji systemu plików openzfs do najnowszej wersji wystąpił kernel panic powodując korupcję danych na serwerach wymienionych wyżej. Wersja ta była testowana przez kilka dni na ponad 20 serwerach naszych innych marek, bez wykazywania jakichkolwiek problemów. Od 24 godzin zmiany były wprowadzone na serwerze s0.mydevil.net, gdzie również problem nie wystąpił (serwer został już przywrócony do poprzedniej konfiguracji). Aktualizacja miała na celu wyeliminowanie niedostępności serwerów, które pojawiły się przez ostatnie miesiące.
KIEDY USŁUGI WRÓCĄ DO NORMY?
Pracujemy nad tym. ETA: nie szybciej niż 24 godzin dla niedostępnych serwerów s5, s12 oraz s20. Z serwerami częściowo dostępnymi w trybie r/w pracujemy na bieżąco. Priorytetem dla nas jest odzyskać jak najwięcej danych.
Informujemy, że istnieje możliwość uruchomienia usług na koncie hostingowym z posiadanej przez nas kopii lub aktualnych danych w chwili awarii (w zależności od danego serwera). Zainteresowane tym osoby prosimy o kontakt poprzez adres kontaktowy dla usługi lub dodatkowy kontaktowy techniczny lub poprzez zgłoszenie z poziomu panelu konta płatności, na którym znajduje się dana usługa.
O WSZYSTKICH NOWYCH ZDARZENIACH DOTYCZĄCYCH AWARII BĘDZIEMY INFORMOWAĆ NA BIEŻĄCO. ZA UTRUDNIENIA PRZEPRASZAMY.
~admin, Awaria
Awaria serwera s38.mydevil.net
14 lipca 2025 18:35
Informujemy o trwającej awarii serwera s38.mydevil.net. Aktualnie pracujemy nad przywróceniem usług do pełnej funkcjonalności. Obecny czas przywrócenia usługi jest planowany na 5 godzin. O wszelkich zmianach statusu będziemy na bieżąco informować w tym wątku.
Aktualizacja 14.07.2025 23:45:
Planowane uruchomienie s38.mydevil.net przewidywane jest na około godzinę 03:00.
Aktualizacja 15.07.2025 03:07:
s38.mydevil.net jest dostępny online. W ramach rekompensaty każdy użytkownik serwera otrzyma przedłużenie usługi o cztery miesiące. Za utrudnienia przepraszamy.
~admin, Awaria
Awaria serwera s2.mydevil.net
5 lipca 2025 02:17
Informujemy o trwającej awarii serwera s2.mydevil.net. Aktualnie pracujemy nad przywróceniem usług do pełnej funkcjonalności. Obecny czas przywrócenia usługi jest planowany na 5 godzin. O wszelkich zmianach statusu będziemy na bieżąco informować w tym wątku.
Aktualizacja 05.07.2025 10:05:
Planowane uruchomienie s2.mydevil.net przewidywane jest na około godzinę 13:00.
Aktualizacja 05.07.2025 15:30:
s2.mydevil.net jest dostępny online. W ramach rekompensaty każdy użytkownik serwera otrzyma przedłużenie usługi o cztery miesiące. Za utrudnienia przepraszamy.
~admin, Techniczne
Awaria serwera s39.mydevil.net
29 kwietnia 2025 10:21
Informujemy o trwającej awarii serwera s39.mydevil.net. Aktualnie pracujemy nad przywróceniem usług do pełnej funkcjonalności. Obecny czas przywrócenia usługi jest planowany na 2 godziny. O wszelkich zmianach statusu będziemy na bieżąco informować w tym wątku.
Aktualizacja 13:01:Awaria została usunięta.
Aktualizacja 02.05.2025 02:30:
Problem z dostępnością serwera s39.mydevil.net wystąpił ponownie, czas przywrócenia działania nie jest jeszcze znany.
Aktualizacja 02.05.2025 15:39:
Informujemy o nadal trwających pracach, obecnie trwa synchronizacja danych na nowy serwer.
Aktualizacja 03.05.2025 04:20:
Planowane uruchomienie s39.mydevil.net przewidywane jest na około godzinę 10:00.
Aktualizacja 03.05.2025 08:43:
s39.mydevil.net jest dostępny online oraz wszystkie dane zostały bezpiecznie przeniesione na nowy serwer. W ramach rekompensaty każdy użytkownik serwera otrzyma przedłużenie usługi o sześć miesięcy. Za utrudnienia przepraszamy.
~admin, Awaria
