Раніше цього місяця Google Cloud пережила одну з найбільших помилок, коли UniSuper, австралійський пенсійний фонд із 135 мільярдами доларів, видалив свій обліковий запис Google Cloud через якусь помилку з боку Google. У той час UniSuper заявив, що втратив усе, що зберігав у Google, навіть резервні копії, і це спричинило два тижні простою для його 647 000 учасників. Були спільні заяви генерального директора Google Cloud і генерального директора UniSuper з цього приводу, багато вибачень і, ймовірно, багато стурбованих клієнтів, які цікавилися, чи не зник їхній пенсійний фонд.
Одразу після цього ми отримали пояснення, що «збій виник через безпрецедентну послідовність подій, у результаті яких випадкова неправильна конфігурація під час надання послуг приватної хмари UniSuper зрештою призвела до видалення підписки на приватну хмару UniSuper». Через два тижні внутрішня перевірка проблеми в Google Cloud завершена, і компанія опублікувала допис у блозі, в якому детально описує, що сталося.
Google має «TL;DR» у верхній частині публікації, і це звучить так, ніби працівник Google неправильно ввів дані.
Під час початкового розгортання приватної хмари Google Cloud VMware Engine (GCVE) для клієнта за допомогою внутрішнього інструменту оператори Google ненавмисно неправильно налаштували службу GCVE через те, що параметр залишився порожнім. Це призвело до ненавмисних і невідомих наслідків: використання приватної хмари GCVE клієнта за замовчуванням на фіксований термін із автоматичним видаленням у кінці цього періоду. Тригер інциденту та поведінку нижньої системи було виправлено, щоб гарантувати, що це більше не повториться.
Найбільш шокуючою річчю про помилку Google було раптове та безповоротне видалення облікового запису клієнта. Чи не повинні бути встановлені засоби захисту, сповіщення та підтвердження, щоб нічого випадково не видалити? Google каже, що вони є, але ці попередження стосуються «видалення, ініційованого клієнтом», і вони не працюють під час використання інструмента адміністратора. Google каже: «Сповіщення клієнта не було надіслано, оскільки видалення було ініційовано через те, що оператори Google залишили пустим параметр за допомогою внутрішнього інструменту, а не через запит клієнта на видалення. Будь-якому видаленню, ініційованому клієнтом, передувало сповіщення клієнта.”
Advertisement
Під час численних оновлень UniSuper вказувала, що не має доступу до резервних копій Google Cloud і змушена була шукати сторонній (імовірно менш сучасний) магазин, щоб відновити роботу. Під час бурхливого періоду відновлення UniSuper сказав, що «UniSuper мав дублювання в двох географічних регіонах як захист від збоїв і втрат. Однак, коли відбулося видалення підписки на приватну хмару UniSuper, це спричинило видалення в обох цих географічних регіонах… UniSuper створювали резервні копії за допомогою додаткового постачальника послуг. Ці резервні копії мінімізували втрату даних і значно покращили здатність UniSuper і Google Cloud завершувати відновлення.”
.
У своєму постмортемі Google тепер каже: «Видалення не вплинуло на резервні копії даних, які зберігалися в Google Cloud Storage у тому самому регіоні, і разом із стороннім програмним забезпеченням для резервного копіювання сприяло швидкому відновленню». Важко звести ці два твердження, особливо враховуючи двотижневий період відновлення. Метою резервної копії є швидке відновлення; тому або резервні копії UniSuper не були видалені та не були ефективними, що призвело до двох тижнів простою, або вони були б ефективними, якби їх не було частково або повністю стерто.
Google багато разів наголошував у дописі, що ця проблема торкнулася одного клієнта, ніколи не траплялася раніше, ніколи не повинна повторитися, і не є системною проблемою Google Cloud. Ось повний розділ «виправлення» допису в блозі:
Відтоді Google Cloud вжив кількох заходів, щоб гарантувати, що цей інцидент більше не повториться, зокрема:
Ми застаріли внутрішній інструмент, який ініціював цю послідовність подій. Цей аспект тепер повністю автоматизований і контролюється клієнтами через інтерфейс користувача, навіть якщо потрібне спеціальне керування потужністю. Ми очистили системну базу даних і вручну переглянули всі приватні хмари GCVE, щоб переконатися, що жодне інше розгортання GCVE не знаходиться під загрозою. Ми виправили поведінку системи, яка встановлює приватні хмари GCVE для видалення для таких робочих процесів розгортання.
Google стверджує, що Cloud все ще має «запобіжні заходи з поєднанням м’якого видалення, попереднього сповіщення та роботи людини в циклі, якщо це доцільно», і підтвердив, що всі ці заходи все ще працюють.
