Упал облачный провайдер: что делать в первые 2 часа

Первые 15 минут: понять, что происходит

• Проверьте страницу статуса провайдера и его официальные каналы. Если там пусто, посмотрите сервисы мониторинга сбоев — массовые жалобы появляются раньше официальных сообщений.
• Определите масштаб: недоступно всё или одна система? Сервер, сеть или только панель управления? От этого зависит, ждать или переключаться.
• Не перезагружайте и не пересоздавайте серверы вслепую — во время аварии на стороне провайдера это часто только мешает восстановлению.

15–30 минут: сообщить людям

• Сотрудникам — что работает, что нет и как временно принимать заказы (телефон, бумага, общая таблица).
• Клиентам — короткое сообщение в соцсетях и мессенджерах: «сайт временно недоступен, заказы принимаем по телефону». Молчание обходится дороже.
• Назначьте одного ответственного за связь с провайдером, чтобы не дёргать поддержку десятью голосами.

30 минут — 2 часа: решить, ждать или переключаться

Сравните два времени: обещанное провайдером время восстановления (если его вообще называют) и ваше время переключения на резерв. Если провайдер молчит дольше часа, а у вас есть свежая копия на другой площадке — переключайтесь.

1. Разверните систему из последней копии на резервном сервере.
2. Проверьте, что данные свежие, и запишите, что могло потеряться с момента последней копии.
3. Переключите DNS сайта на резервный сервер. Если TTL записей заранее снижен до 5 минут, клиенты увидят сайт почти сразу.
4. Дайте сотрудникам новые адреса подключения к 1С и другим системам.

Когда основной провайдер поднимется, не спешите переключаться обратно в разгар рабочего дня: синхронизируйте данные, накопившиеся на резерве, и возвращайтесь спокойно, вечером.

Если резерва нет

Остаётся ждать, но и тут можно сократить ущерб: перевести приём заказов на телефон и мессенджеры, предупредить клиентов о сроках, проверить, какие локальные копии есть у сотрудников. А после аварии — сразу заняться планом Б, пока все помнят, сколько стоили эти часы.

Что подготовить заранее, чтобы авария прошла за минуты

• Копии важных систем на другой площадке у другого провайдера и проверенное восстановление (см. правило 3-2-1).
• Резервный сервер, готовый принять копию, — свой в колокации или арендованный.
• Низкий TTL DNS (5–15 минут) у записей сайта и сервисов, и доступ к DNS-панели не через того же провайдера.
• Инструкция на одну страницу: кто решает о переключении, куда что разворачивать, где лежат доступы. Хранится на бумаге или вне основной площадки.
• Второй канал интернета в офисе — чтобы авария провайдера связи не отрезала вас от резерва (резервный интернет).
• Учебное переключение раз в полгода. Первое переключение не должно случиться в настоящую аварию.

Поможем подготовиться

Мы держим резервные серверы клиентов в своём дата-центре в Москве, настраиваем копии и проверяем восстановление, а в аварию помогаем переключиться. Подробно о том, как выбрать уровень резерва под ваш бюджет, — в статье «Резервный дата-центр: план Б».