Kubernetes

от 5.51 руб/час

Kubernetes as a Service

Отказоустойчивые кластеры, быстрый запуск, удобное управление

ЦОД переезжает. Бизнес работает

Маркет

Денис Хориков, директор Технического департамента компании «Смарт Текнолоджис», — о рисках срочного переезда, роли облаков и «тревожных чемоданчиках» заказчика и интегратора.

CNews: Переезд ЦОД для любой компании — значимое мероприятие. Часто ли вы сталкиваетесь с ситуацией, когда приходится отдавать приоритет срокам, а этап подготовки ужимать в дни или даже часы?

Денис Хориков: При таких ситуацих возрастают риски, которые мы не успеваем выявить и проверить. Подготовка сложной плановой миграции может занимать до полугода: обследование инфраструктуры, анализ архитектуры, разработка методики, тестовые миграции.

Мы переносим не отдельные серверы, а взаимосвязанную систему — оборудование, приложения, сетевые настройки, данные и зависимости между сервисами. Главный вопрос — сколько времени бизнес может обходиться без своих информационных систем. Если допустимо технологическое окно, задача проще; если сервисы должны работать непрерывно — сложнее в разы.

При аварии приоритетом становится спасение данных и восстановление критически важных сервисов. Однажды ЦОД заказчика затопило: оборудование буквально выносили на руках из подвала, грузили в машины и перевозили на другую площадку. Это уже не обычный плановый переезд. И заказчик, понимая, что в одиночку с ситуацией не справится, обратился к нам как к интегратору, у которого за плечами опыт как штатных, так и нештатных миграций.

Денис Хориков, директор Технического департамента компании «Смарт Текнолоджис»: Подготовка сложной плановой миграции может занимать до полугода

При миграции ЦОД в сжатые сроки цена ошибки особенно высока там, где остановка ИТ-сервисов напрямую влияет на бизнес. На молочном предприятии задержка отгрузки из-за сбоя систем может обернуться порчей продукции. Для банков и маркетплейсов недоступность платежей — это потерянные продажи и клиенты. В транспортной отрасли сбой может сорвать перевозки и привести к штрафам. Поэтому мы прежде всего определяем критически важные системы, оцениваем последствия их остановки и допустимое время недоступности. И только после этого выбираем технологию и сценарий миграции.

CNews: При срочной миграции приходится выбирать между скоростью и надежностью?

Денис Хориков: Нет. Сокращать время нужно без отказа от критических проверок. Скорость миграции обеспечивают организация и параллельная работа команд. Кроме того, мы не рекомендуем совмещать переезд с масштабной модернизацией: сначала переносим системы, по возможности сохраняя архитектуру, восстанавливаем работу, а потом модернизируем. Иначе, если система не запустится, будет трудно отделить последствия переноса от ошибок изменения конфигурации.

CNews: Человек, живущий в сейсмоопасном районе, держит тревожный чемоданчик. Что должно быть в таком «тревожном чемоданчике» у владельцев информационных ресурсов?

Денис Хориков: Во-первых, актуальная документация: архитектура, конфигурации, схемы подключений, зависимости сервисов и порядок их остановки и запуска. На практике документация часто отстает от изменений инфраструктуры.

Мы отдельно оцениваем, можно ли на время перемещения переключить нагрузку на резервный ЦОД. Если такой возможности нет, потребуется другой сценарий: временная площадка, дополнительные ресурсы и постоянная готовность инженеров к восстановлению. Универсального решения здесь нет.

Во-вторых, резервные копии, из которых действительно можно восстановиться. Мы встречали заказчиков, которые годами делали копии, но ни разу не тестировали восстановление. В критический момент выяснялось, что оно невозможно.

В-третьих, проверенные сценарии переключения на резервную площадку. Два ЦОД сами по себе не гарантируют катастрофоустойчивость: когда спрашиваешь, тестировалось ли переключение, иногда оказывается, что этого никогда не делали. Нужны также назначенные ответственные, порядок принятия решений и допустимое время простоя сервисов. «Чемоданчик» — это проверенная готовность восстановить бизнес, а не просто комплект документов.

При этом даже резервный ЦОД не всегда сопоставим с основным по вычислительным мощностям и возможностям. Для защиты критически важных данных иногда используют третью, территориально удаленную площадку, на которой хранится холодная копия. Например, два основных ЦОД могут находиться в центральной части России, а третий — за Уралом. Такое географическое разделение снижает риск одновременной потери данных при масштабных авариях. Однако любая схема резервирования должна регулярно проверяться на практике, иначе ее надежность остается лишь в теории.

CNews: А что должно быть в «тревожном чемоданчике» интегратора?

Денис Хориков: Команда архитекторов и инженеров, способных быстро разобраться в неоднородной инфраструктуре; отработанные методики миграции, сценарии восстановления, средства диагностики и тестирования. Обязателен резерв специалистов: нельзя зависеть от одного человека.

Для интегратора также полезны собственный тестовый полигон, круглосуточные сервисные ресурсы и доступ к запасным частям. Они позволяют отрабатывать нестандартные ситуации и не рассчитывать исключительно на помощь производителя, особенно если речь идет о смешанной инфраструктуре из российских и зарубежных решений.

Нужны запасные части и возможность оперативно предоставить временную инфраструктуру — облачные мощности или арендное оборудование. Бывает, что сервер или СХД годами работали без выключения, а после корректной остановки и перевозки уже не включаются: например, отказывает контроллер. На такой случай мы предусматриваем запасные компоненты (ЗИП).

Нам важно заранее понимать, что именно может пригодиться для данного парка оборудования. Для устаревших систем это особенно существенно: часть моделей уже не поставляется, а возможность получить поддержку производителя ограничена. Нужна не абстрактная готовность, а реальные доступные ресурсы.

CNews: Как облака изменили подход к срочным миграциям?

Денис Хориков: Облако может стать временной буферной площадкой. У одного государственного заказчика после серьезного сбоя СХД мы сначала восстанавливали данные, затем экстренно перенесли системы в облако примерно на два месяца. Пока они работали там, заказчик готовил постоянную инфраструктуру и закупал новые системы хранения.

В другом проекте резервный ЦОД располагал лишь половиной мощностей основного. При переносе примерно 40–50 стоек мы временно разместили приложения в облаке, чтобы не потерять производительность. Использовали облако и как дополнительное резервное плечо на время перевозки одного из ЦОД. Это помогает сохранить отказоустойчивость на самом рискованном этапе.

Облако — это не обязательно постоянная замена собственной площадки. При миграции оно может работать считаные недели или месяцы. После завершения переноса данные синхронизируются с целевой инфраструктурой, проверяется корректность работы приложений, и временные ресурсы выводятся из эксплуатации.

CNews: С чего начинается работа, если времени на подготовку крайне мало?

Денис Хориков: С оценки инфраструктуры и документации: что переносим, какие системы критичны, как связаны компоненты. Очень важны администраторы, инженеры и разработчики на стороне заказчика — они знают особенности, не всегда отраженные на бумаге. Интегратор добавляет опыт аналогичных проектов.

Далее составляем план — кто и когда действует — и методику: как останавливать, переносить и запускать системы, что проверять. Обязательно готовим сценарии на случай отказа оборудования или нарушения связей. По возможности тестируем миграцию и восстановление из копий. Если тестировать некогда, усиливаем инженерную команду и контроль этапов, понимая, что риски выше.

Полезно заранее зафиксировать не только перечень оборудования, но и порядок согласований, список ответственных лиц и возможность технологических окон. Даже если технические работы выполняются быстро, отсутствие доступа или задержка решения со стороны заказчика может остановить весь проект.

CNews: Какие риски особенно опасны при физическом переносе?

Денис Хориков: С одной стороны, повреждения при демонтаже и перевозке, ошибки коммутации, отказ оборудования при включении. С другой — потеря данных, настроек или нарушение последовательности запуска систем.

Поэтому до демонтажа сверяем кабельные таблицы, конфигурации и расположение оборудования, ведем фото- и видеофиксацию. Однажды при перевозке отклеились маркировочные наклейки — оборудование пришлось идентифицировать по серийным номерам. Для каждой миграции мы собираем техническую библиотеку: схемы, настройки, таблицы коммутации, фотографии. Она помогает избежать или быстро найти причину сбоя.

Риски физической миграции особенно заметны на старом оборудовании: оно способно исправно работать годами, но не выдержать повторного включения. А при логическом переносе основной вопрос — целостность данных и сохранение связей между системами. В комплексном проекте эти риски накладываются друг на друга.

CNews: А если принимающая площадка оказывается не готова?

Денис Хориков: Такое случалось: приезжали на обследование и обнаруживали, что не подведено питание или нет кабелей. Приходилось останавливать подготовку, иногда оперативно обеспечивать необходимые материалы самим. Поэтому мы заранее проверяем площадку - стойки, электропитание, подключения и возможность запуска оборудования. Облачные ресурсы тоже проверяем на достаточность мощностей и, если возможно, под нагрузкой. При несоответствии ищем другую площадку, облако или арендное оборудование.

CNews: Как координировать десятки специалистов в условиях дефицита времени?

Денис Хориков: Основа — общий план с последовательностью действий, ответственными и контрольными точками. Руководитель проекта отвечает за организацию в целом, технический архитектор — за технологическую часть; по направлениям работают старшие инженеры и архитекторы с дополнительной специализацией.

Часть работ идет параллельно: одна бригада демонтирует оборудование, другая готовит монтаж, между ними организована транспортировка. Но порядок перемещения и запуска должен быть заранее определен. Все участники остаются на связи через ВКС и другие каналы, при необходимости — рации. Так в одном проекте Смарт Текнолоджис 40 инженеров и разработчиков находились в состоянии готовности подключиться к восстановлению почти двое суток.

CNews: Какая экспертиза нужна интегратору? Будет ли достаточно нескольких сильных инженеров?

Денис Хориков: Нет, нужна команда по всему стеку: серверы, СХД, сети, операционные системы, виртуализация, резервное копирование и прикладное ПО. У заказчика часто одновременно работают решения разных производителей и поколений, в том числе уже не поддерживаемые вендорами. Поэтому критична мультивендорная экспертиза.

Параллельность не означает хаотичность. Можно одновременно готовить помещение, маркировать соединения и организовывать транспортировку, но отключать и запускать зависимые системы необходимо в правильной последовательности. На каждом этапе ответственному инженеру должна быть понятна следующая операция и критерий ее завершения.

Команду собираем под проект, при необходимости усиливаем проверенными технологическими партнерами, но ответственность остается у интегратора. Не менее важен практический опыт: в экстренной ситуации специалист должен не просто следовать регламенту, а диагностировать сбои и находить решения на месте.

CNews: Бывает, что вы отказываетесь от заведомо невыполнимых сроков?

Денис Хориков: Да. Например, заказчик предлагает за ночь перевезти несколько сотен стоек. Даже физически вынести оборудование через ограниченное число дверей, не говоря о монтаже и запуске, за это время невозможно. Мы объясняем ограничения и предлагаем реалистичный сценарий. Формально перевезти оборудование, оставив неработающие информационные системы, — это не результат.

CNews: Как понять, что миграция действительно завершена?

Денис Хориков: Включенные серверы еще не означают работающий бизнес. После монтажа проверяем подключения и аппаратные ошибки, затем последовательно запускаем операционные системы и приложения. Часть операций автоматизируем скриптами, часть выполняем вручную.

Еще до миграции согласовываем программу испытаний: функциональность, доступность, взаимодействие сервисов, необходимые показатели производительности. Только после проверки и приемки можно считать перенос завершенным.

CNews: Продолжается ли работа интегратора после запуска ЦОД?

Денис Хориков: Логичное продолжение — модернизация инфраструктуры при необходимости и сервисное сопровождение. Инженеры, проводившие перенос, уже знают конфигурацию и особенности систем. Мы предлагаем мониторинг, поддержку и реагирование на инциденты. У Смарт Текнолоджис есть сервисный центр, инженерные команды, Service Desk и возможность формировать запас компонентов под проект. Мониторинг помогает выявлять проблемы и инициировать обращения еще до того, как заказчик заметит сбой.

Нельзя ограничиваться проверкой того, что на сервере загорается индикатор питания. Важно убедиться, что работает прикладной сервис и пользователи могут выполнять нужные операции. Для критичных систем имеют значение не только функциональные проверки, но и доступность, производительность, корректность резервирования.

Во время миграции мы также видим, что стоит улучшить в архитектуре. Саму модернизацию лучше проводить после стабилизации систем; тогда можем предложить заказчику рекомендации по отказоустойчивости и дальнейшему развитию инфраструктуры.

CNews: Что посоветуете компаниям, которые пока не собираются переносить ЦОД?

Денис Хориков: Не ждать аварии, чтобы проверить готовность к восстановлению. Поддерживать документацию в актуальном состоянии, тестировать восстановление из резервных копий и переключение между площадками. И заранее понимать, кто будет выполнять миграцию и какими ресурсами этот подрядчик располагает.

Сервисные специалисты, которые подключились еще в ходе миграции, могут и далее сопровождать инфраструктуру по согласованному SLA. Так сохраняется преемственность знаний, а все выявленные в процессе переноса особенности оборудования и ПО становятся основой дальнейшей поддержки.

Миграция оценивается не быстротой перевоза серверов, а сохранением работоспособности бизнеса и управляемостью рисков.

Короткая ссылка