Читал на досуге IT happens. История напомнила рабочие ночи. Сохранил у себя. Из цикла «Поехали! Не заводится! Поехали, по дороге заведешься!»
История #6959: Не взлетим, так поплаваем
Приехал я на работы в далёкий город Владивосток к одному сотовому оператору из «Гроссе Тройке». Нам запланировали достаточно большой даунтайм: с нуля до семи утра по местному. Моя работа была достаточно тривиальна: поставить патчи на Solaris, заменить битую память на одном из системных контролеров и так, по мелочи. А у местного администратора задача была глобальной: пересоздать зоны, коих было достаточно много, на обеих SAN-фабриках.
Я провёл свои работы согласно плану. Всё прошло гладко, и часов в пять я был готов запускать домены сервера и стартовать бизнес-приложение. Так как старший админ клиента был в отпуске, разбираться с зонами пришлось его заму, который с ходу не врубился в логику нарезки зон и пару раз разбудил старшего для консультаций.
Часов в шесть я начал беспокоиться, говоря админу, что надо бы «взлетать» — на старт доменов и инстансов требуется минут 30–40. Админ, очень грамотный человек, сказал, что одну фабрику он сделал, и сейчас начал «пилить» другую, просто не успевает монотонно копировать алиасы и WWN. Разворачивать зоны можно было из бэкапа, но уже полдела было сделано, и азарт не позволил откатываться.
По прошествии десяти минут, когда на лбу админа выступила испарина, он откинулся от ноута и изрёк фразу, которая потом стала девизом русского админства в регионе:
— Да х#й c ним — взлетаем на одной фабрике! Вторую я по ходу доделаю.
Я стартовал домены, ораклисты запустили инстансы, а через полчаса начали появляться пути до дисков со второй фабрики. Всё прошло ровно, за что было выпито несколько кружек пива в ближайшем баре.