Давно построенные центры обработки данных (ЦОД) перестают соответствовать требованиям организаций, владеющих ими. Это главный вывод, который следует из результатов нашего опроса. Примерно половина респондентов заявили, что обязательно или предположительно будут модернизировать системы электропитания и охлаждения оборудования своих ЦОДов в ближайшие 12 месяцев. Перед большинством организаций стоит головоломная задача - как проводить необходимую модернизацию? С одной стороны, инфраструктура старого ЦОДа уже не годится для нормальной работы современных серверов, систем хранения данных и сетевого оборудования, которые потребляют все больше электроэнергии в расчете на единицу площади ЦОДа, а с другой - строительство нового ЦОДа может оказаться очень уж дорогостоящим делом.

У большинства организаций просто нет выбора. Дело в том, что им приходится сохранять и обрабатывать (новыми и более сложными способами) постоянно растущие объемы данных, и нет никаких признаков ослабления этой тенденции. И какими бы полезными ни были консолидация серверов и повышение эффективности управления хранением данных, рано или поздно вам все равно придется реконструировать свой старый ЦОД или строить новый.

Наибольшую озабоченность у ИТ-специалистов продолжают вызывать проблемы с электропитанием и охлаждением оборудования ЦОДа. Но в ответах на наш вопрос, испытывают ли организации дефицит свободного места в своем ЦОДе, были выявлены два интересных факта. Первый - почти половина опрошенных сказали, что в их ЦОДе вполне достаточно места для дальнейшего развития его ИТ-инфраструктуры. Такого ответа можно было ожидать, ведь рабочие характеристики серверов и систем хранения данных непрерывно улучшаются при сохранении или уменьшении их габаритных размеров. В результате для повышения эффективности работы ЦОДа отнюдь не всегда нужна дополнительная площадь. Второй факт показался нам довольно неожиданным: почти четверть респондентов заявили, что для организации своих ЦОДов они используют обычные, не предназначенные для этого помещения.

Мы не стали глубоко вникать, что является причиной этого, но можно предположить, что ответившие так респонденты работают в небольших компаниях или в удаленных филиалах крупных организаций. В любом случае решения типа «ЦОД в коробке» - системы размером с холодильник, снабженные необходимыми для эксплуатации примерно 30 серверов (или других сетевых устройств) высотой 1U средствами охлаждения и источниками бесперебойного питания (ИБП), должны пользоваться большим спросом.

Результаты опроса указывают на движущие силы консолидации ЦОДов. Чтобы решить ряд проблем, включая обеспечение соответствия законодательным требованиям по информационной безопасности и повышение надежности хранения данных, нужно совершенствовать системное управление, а для этого желательно переместить серверы подразделений компании и ее удаленных филиалов в ЦОД.

Что же на самом деле лучше?

Очевидно, что предприятиям нужны улучшенные ЦОДы. Но что же значит «улучшенные»? Должны ли, например, серверы быть специализированными или как можно более универсальными? Следует ли покупать блейд-системы или это всего лишь еще один способ «привязать» заказчика к конкретному производителю? Поможет ли питание оборудования постоянным током (DC) сократить расходы на электроэнергию или от такого типа питания будет больше проблем, чем пользы? Нужны ли фальшполы, или они уже устарели? Число вопросов кажется бесконечным, но совершенно ясно, что строить объекты (для организации ЦОДов) того же типа, какие строились всего лет пять назад, - провальная затея. Возможно, самой большой проблемой для организаций, планирующих строительство ЦОДа, является высокая стоимость последнего.

Раньше большинство систем электропитания для оборудования ЦОДов рассчитывались на удельную мощность 50 Вт/кв. фут (1 кв. фут = 0,0929 кв. м), но сейчас многие аналитики рекомендуют иметь систему удельной мощностью 500 Вт/кв. фут. Десятикратное увеличение удельной мощности систем электропитания (включая ИБП и электрогенераторы), а также необходимость иметь соответствующие системы охлаждения, делают затраты на реализацию этих систем самой большой статьей расходов при создании ЦОДов. Если вы хотите построить ЦОД уровня IV с надежностью работы «пять девяток» (в соответствии с определением организации Uptime Institute), то расходы на приобретение и монтаж его систем электропитания и охлаждения могут аж в 50 раз превысить затраты на строительство собственно здания ЦОДа (165 млн долл. против 3,3 млн в случае строительства ЦОДа площадью 15 тыс кв. футов). А ежегодная плата за электроэнергию при использовании ЦОДа вышеуказанной площади, как говорится «на полную катушку», составляет 13 млн долл. (в Калифорнии), что почти в пять раз превышает стоимость строительства его здания.

Учитывая столь значительные расходы на реализацию инженерной инфраструктуры ЦОДа и затраты на оплату электроэнергии, имеет смысл критически оценить все детали конструктивного решения его помещения. Одним из спорных моментов при проектировании ЦОДов является наличие фальшпола, поскольку последний становится бесполезным при высокоплотном размещении оборудования в монтажных стойках. Всего шесть лет назад среднее энергопотребление стойки с оборудованием было около 3 кВт. Сегодня этот показатель составляет почти 7 кВт, а при заполнении стойки блейд-серверами ее энергопотребление может возрасти до 30 кВт и больше. Ни одна из существующих систем охлаждения через фальшпол не рассчитана на такую концентрацию тепловой нагрузки. Но не только проблемы с охлаждением заставляют усомниться в необходимости фальшпола.

С увеличением энергопотребления стоек с оборудованием растет и их масса. Полностью заполненная аппаратурой стойка может весить от четверти тонны до одной тонны и даже больше. Чтобы фальшпол выдерживал столь тяжелые стойки, его нужно укреплять дополнительными подпорками. Вместо того чтобы полагаться на систему охлаждения через фальшпол, стоит рассмотреть варианты использования средств охлаждения, работающих на уровне стойки или ряда стоек, в качестве дополнения к этой системе или ее полной замены. Данные средства хороши тем, что они модульные и подают хладагент именно туда, куда нужно, это и делает их более эффективными.

DC или AC?

Проанализировав лучшие подходы к построению ЦОДов, вы несомненно получите большую пользу. Но один подход мы не советовали бы вам брать на вооружение - это использование систем электропитания DC вместо систем электропитания переменного тока (AC), которые в настоящее время преобладают в ЦОДах.

Системы электропитания DC нужны организациям, сетевая инфраструктура которых должна соответствовать требованиям NEBS (Network-Equipment Building System). Как правило, это телекоммуникационные операторы, использующие такие системы уже много лет главным образом по причине их высокой надежности и простоты подключения альтернативных источников питания (батарей и генераторов).

Предприятия других отраслей тоже проявляют интерес к DC-электропитанию, поэтому любой крупный производитель серверов выпускает по меньшей мере несколько моделей, питаемых от DC-систем. Одним из производителей, специализирующихся на выпуске таких серверов, является компания Rackable Systems.

Существует ряд факторов, препятствующих использованию DC-электропитания в ЦОДах. Во-первых, выбор ИТ-продуктов с таким типом электропитания сравнительно невелик. Во-вторых, построение DC-системы электропитания в масштабе ЦОДа требует специальных знаний и навыков - достаточно не затянуть хотя бы один болт на шине DC и она может расплавиться. В-третьих, вам придется разместить инверторы вне помещения ЦОДа, чтобы выделяемое ими тепло не мешало охлаждать установленное там оборудование.

В-четвертых, DC-системы электропитания обычно стоят дороже AC-систем (впрочем, имея более высокий КПД, DC-системы потребляют меньше электроэнергии, и вы можете сэкономить на снижении совокупной стоимости владения ими).

И наконец, в-пятых, если серверы, коммутаторы, маршрутизаторы и системы хранения данных с DC-электропитанием на рынке имеются, то DC-кондиционеров для ЦОДов не существует. Это означает, что вам придется реализовывать в ЦОДе две системы электропитания - DC и AC, но очевидно, что гораздо лучше иметь дело с системой только одного типа. По указанным выше причинам DC-электропитание в ЦОДах, ориентированных на разнообразные ИТ-приложения, не стало популярным.

Компания «Строй-ТК» проведет проектирование и монтаж ЦОД для Вашего бизнеса.

Ознакомиться с нашими услугами по проектированию, строительству, эксплуатации ЦОД Вы можете .

На сегодняшний день уже никого не удивить тем, что в той или иной компании присутствует собственный ЦОД. Что это такое, знают лишь немногие работники этой организации, но в действительности же такое оборудование требуется любому бизнесу, который хочет добиться реальной стабильности. Другими словами, если возникает реальная потребность в том, чтобы обеспечить бесперебойную, масштабируемую и управляемую работу компании, когда от ИТ-инфраструктуры непосредственно зависит стабильность работы бизнеса, используется центр обработки данных.

Что это?

Таким образом, с течением времени и развития информационных технологий практически в любой организации, которая так или иначе связана с информацией, присутствует собственный ЦОД. Что это такое? Центр обработки данных, который в профессиональной специализированной литературе часто принято называть дата-центр. Из названия можно понять, что в таком оборудовании осуществляются разнообразные операции, которые непосредственно относятся к обработке любой информации, то есть созданию или генерированию данных, последующему архивированию и хранению файлов, а также последующему предоставлению их по запросу пользователя. При этом отдельное внимание следует уделить тому, что помимо вышеперечисленных функций есть также безопасное уничтожение данных, за которое отвечает ЦОД. Что это такое? Устранение тех или иных файлов без вреда остальным данным и, возможно, без возможности восстановления, если удаляется действительно важная информация, которая не должна попасть в третьи руки.

Где они могут применяться?

На сегодняшний день существует достаточно большое количество фондов, включая земельные кадастры, Пенсионный фонд и разнообразные библиотеки, которые непосредственно занимаются сбором и хранением различной информации. При этом стоит отметить, что есть и такая информация, которая сама по себе генерирует бизнес, к примеру, та, которая применяется разнообразными справочными службами. Также есть информация, которая не принимает никакого участия в бизнес-процессах, но при этом является необходимой для их реализации. К таким данным относятся файлы кадровых служб, а также базы данных учетных записей пользователей в различных информационных системах.

Промышленными холдингами создаются специализированные электронные архивы для выполнения расчетных задач, хранения документов, а также автоматизации бизнес-процессов. Таким образом, разные организации используют разные виды информации, а также задачи, которые касаются ее обработки. Именно для решения таких задач и создается ЦОД. Что это такое, знает только системный администратор, на плечи которого ложится оборудования.

Когда используется ЦОД?

Задачи, связанные с в разное время решались при помощи различных технических средств. В ХХ веке электронно-вычислительные устройства стали основой современного бизнеса, так как взяли на себя преимущественное большинство вычислительных задач, а появление устройств, которые хранят в себе информацию, предоставило возможность полностью избавиться от бумажных архивов, заменив их более компактными, и при этом доступными электронными и ленточными носителями. Уже для того, чтобы разместить первые электронно-вычислительные машины, нужно было выделять специализированные машинные залы, в которых сохранялись требуемые климатические условия, чтобы оборудование не перегрелось в процессе работы и при этом работало стабильно.

Серверные комнаты и их особенности

С началом эпохи развития персональных компьютеров и небольших серверов вычислительное оборудование практически любой компании стало заключаться в специальных серверных комнатах. В преимущественном большинстве случаев под такой комнатой предусматривается определенное помещение, в котором установлен бытовой кондиционер, а также источник бесперебойного питания для того, чтобы обеспечить непрерывную работу техники в нормальном состоянии. Однако в наши дни такой вариант годится только для тех предприятий, в которых бизнес-процессы очень сильно зависят от используемой информации и доступных вычислительных ресурсов.

Чем отличается ЦОД от серверной?

По большому счету, современный центр обработки данных представляет собой расширенную копию традиционной серверной комнаты, ведь на самом деле они имеют много общего - это использование инженерных систем, поддерживающих непрерывную работу оборудования, необходимость в обеспечении требуемого микроклимата, а также соответствующего уровня безопасности. Но в то же время есть и целый ряд отличий, которые являются решающими.

Центр обработки данных оснащается полным комплектом различных инженерных систем, а также специализированными составляющими, обеспечивающими нормальную и стабильную работу информационной инфраструктуры компании в том режиме, который требуется для работы бизнеса.

Где используется такое оборудование?

В России обработка данных при помощи таких центров стала востребованной с 2000 года, когда такое оборудование начали заказывать различные банковские структуры, государственные органы, а также предприятия в сфере нефтяной промышленности. Стоит отметить, что впервые ЦОД появился еще в 1999 году, когда его начали использовать для обработки деклараций и справок о доходах всех жителей Москвы и области.

Также одним из первых крупных ЦОДов стало оборудование, которое использовалось в центре Сбербанка. В 2003 году, при поддержке компании «Ростелеком», в Чувашии организовали первый республиканский центр обработки данных, применяющийся для того, чтобы систематизировать архивные данные. Такие устройства обеспечивали различные органы местной власти, а в 2006 году также открылся центр, в котором осуществлялась обработка данных центра «Курчатовский институт». В следующем году компании ВТБ-24 и Yandex также начали использовать собственный центр обработки данных. Москва, таким образом, достаточно быстро пришла к использованию такого оборудования, равно как и другие крупные города России.

Где стоит установить ЦОД?

В наши дни собственный ЦОД используется практически каждой крупной территориально-распределенной компанией, особенно в том случае, если бизнес очень сильно зависит от организации ИТ. В качестве примеров можно привести операторов связи, компании-ритейлеры, туристические и транспортные компании, медицинские учреждения, промышленные холдинги и многое другое.

ЦОД может предназначаться для работы конкретного предприятия или же использоваться в качестве многопользовательского оборудования. Многопользовательский центр обработки данных предоставляет широчайший спектр услуг, включая непрерывность бизнеса, а также хостинг, аренду и размещение сервера и еще множество других элементов. Услуги ЦОД являются наиболее актуальным для компаний малого и среднего бизнеса, так как с его помощью можно исключить необходимость в для модернизации ИТ-инфраструктуры, и в конечном итоге получить гарантию надежности и сервис самого высокого качества.

Залог успешности ЦОД - это грамотное проектирование

Грамотное проектирование центра обработки данных позволяет исключить возникновение серьезных проблем в процессе работы оборудования, а также сократить расходы в процессе эксплуатации. В целом структура такого центра распределяется на четыре основных элемента - это инженерная инфраструктура, здание, программное обеспечение и специализированное оборудование. При этом строительство зданий и помещений под установку такого оборудования исполняется во множестве стандартов, главным назначением которых является обеспечение безопасности и надежности. В западных странах часто устанавливаются крайне серьезные и порой весьма своеобразные требования к ЦОД - в частности, стоит выделить то, что здание должно находиться не менее чем на расстоянии 90 метров от предельно высокой точки, до которой доходила вода при наводнении за последние 100 лет, чего добиться бывает далеко не так просто, как может показаться на первый взгляд.

Наиболее важные параметры в современном ЦОД

1. Тепло/ плотность рассеиваемой мощности (78%)
2. Коэффициент готовности, время безотказной работы (57%)
3. Ограниченное место/Развитие (39%)
4. Технологические изменения/Организационные изменения (23%)
5. Мониторинг (18%)
6. Дополнительно: безопасность, надежность оборудования, программное обеспечение

Источник: «Data Center Users Group» Emerson Network Power

Требования к ЦОД для минимизаци рисков

Существуют три группы рисков, которые потенциально могут служить источником несоответствия ЦОД бизнес- и ИТ-потребностям пользователей:

• риски простоев:
  • связанные с плановыми профилактическими мероприятиями
  • связанные с незапланированными событиями (сбоями в работе сети и оборудования)
• риски изменения бизнес- и ИТ-потребностей (рост бизнеса, изменение требований к ИТ-инфраструктуре)
• риски простоев, связанные с человеческим фактором.

Рис. ЦОД: три типа рисков

Для того, чтобы минимизировать эти риски, решение ЦОД должно отвечать трем важнейшим требованиям:

• работоспособность (availability)
• гибкость
• простота

Для снижения рисков простоев и обеспечения необходимого уровня работоспособности дата-центра следует предусмотреть:

• избыточность систем
• отказоустойчивость систем (возможность работы в автономном режиме).

Для снижения рисков изменения требований к инфраструктуре и обеспечения гибкости решения необходимо предусмотреть его масштабируемость (возможность добавления модулей к ИТ- и инженерной инфраструктуре).

Для снижения рисков, связанных с человеческим фактором, необходимо предусмотреть простоту систем мониторинга, управления, эксплуатации ЦОД.

Рис. Три отличительных особенности хорошего решения ЦОД

Нормы, стандарты и классификация ЦОД

Несмотря на то что заказчики ставят задачи, требования которых зачастую весьма различны (например в отношении отказоустойчивости и гибкости инфраструктуры ЦОД), накапливаемый опыт позволяет создавать тиражируемые решения и реализовывать проекты с меньшими затратами, уходя от дорогостоящей концепции построения уникальных решений. К сожалению, большинство существовавших с 1985 года наработок в области стандартизации таких решений не может удовлетворить современным требованиям, что привело к необходимости кардинального пересмотра стандартов и задач, решаемых при проектировании центров обработки данных.

Как уже неоднократно отмечалось в различных источниках, все большую важность приобретает выработка единого подхода к организации ЦОД. Стандартизация должна способствовать консолидации инфраструктуры, уменьшению ее сложности, повышению управляемости, соответствию требованиям бизнес-процессов и сокращению затрат. Стандарты обобщают опыт, накопленный в ходе построения и эксплуатации различных центров данных и серверных помещений, стимулируют системный подход к реализации инфраструктуры, приводя тем самым к предсказуемой тиражируемости и масштабируемости решений, помогают унифицировать реализацию взаимосвязанных инфраструктурных систем и упростить внесение изменений. Особенно актуальной тема стандартизации ЦОД стала в последние два года.

Четыре уровня отказоустойчивости ЦОД

Параметр / Класс ЦОД (уровень)	1 Низкая отказоустойчивость	2	3	4 Высокая отказоустойчивость
Тип здания	C соседями		Отдельно стоящее
Количество энерговводов	1		Один активный, второй резервный	Два активных
Первоначальная мощность из расчета Вт на фут 2 / Вт на м 2	20 — 30 / 215 — 323	40 — 50 / 430 — 537	40 — 60 / 430 — 645	50 — 80 / 537 — 860
Максимальная мощность Вт на фут 2 / Вт на м 2	20 — 30 / 215 — 323	40 — 50 / 430 — 537	100 — 150 / 1075 — 1615	150+ / 1615+
Бесперебойное кондиционирование	Нет		Возможно	Есть
Высота фальшпола в дюймах / метрах	12» / 0.3	18" / 0.45	30" — 36" / 0.75 — 0.9	30" — 36" / 0.75 — 0.9
Нормативная нагрузка на фальшпол, фунты на фут 2 / кг на м 2	85 / 415	100 / 488	100 — 150 / 732	150+ / 732+ (по страндарту 2005г 1000+)
Общая длительность отказов за год	28,8 ч	22 ч	1,6 ч	0,4 ч
Доступность ЦОД	99,671 %	99,749 %	99,982 %	99,995 %
Срок ввода в эксплуатацию (мес.)	3	3 — 6	15 — 20
Типовой проект впервые реализован в	1965 г.	1970 г.	1985 г.	1995 г.
Стоимость строительства (+ — 30%) Площадь фальшпола* Мощность ИБП	$ 4844 / м 2 $ 10 000 / кВт	$ 6450 / м 2 $ 11 000 / кВт	$ 9700 / м 2 $ 20 000 / кВт	$ 11 800 / м 2 $ 22 000 / кВт

* Примечание: указанная стоимость за м2 характеризует инвестиции во все системы жизнеобечения ЦОД, гарантирующие требуемые значения доступности.

Источник: ABR Consulting Group

Стандарты

Как решить, какой именно ЦОД нужен Вашей компании

Чтобы решить, какой именно ЦОД нужен Вашей компании, необходимо оценить потребности Вашего бизнеса по каждому из следующих критериев:

• работоспособность
• масштабируемость
• избыточность
• отказоустойчивость
• управляемость
• ремонтопригодность.

Основные требования к ЦОД

При определении требований необходимо учитывать тенденции развития информационных систем и телекоммуникаций в удаленной - насколько это только возможно - перспективе и предусмотреть варианты расширения мощностей ЦОД в соответствии с планами развития предприятия. Таким образом, начинать следует с расчета максимальной мощности центра данных, поскольку в дальнейшем этот параметр будет своего рода ограничителем его роста.

Далее рассчитывается емкость размещаемого оборудования, измеряемая в стандартных единицах высоты или, в просторечии, юнитах (U). Зная стандартные размеры стоек, можно определить их необходимое количество, а затем и минимальную площадь помещения, которая зависит в том числе и от его планировки. Размещать придется не только стойки и/или шкафы для оборудования, но также организаторы кабелей и другие обеспечивающие системы - электропитания, вентиляции, кондиционирования и пожаротушения. Поэтому требования к пространству определяются также такими факторами, как расчетный отвод тепла и необходимый уровень резервирования для обеспечения отказоустойчивости.

Следующий важный параметр - энергопотребление основного оборудования. Надо помнить, что в паспортах устройств обычно указывают среднюю мощность потребления. При проектировании нового ЦОД не стоит ориентироваться на цифру 5−6 кВт на стойку, поскольку размещение современных систем потребует подведения 10−15 кВт. Мощность источников бесперебойного питания выбирается в зависимости от энергопотребления основного оборудования.

Зная полезную мощность, можно определить подводимую мощность к ЦОД. Исходя из практики этот показатель составляет 250 % от мощности, потребляемой информационными системами. Куда же она тратится? В первую очередь, на отвод выделяемого тепла от оборудования, т. е. кондиционирование. Другие инженерные системы являются менее ресурсоемкими - освещение, в том числе аварийное, вентиляция, газовое пожаротушение, контроль доступа, видеонаблюдение потребляют значительно меньше энергии.

Размеры и общий вес стоек определяют требования к минимальной нагрузочной способности перекрытий и фальшпола, а состав и производительность информационных систем - к кабельным системам и внешним кабельным вводам для каналов связи.

На основании емкости и типов размещаемого оборудования, а также необходимых уровней обслуживания составляются требования к вспомогательным помещениям - складу, комнатам для персонала и т. п. Упакованное оборудование, запасные воздушные фильтры, плиты пола, кабели, носители и бумага для принтеров должны храниться отдельно - в складском помещении. В идеале для хранения различных компонентов стоит предусмотреть отдельные вспомогательные помещения, особенно для документов и магнитных лент, в крайнем случае приобрести несколько шкафов.

Кроме того, надо позаботиться об участке подготовки - для распаковки, проверки и предварительной настройки нового оборудования.

После фиксации всех нюансов в техническом задании настает черед определения требований к размещению ЦОД.

На стадии планирования ЦОД необходимо тщательно оценить издержки на основе оценки потребностей в работоспособности ЦОД, о ценить критические нагрузки, положить в основу планирования существующие стандарты проектирования, и учесть при этом существующие практики, которые могут отличаться от стандартов.

Оценка издержек: соотношение цены и функциональности

Каждый хочет работать в ИТ-среде 7x24x365. Однако такое требование имеет серьезные последствия. Работоспособность ИТ-среды – это больше, чем надежность ее компонентов и избыточность ее конфигурации. Системы должны быть одновременно в рабочем состоянии. Это означает, что абсолютно необходимо обеспечить периодическую профилактику, то есть системы должны периодически полностью выводиться из рабочего состояния без ущерба для нагрузки ЦОД. Поэтому, чем выше ожидания по работоспособности ЦОД, тем больше его стоимость. Мы поможем Вам:

• определить необходимую и достаточную степень работоспособности, оптимальную для Вашего ЦОД
• провести оценку стоимости решения для этого уровня риска.

Рис. От чего зависит стоимость дата-центра

Оценка критических нагрузок

В большинстве случаев недостаточно подготовить спецификацию оборудования, необходимого для строительства ЦОД, — эта информация должна сопровождаться информацией о требованиях к энергопотреблению, охлаждению, пространству помещения.

Мы разработали для этого соответствующие методики, и имеем большой проектный опыт, необходимый для тщательного профилирования продуктивности оборудования, а также последствий использования этого оборудования для инфраструктуры. Речь идет не только о таких последствиях, как степень нагрузок, но и о последствиях, связанных с типами используемых технологий, — развертывание блейд-серверов, повышение компактности оборудования и т.д.

Надежность ЦОД

Термин «надежность ЦОД» (reliability) означает вероятность того, что некоторый объект (элемент оборудования, дата-центр в целом) будет удовлетворительно работать в течение определенного периода времени при соблюдении определенного набора условий.

Надежность ЦОД обычно включает в себя такие составляющие как правильно выбранное помещение, наличие отлаженной системы бесперебойного гарантированного энергоснабжения, грамотной системы вентиляции и кондиционирования, водоснабжения и водоотвода. Принципиальным нюансом является правильное построение телекоммуникационных систем. Критичным для пользователя остается обеспечение комплексной безопасности дата-центра – контроля доступа, охранной и пожарной сигнализации, пожаротушения. Все большее значение приобретают аспекты катастрофоустойчивости, а также дублирования ЦОД. В настоящее время иметь резервный ЦОД стало уже не просто желательной опцией, а чуть ли не обязательным условием для многих компаний.

Работоспособность ЦОД

Термин «работоспособность ЦОД» (availability) означает вероятность того, что некоторый объект (элемент оборудования, дата-центр в целом) будет в рабочем состоянии в случайным образом выбранный момент в будущем.

Отказоустойчивость ЦОД

Термин «отказоустойчивость ЦОД» (fault tolerance) относится к ИТ-системе или компоненту, спроектированным так, что на случай выхода из строя или необходимости ремонта предусмотрены запасной компонент или процедура, которые немедленно начинают действовать, обеспечивая непрерывность предоставления сервисов. Отказоустойчивость может быть обеспечена с помощью программных, или аппаратных средств, или с помощью их комбинации.

Время продуктивной работы и время простоев ЦОД

Доля (%) времени в течение года, когда система находится в рабочем состоянии и/или в состоянии простоя (% Uptime and Down time), напрямую связаны между собой. Период простоя (downtime) – это суммарный показатель простоев за год, и он не обязательно означает, что за это время произошел один сбой, их могло быть несколько. Тем не менее, будь то секундный, минутный или часовой сбой, — в любом случае это авария.

Обратите внимание, что в таблице отсутствует показатель 2(N+1). Обычно символ «S» (systems) имеет минимальное значение (N+1).

Детали по вопросам степеней работоспособности (availability) для Вашего ЦОД следует тщательно обсудить со специалистом. Отметим только, что чем выше будет требуемый Вами показатель работоспособности (availability), тем дороже обойдется его инженерная реализация.

Дополнительная информация

Стандартные и не-стандартные практики строительства ЦОД

Мы разработали ряд стандартов проектирования, благодаря которым можно с большой точностью оценить работоспособность будущего ЦОД. Благодаря опыту мы знаем, какие причины могут помешать бесперебойной работе ЦОД. Мы имеем решения для нейтрализации этих причин благодаря тому, что постоянно отслеживаем новые тенденции в технологиях.

АНОНСЫ

Тема центров обработки данных в последние несколько лет стала одной из наиболее модных в ИТ. Для крупной компании не иметь собственного или не использовать мощности коммерческого ЦОД даже как-то неприлично. А насколько эта тема актуальна для средних предп

В последние два-три года при проведении различного рода аудитов неоднократно задавался вопрос: «Использует ли ваше предприятие ЦОД?». Для начала определимся с терминологией. Под центром обработки данных мы будем понимать отдельное здание, оборудованное соответствующими инженерными системами (кондиционирования, пожаротушения, бесперебойного электропитания и пр.), в котором размещаются вычислительные ресурсы (серверы, системы хранения и т. д.), созданы телекоммуникационная инфраструктура, обеспечивающая удаленный доступ к ресурсам центра, системы физической и информационной безопасности, контроля доступа, диспетчеризации и мониторинга и т. п. Такой ЦОД достаточно универсален, на его площадях можно устанавливать широкий спектр оборудования, образующего системы для решения самых разных задач.

Сегодня существует три основных подхода к размещению систем хранения и обработки данных:

• можно оборудовать и эксплуатировать аппаратную комнату (или комнаты) в своих офисах;
• построить и эксплуатировать свой собственный ЦОД;
• арендовать необходимые ресурсы в центре у специализированного провайдера.

С одной стороны, на определенном этапе развития систем предприятия обеспечивать поддержку требуемых объемов и качества ИТ-услуг, базируясь на размещаемых в офисных зданиях аппаратных комнатах, становится невыгодно по разным причинам: дорого, сложно, ненадежно… Список можно продолжить. С другой стороны, строительство центра обработки данных - сложный проект, бюджет которого обычно измеряется миллионами долларов, а стоимость эксплуатации составляет несколько сотен тысяч долларов в год.

Как же определить, какие из подходов, в какой комбинации и для каких задач использовать? Здесь мы должны четко понимать, что выбор нужно делать исходя из требований заказчиков к ИТ-услуге, предоставляемой на базе определенной информационной системы.

Типовая архитектура ИТ-услуги

На рисунке приведена типовая архитектура ИТ-услуги (или ИТ-сервиса). Что из ее компонентов может быть размещено в ЦОД? В первую очередь - оборудование систем хранения, обработки и передачи данных, образующее платформу информационной системы, а также некоторая часть корпоративной сети передачи данных, входящая в среду доступа.

Большинство компаний имеет территориально распределенные объекты и иерархическую организационную структуру. Исходя из этого все ИТ-уcлуги можно разделить на корпоративные (то есть используемые несколькими территориально-организационными единицами) и локальные (используемые только одной территориально-организационной единицей). Первоочередными кандидатами на размещение в ЦОД будут те системы, на основе которых строятся корпоративные ИТ-услуги.

Аппаратные комнаты в офисе

От аппаратных комнат в офисном здании полностью избавиться невозможно. Их объем может быть минимизирован, они могут быть совмещены с помещениями другого назначения, расходы на их создание и содержание тоже можно сократить (за счет снижения эксплуатационных характеристик). Но аппаратные комнаты в офисе будут всегда. Почему?

В любом офисе существует неотъемлемый от здания участок среды доступа. Его составляет оборудование структурированной (еще говорят - слаботочной) кабельной системы, локальной вычислительной сети и телефонной сети. Даже если вы используете беспроводные технологии в сочетании с IP-телефонией, все равно будет коммуникационное оборудование, терминирующее внутриофисную кабельную систему, сетевое оборудование, коммуникационный сервер и т. п. В любой офис приходят внешние коммуникации - входящие в здание извне физические кабели, заканчивающиеся на каком-то коммутационном оборудовании, и телекоммуникационное оборудование, которое передает информацию через эти кабели.

Кроме того, существует ряд привязанных к офису систем, на базе которых строятся локальные ИТ-услуги.

Многие системы постоянно генерируют большой объем трафика. В каждом офисе есть разделяемые файловые ресурсы (файловые серверы) и сетевые принтеры. Немного реже встречаются системы резервного копирования данных на рабочих станциях, системы автоматической установки обновлений программного обеспечения, системы обработки и хранения изображений (документооборот и т. п.). Иногда

имеются системы хранения и обработки аудио- и видеоинформации. Перенос таких систем в ЦОД создаст огромную нагрузку на телекоммуникации между ЦОД и рабочими местами в офисе. Ряд систем просто не сможет нормально работать на ограниченных по емкости телекоммуникационных каналах (например, время полного восстановления для систем резервного копирования может возрасти до нескольких десятков часов). А в случае нарушения связи с ЦОД перестанут работать все ИТ-услуги, включая даже элементарную печать на сетевой принтер.

Практически во всех локально-вычислительных сетях имеются централизованные системы, обеспечивающие авторизацию и аутентификацию пользователей. Если перенести такие системы в ЦОД, то при нарушении связи все ИТ-услуги в офисе могут оказаться недоступными. Разного рода системы безопасности всегда размещают в аппаратных комнатах в офисе. Для некоторых систем, согласно законодательству РФ или внутренним корпоративным стандартам, устанавливаются очень жесткие требования по безопасности, включая требования по обязательной сертификации, и перенос этих систем в ЦОД скорее всего приведет к нарушению требований. Сейчас становится все меньше систем, требующих регулярного физического и технического обслуживания, визуального контроля, смены носителей и расходных материалов и т. п., но все же переносить их в ЦОД тоже нецелесообразно.

Аргументы «за»

Какие проблемы и какие положительные эффекты мы получим при размещении систем в ЦОД?

Оценивая, какова будет экономия средств, нужно просчитывать различные варианты с учетом прогнозов развития на три – пять лет. Аргумента, что аренда площади в 200 м 2 в промышленной зоне обойдется дешевле, чем в офисном здании в центре города, недостаточно. Надо учитывать множество аспектов, приводящих к прямым и косвенным затратам.

Бизнес средних предприятий весьма мобилен, и если есть возможность сэкономить на аренде офиса, то компания переезжает. Использование ЦОД избавит от значительной части проблем при открытии, закрытии и переносе офисов.

Отказо- и катастрофоустойчивые системы подразумевают размещение компонентов и резервирование данных как минимум на двух независимых территориально разнесенных площадках. Специализированные ЦОД - идеальный вариант решения проблемы. Но надо помнить, что архитектура системы и телекоммуникации должны поддерживать такой режим работы.

У средних предприятий обычно нет средств для обеспечения непрерывности бизнеса. Их «запас прочности», как правило, невелик, и одного прерывания может оказаться достаточно для полного краха. Поэтому грамотно продуманная архитектура ИТ-систем, включающая вынос критичных для бизнеса систем в ЦОД в сочетании с их построением на основе отказо- и катастрофоустойчивой архитектуры, может существенно повысить устойчивость бизнеса к катастрофам.

В качестве еще одного довода в пользу ЦОД обычно приводят повышение качества ИТ-услуг, но это далеко не всегда так. «Узким местом» становятся (или остаются) телекоммуникации. Время устранения сбоев может как уменьшиться, так и возрасти. Надежность же должна возрасти, по крайней мере теоретически.

Большинство средних предприятий стремится расширять и развивать свой бизнес, не имея при этом возможности долго ждать, пока вложения окупятся. Поэтому сроки реализации ИТ-проектов должны быть максимально сжатыми, а важность вопросов внедрения информационных систем и их последующего масштабирования - повышаться. Аренда ЦОД - хороший способ сократить сроки реализации проекта. Возможность масштабирования зависит от правильности прогноза развития систем автоматизации в компании, корректности его использования при проектировании центра и вдумчивого управления построенными мощностями. В случае же аутсорсинга под новые задачи можно арендовать мощности в любом коммерческом ЦОД.

Подводные камни

Как правило, ЦОД строят в удалении от центров городской инфраструктуры: дешевле обходится земля, можно найти и переоборудовать подходящее здание, проще решить вопрос с энергоснабжением и т. п. Но при этом возникает другая проблема: коммерческие провайдеры связи не всегда охотно инвестируют средства в прокладку оптики и установку оборудования для подключения центров к своим магистральным сетям. А иногда и владелец ЦОД сознательно ограничивает присутствие сторонних провайдеров. В результате клиенту коммерческого ЦОД надо быть готовым к разного рода неожиданностям. Дополнительные расходы на аренду «последних миль», ограничения по пропускной способности, отсутствие резервирования, дополнительные задержки и точки отказа на оборудовании оператора «последней мили» - вот неполный список потенциальных проблем.

При строительстве же собственного центра вам предстоит определиться, вкладывать ли средства в создание своих собственных «последних миль» до телекоммуникационных узлов или же договориться с коммерческими операторами и арендовать «последние мили» у них (в этом случае вам, скорее всего, придется за три-пять лет оплатить все их вложения).

Безусловно, потребуется обеспечить защиту трафика между офисами. Если система защиты трафика в корпоративной сети построена, то появление ЦОД не создаст особых проблем, хотя в некоторых ситуациях может потребоваться серьезная или даже полная перестройка систем защиты.

Качество работы систем в ЦОД сильно зависит от качества монтажа оборудования. Поэтому большинство провайдеров настаивают на выполнении таких работ силами своего персонала. Обычно некоторый объем работ входит в абонентскую плату, а превышенный объем оплачивается отдельно.

Любая аппаратная комната или ЦОД требуют регулярного технического обслуживания, а раз в три – пять лет - и серьезной модернизации. Появляются новые технологии и стандарты, растет энергопотребление и тепловыделение оборудования, изменяются его габариты, меняются требования к объемам, составу и качеству ИТ-услуг в компании. Поэтому необходимо заранее определиться, будете ли вы решать проблемы по мере их возникновения (со всеми вытекающими рисками), заранее заложите избыточность в свой ЦОД (что потребует обоснования дополнительных инвестиций) или переложите эти проблемы на аутсорсера (хотя так или иначе их решение придется оплатить).

После размещения систем в коммерческом ЦОД возникает серьезная зависимость от провайдера. Смена провайдера - долгая, сложная и дорогая операция, а сбой в системах обеспечения может привести к катастрофическим последствиям. При этом надо четко понимать, что возложить на провайдера всю полноту ответственности невозможно. Можно предусмотреть ответственность за сохранность оборудования, его мониторинг, соблюдение процедур и т. п., но всего не предугадаешь, и всегда будет сохраняться проблема контроля. При размещении систем в арендованном ЦОД потребуется существенно нарастить (или создать) систему удаленного управления оборудованием.

Обеспечение безопасности - больная проблема для арендуемого ЦОД, которую каждый решает по своему: ставят перегородки, запирают монтажные шкафы и устанавливают на них датчики открытия, используют дополнительные системы видеонаблюдения и т. п.

Нужно быть готовым и к тому, что при размещении систем в арендованном центре менеджмент компании потребует застраховать соответствующие активы. Эти расходы надо обязательно учитывать.

Еще одна проблема, которая может встать у вас на пути в прямом смысле слова, - автомобильные пробки. Несложно представить ситуацию, особенно в крупных городах, когда в арендованном ЦОД в 17:00 вышло из строя оборудование, и срочно нужно его ремонтировать. ЦОД, как мы уже выяснили, размещаются далеко от центра города, и специалист по ремонту, нагруженный запасными модулями, несколько часов пробирается по автомобильным пробкам…

Строить или арендовать?

Выделять средства на аренду или строительство ЦОД среднего предприятия скорее всего будет владелец бизнеса, и наиболее убедительным аргументом в пользу того или иного решения будет сравнительный анализ расходов на строительство и аренду, выполненный на основании двух-трех вариантов прогноза потребности компании в ИТ-мощностях сроком на три-пять лет.

Создание специализированной инсорсинговой ИТ-компании и строительство ЦОД позволяют централизовать основные ИТ-мощности и решить множество иных проблем, особенно если компания имеет холдинговую структуру. Появляется возможность управлять мощностями, заранее резервируя их для конкретной задачи или своевременно прогнозируя их отсутствие. При аутсорсинге придется или платить за резервирование (что несколько дешевле, чем арендная плата), или же отказаться от гарантированного выделения требуемых мощностей. Безусловно, собственный ЦОД практически всегда предпочтительнее с точки зрения информационной безопасности.

Использование арендованного ЦОД (а еще лучше - услуг хостинга приложений) поможет минимизировать риски, связанные с развитием бизнеса, опытным внедрением систем и пилотными проектами. В случае неудачи можно просто отказаться от аренды. Аренда - хороший способ в сжатые сроки и без долгосрочных инвестиций решить проблему наращивания мощностей при создании новых систем и расширении существующих, а также снизить стоимость основных средств.

Для обслуживания собственного центра понадобится самый разный персонал общей численностью в несколько десятков человек. Поскольку штат средних компаний обычно ограничен, потребуется привлекать специализированную компанию. А при аренде ЦОД эти проблемы будет решать провайдер.

Кроме того, надо помнить, что доступ персонала в арендованный центр будет ограничен и должен осуществляться по определенному графику. Это надо учитывать при планировании отпусков, оперативных заменах, постоянных и временных перемещениях и т. п.

Арендованный ЦОД может оказаться полезен в кризисных ситуациях, возникающих в бизнесе, например при хорошо организованной попытке рейдерского захвата. Если ваши системы обработки и хранения данных размещены у провайдера, то заинтересованным сторонам потребуется сначала получить соответствующую информацию, необходимые санкции и только после этого произвести изъятие ваших систем. Таким образом, у вас появится время на подготовку.

- У вас есть ЦОД?
- Да, строим на 100 стоек.
- А мы строим на 200.
- А мы на 400 с независимой газовой электростанцией.
- А мы на 500 с водяным охлаждением и возможностью отводить до 10 кВт тепла с одной стойки.
- А мы наблюдаем за рынком и удивляемся.

Ситуация на московском (да и российском в целом) рынке ЦОД еще два года назад выглядела плачевно. Тотальная нехватка дата-центров как таковых и мест в уже существовавших центрах привела к тому, что стойка на 3-4 кВт, стоившая в 2004-2005 гг. около 700 у.е., в 2007-м стала стоить 1500-2000 у.е. Стараясь удовлетворить растущий спрос, многие операторы и системные интеграторы организовали «стройки века» с целью создания самых лучших и самых больших ЦОД. Эти прекрасные стремления привели к тому, что на текущий момент в Москве есть около 10 дата-центров в стадии открытия и первичного заполнения, и еще несколько находится в проекте. Компании «Теленет», i-Teco, Dataline, «Хостеров», «Агава», «Мастерхост», Oversun, «Синтерра» и целый ряд других открыли собственные дата-центры на рубеже 2008 и 2009 гг.

Желание вкладывать деньги в масштабные телекоммуникационные проекты объяснялось не только данью моде, но и рядом экономических причин. Для многих компаний строительство собственного ЦОД было мерой вынужденной: стимулом к этому, в частности, для хостинг-провайдеров или крупных Интернет-ресурсов стали постоянно растущие расходы на инфраструктуру. Однако не все компании правильно рассчитали свои силы; например, дата-центр одного крупного хостинг-провайдера превратился в долгострой, который ведется уже два года. Другой хостинг-провайдер, построивший дата-центр за МКАД, вот уже полгода старается распродать его хоть каким-нибудь крупным клиентам.

Инвестиционные проекты, запущенные в разгар кризиса, тоже не могут похвастаться стабильным притоком клиентов. Сплошь и рядом стоимость за стойку, заложенная в бизнес-плане на уровне 2000 у.е., в нынешних экономических условиях снижается до 1500-1400 у.е., на годы откладывая выход проекта на самоокупаемость.

Остались нереализованными несколько грандиозных проектов строительства дата-центров на тысячи стоек с газовыми электростанциями за МКАД. Один из таких проектов, в частности, был «похоронен» оператором фиксированной связи (в связи с поглощением компании более крупным игроком).

Таким образом, на сегодняшний день окупились только те дата-центры, которые были построены больше трех лет назад и заполнение которых пришлось как раз на дефицитные 2004-2007 гг. В кризис же - в условиях избытка свободных площадей в дата-центрах - постройка все новых и новых ЦОД, казалось бы, выглядит сущим безумием.

Однако не все так плохо: даже в условиях кризиса, при соблюдении определенных условий, можно и нужно создавать собственный ЦОД. Главное - понять ряд нюансов.

Что заставляет компанию создавать собственный ЦОД

Мотив один - безопасность бизнеса и минимизация рисков. Риски же таковы. Во-первых, класс коммерческих ЦОД в Москве соответствует 1-2 уровню, что означает перманентные проблемы с электропитанием и охлаждением. Во-вторых, коммерческие ЦОД категорически не согласны покрывать убытки от простоя и недополученную выгоду. Уточните максимальный размер штрафа или неустойки, на который вы можете рассчитывать в случае простоя, - он, как правило, не превышает 1/30 от арендной платы за день простоя.

И в третьих, вы не в состоянии контролировать реальное положение дел в коммерческом ЦОД:

• это коммерческая организация, которая должна извлекать прибыль из своей деятельности и порой экономит даже в ущерб качеству своих услуг;
• вы принимаете на себя все риски сторонней компании, например - отключение питания (пусть и кратковременное) за непогашенную задолженность;
• коммерческий ЦОД может расторгнуть договор с вами в любое время.

Экономика ЦОД

Очень важно заранее, правильно и полностью оценить затраты на строительство и эксплуатацию, а для этого необходимо определить класс ЦОД, который вы будете строить. Ниже приведена ориентировочная стоимость строительства площадки «под ключ» на 5 кВт стойку (без учета стоимости электричества).

Уровень 1	От 620 т.р.
Уровень 2	От 810 т.р.
Уровень 3	От 1300 т.р
Уровень 4	От 1800 т.р.

Стоимость эксплуатации ЦОД зависит от множества факторов. Перечислим основные.

1. Стоимость электричества = количество потребляемой электроэнергии + 30% на отвод тепла + потери при передаче и преобразовании (от 2 до 8%). И это при условии выполнения всех мер по снижению затрат - таких, как сокращение потерь и пропорциональное охлаждение (что в некоторых случаях, увы, невозможно).
2. Стоимость аренды помещения - от 10 тыс. рублей за кв. м.
3. Стоимость обслуживания систем кондиционирования - приблизительно 15-20% от стоимости системы кондиционирования в год.
4. Стоимость обслуживания энергосистем (ИБП, ДГУ) - от 5 до 9% от стоимости.
5. Аренда каналов связи.
6. ФОТ службы эксплуатации.

Из чего состоит ЦОД

Существует целый ряд формализованных требований и стандартов, которые должны быть соблюдены при строительстве ЦОД: ведь надежность его работы критически важна.

В настоящий момент широко используется международная классификация уровней (от 1 до 4) готовности (надежности) ЦОД ()см. таблицу). Каждый уровень предполагает определенную степень доступности сервисов ЦОД, которая обеспечивается различными подходами к резервированию питания, охлаждения и канальной инфраструктуры. Самый низкий (первый) уровень предполагает доступность 99,671% времени в год (или возможность 28 ч простоя), а самый высокий (четвертый) уровень - доступность 99,995%, т.е. не более 25 мин простоя в год.

Параметры уровней надежности ЦОД

	Уровень 1	Уровень 2	Уровень 3	Уровень 4
Пути охлаждения и ввода электричества	Один	Один	Один активный и один резервный	Два активных
Резервирование компонентов	N	N+1	N+1	2*(N+1)
Деление на несколько автономных блоков	Нет	Нет	Нет	Да
Возможность горячей замены	Нет	Нет	Да	Да
Здание	Часть или этаж	Часть или этаж	Отдельно стоящее	Отдельно стоящее
Персонал	Нет	Не менее одного инженера в смене	Не менее двух инженеров в смене	Более двух инженеров, 24-часовое дежурство
100	100	90	90
Вспомогательные площади, %	20	30	80-90	100+
Высота фальш- пола, см	40	60	100-120	600	800	1200	1200
Электричество	208-480 В	208-480 В	12-15 кВ	12-15 кВ
Число точек отказа	Много + ошибки оператора	Много + ошибки оператора	Мало + ошибки оператора	Нет + ошибки оператора
Допустимое время простоя в год, ч	28,8	22	1,6	0,4
Время на создание инфраструктуры, мес.	3	3-6	15-20	15-20
Год создания первого ЦОД подобного класса	1965	1975	1980	1995

Данная классификация по уровням была предложена Кеном Бриллом (Ken Brill) еще в 1990-х гг. Считается, что первый ЦОД самого высокого уровня готовности был построен в 1995 г. компанией IBM для UPS в рамках проекта Windward.

В США и Европе существует определенный набор требований и стандартов, регламентирующих постройку ЦОД. Например, американский стандарт TIA-942 и его европейский аналог -EN 50173−5 фиксируют следующие требования:

• к месту расположения дата-центра и его структуре;
• к кабельной инфраструктуре;
• к надежности, специфицированные по уровням инфраструктуры;
• к внешней среде.

В России на текущий момент не разработано актуальных требований к организации ЦОД, поэтому можно считать, что они задаются стандартами на строительство машинных залов и СНиПами на строительство технологических помещений, большинство положений которых были написаны еще в конце 1980-х гг.

Итак, остановимся на трех «китах» строительства ЦОД, которые являются наиболее значимыми.

Питание

Как построить надежную и стабильную систему электроснабжения, избежать в дальнейшем сбоев в работе и не допустить простоев оборудования? Задача не из простых, требующая тщательного и скрупулезного изучения.

Основные ошибки обычно допускают еще на этапе проектирования систем электропитания ЦОД. Они (в перспективе) могут вызвать отказ системы электроснабжения по следующим причинам:

• перегрузка линий электропитания, как следствие - выход из строя электрооборудования и санкции энергонадзорных органов за превышение лимита потребления;
• серьезные энергопотери, что снижает экономическую эффективность ЦОД;
• ограничения в маcштабируемости и гибкости систем электропитании, связанные с нагрузочной способностью линий электропередач и электрооборудования.

Система электропитания в дата-центре должна соответствовать современным потребностям технических площадок. В классификации ЦОД, предложенной Кеном Бриллом, применительно к электропитанию эти требования будут выглядеть следующим образом:

• Уровень 1 — достаточно обеспечить защиту от скачков тока и стабилизацию напряжения, это решается установкой фильтров (без установки ИБП);
• Уровень 2 — требует установки ИБП с байпасом с резервированием N+1;
• Уровень 3 — необходимы параллельно работающие ИБП, с резервированием N+1;
• Уровень 4 — системы ИБП, с резервированием 2 (N+1).

Сегодня на рынке чаще всего можно встретить ЦОД с электропитанием второго уровня, реже - третьего (но в этом случае стоимость размещения обычно резко возрастает, причем далеко не всегда обоснованно).

По нашим оценкам, дата-центр с полным резервированием обычно обходится в 2,5 раза дороже простого ЦОД, поэтому крайне важно еще на уровне предпроектной подготовки определиться, какой категории должна соответствовать площадка. Как недооценка, так и переоценка важности параметра допустимого времени простоя одинаково негативно сказываются на бюджете компании. Ведь финансовые потери возможны в обоих случаях - либо из-за простоя и сбоев в работе критически важных систем, либо из-за выбрасывания денег на ветер.

Очень важно также проследить, как будет вестись учет потребления электричества.

Охлаждение

Правильно организованный отвод тепла - не менее сложная и важная задача. Очень часто берется общее тепловыделение зала и уже исходя из этого рассчитывается мощность претензионных кондиционеров и их количество. Такой подход, хотя он и очень часто встречается, нельзя назвать правильным, так как он ведет к дополнительным издержкам и потерям в эффективности систем охлаждения. Ошибки в расчетах систем охлаждения - самые распространенные, и свидетельство тому - служба эксплуатации почти каждого ЦОД в Москве, поливающая жарким летним днем теплообменники из пожарных шлангов.

На качество отвода тепла влияют следующие моменты.

Архитектурные особенности здания. К сожалению, не все здания имеют правильную прямоугольную форму с постоянной высотой потолков. Перепады высоты, стены и перегородки, конструктивные особенности строения и воздействие солнечной радиации - все это может привести к дополнительным трудностям при охлаждении отдельных участков ЦОД. Поэтому расчет систем охлаждения должен вестись с учетом особенностей помещения.

Высота потолков и фальшпола. Здесь все очень просто: если высотой фальшпола дело не испортишь, то слишком высокие потолки ведут к застою горячего воздуха (следовательно, его надо отводить дополнительными средствами), а слишком низкие потолки затрудняют движение горячего воздуха к кондиционеру. В случае же низкого фальшпола (> 500 мм) резко падает эффективность охлаждения.

Показатели температуры и влажности воздуха в ЦОД. Как правило, для нормальной работы оборудования требуется соблюдать температурный режим в диапазоне 18-25 градусов Цельсия и относительную влажность воздуха от 45 до 60%. В этом случае вы обезопасите свое оборудование от остановки по причине переохлаждения, выхода из строя в случае выпадения конденсата при высокой влажности, статического электричества (в случае с низкой влажностью) или из-за перегрева.

Каналы связи

Казалось бы, такая «незначительная» составляющая, как каналы связи, не может вызывать никаких затруднений. Именно поэтому на нее и не обращают должного внимания ни те, кто арендует ЦОД, ни те, кто его строит. Но что толку от безупречной и бесперебойной работы ЦОД, если оборудование недоступно, т.е. его фактически нет? Обязательно обратите внимание: ВОЛС должны полностью дублироваться, причем многократно. Под «дублируются» имеется в виду не только наличие двух волоконно-оптических кабелей от разных операторов, но и то, что они не должны лежать в одном коллекторе.

Важно понимать, что действительно развитая коммуникационная инфраструктура требует значительных разовых затрат и отнюдь не дешева в эксплуатации. Следует расценивать ее как одну из весьма ощутимых составляющих стоимости ЦОД.

Собственный ЦОД на «раз-два-три»

Здесь стоит сделать небольшое отступление и рассказать об альтернативном методе создания собственного ЦОД. Речь идет о BlackBox - мобильном центре обработки данных, встроенном в транспортный контейнер. Проще говоря, BlackBox - это дата-центр, размещенный не в отдельной комнате внутри помещения, а в неком подобии автотрейлера (см. рисунок).

BlackBox можно привести в полностью рабочее состояние за месяц, т.е. в 6-8 раз быстрее, чем традиционные ЦОД. При этом не нужно приспосабливать под BlackBox инфраструктуру здания компании (создавать под него особую систему противопожарной безопасности, охлаждения, охраны и т.п.). А самое главное - для него не требуется отдельного помещения (можно разместить его на крыше, во дворе…). Все, что действительно необходимо - организовать подачу воды для охлаждения, систему бесперебойного электропитания и наладить подключение к Интернету.

Стоимость собственно BlackBox — около полумиллиона долларов. И тут надо отметить, что BlackBox - это полностью сконфигурированный (однако с возможностью кастомизации) виртуализационный центр обработки данных, размещенный в стандартном транспортном контейнере.

Две компании уже получили этот контейнер для предварительного тестирования. Это Linear Accelerator Center (Стэнфорд, США) и... российская компания «Мобильные ТелеСистемы». Самое интересное, что МТС запустила BlackBox быстрее, чем американцы.

В целом BlackBox производит впечатление очень хорошо продуманной и надежной конструкции, хотя, конечно, стоит упомянуть и ее недостатки.

Необходим внешний источник энергии минимум в 300 Вт. Здесь мы упираемся в строительство или реконструкцию ТП, монтаж ГРЩ, прокладку кабельной трассы. Это не так просто - проектные работы, согласование и утверждение проекта во всех инстанциях, монтаж оборудования…

ИБП в комплект поставки не входят. Опять упираемся в проектные работы, выбор поставщика, оборудование помещения под монтаж ИБП с климатической установкой (батареи очень капризны к температурному режиму).

Потребуется также покупка и монтаж ДГУ. Без него не решить проблему с резервированием, а это еще один круг согласований и разрешений (средний срок поставки таких агрегатов - от 6 до 8 месяцев).

Охлаждение - необходим внешний источник холодной воды. Придется спроектировать, заказать, дождаться, смонтировать и запустить систему чиллеров с резервированием.

Резюме: вы по сути построите небольшой дата-центр в течение полугода, но вместо ангара (помещения) купите контейнер с серверами, причем сбалансированный и серьезно продуманный до мелочей, с комплектом удобных опций и ПО для управления всем этим хозяйством, и смонтируете его за месяц.

Чем больше ЦОД, тем..?

На текущий момент самый большой ЦОД, о котором есть информация в открытых источниках, - объект Microsoft в Ирландии, в который корпорация планирует инвестировать более 500 млн долл. Специалисты утверждают, что эти деньги будут потрачены на создание первого в Европе вычислительного центра для поддержки различных сетевых сервисов и приложений Microsoft.

Строительство в Дублине конструкции общей площадью 51,09 тыс. кв. м, на территории которой разместятся десятки тысяч серверов, началось в августе 2007 г. и должно завершиться (по прогнозам самой компании) в середине 2009 г.

К сожалению, имеющаяся информация о проекте мало что дает, ведь важна не площадь, а энергопотребление. Исходя из этого параметра, мы предлагаем классифицировать ЦОД следующим образом.

• «Домашний ЦОД» - ЦОД уровня предприятия, которому требуются серьезные вычислительные мощности. Мощность - до 100 кВт, что позволяет разместить в нем до 400 серверов.
• «Коммерческий ЦОД». К этому классу относятся операторские ЦОД, стойки в которых сдаются в аренду. Мощность - до 1500 кВт. Вмещает до 6500 серверов.
• «Интернет-ЦОД» - ЦОД для Интернет-компании. Мощность - от 1,5 МВт, вмещает 6500 серверов и более.

Возьму на себя смелость предположить, что при строительстве ЦОД мощностью более 15 МВт неотвратимо возникнет «эффект масштаба». Ошибка на 1,5-2 кВт в «семейном» ЦОД на 40 кВт, скорее всего, останется незамеченной. Ошибка размером в мегаватт будет фатальной для бизнеса.

Кроме того, можно с полным основанием предположить в этой ситуации действие закона убывающей отдачи (как следствие эффекта масштаба). Он проявляется в необходимости совмещения больших площадей, огромной электрической мощности, близости к основным транспортным магистралям и прокладки железнодорожных путей (это будет экономически целесообразней, чем доставка огромного количества грузов автотранспортом). Стоимость освоения всего этого в пересчете на 1 стойку или юнит будет серьезно выше среднего по следующим причинам: во-первых, отсутствием подведенной мощности в 10 МВт и более в одной точке (придется искусственно выращивать такой «алмаз»); во-вторых, необходимостью строить здание или группу зданий, достаточных для размещения ЦОД.

Но если вдруг удалось найти мощность, скажем, около 5 МВт (а это уже большое везение), с двумя резервируемыми вводами от разных подстанций в здание, которое имеет правильную прямоугольную форму с высотой потолков 5 м и общей площадью 3,5 тыс. кв. м, да еще и в нем нет перепадов высоты, стен и перегородок, а рядом есть около 500 кв. м прилегающей территории… Тогда, конечно, возможно достичь минимальной себестоимости за одну стойку, которых будет примерно 650.

Цифры здесь названы из расчета потребления 5 КВт на стойку, что является на сегодняшний день стандартом «де факто», так как увеличение потребления в стойке неотвратимо приведет к сложностям с отводом тепла, а как следствие - к серьезному увеличению себестоимости решения. Равно как и уменьшение потребления не принесет необходимой экономии, а лишь увеличит арендную составляющую и потребует освоения больших площадей, чем это на самом деле требуется (что тоже печально скажется на бюджете проекта).

Но не нужно забывать, что главное - это соответствие ЦОД поставленным задачам. В каждом отдельном случае необходимо искать баланс, опираясь на те вводные данные, которые мы имеем. Другими словами, придется искать компромисс между удаленностью от основных магистралей и наличием свободной электрической мощности, высотой потолка и площадью помещения, полным резервированием и бюджетом проекта.

Где строить?

Считается, что ЦОД должен размещаться в отдельно стоящем здании, как правило, без окон, оснащенном самыми современными системами видеонаблюдения и контроля доступа. К зданию должно быть подведено два независимых электрических ввода (от двух разных подстанций). Если ЦОД имеет несколько этажей, то перекрытия должны выдерживать высокие нагрузки (от 1000 кг на кв. м). Внутренняя часть должна быть разделена на герметичные отсеки с собственным микроклиматом (температурой 18-25 градусов Цельсия и влажностью 45-60%). Охлаждение серверного оборудования должно обеспечиваться с помощью прецизионных систем кондиционирования, а резервирование питания - как устройствами бесперебойного питания, так и дизель-генераторными установками, которые обычно находятся рядом со зданием и обеспечивают в случае аварии функционирование всех электрических систем ЦОД.

Особое внимание следует уделить системе автоматического пожаротушения, которая обязана, с одной стороны, исключать ложные срабатывания, а с другой - реагировать на малейшие признаки задымления или появления открытого пламени. Серьезный шаг вперед в области пожаробезопасности ЦОД - применение азотных систем пожаротушения и создания пожаробезопасной атмосферы.

Сетевая инфраструктура также должна предусматривать максимальное резервирование всех критически важных узлов.

Как экономить?

Можно начать экономить с качества питания в ЦОД и закончить экономией на отделочных материалах. Но если вы строите такой «бюджетный» ЦОД, это выглядит по крайней мере странно. Какой смысл инвестировать в рискованный проект и ставить под угрозу ядро своего бизнеса?! Одним словом, экономия требует очень взвешенного подхода.

Тем не менее есть несколько весьма затратных статей бюджета, которые оптимизировать не только можно, но и нужно.

1. Телекоммуникационные шкафы (стойки). Устанавливать в ЦОД шкафы, т. е. стойки, где каждая имеет боковые стенки плюс заднюю и переднюю дверь, не имеет никакого смысла по трем причинам:

• стоимость может отличаться на порядок;
• нагрузка на перекрытия выше в среднем на 25-30%;
• охлаждающая способность ниже (даже с учетом установки перфорированных дверей).

2. СКС. Опять-таки нет никакого смысла опутывать весь ЦОД оптическими патчкордами и приобретать самые дорогие и мощные коммутаторы, если вы не намерены устанавливать оборудование во все стойки разом. В среднем срок заполняемости коммерческого ЦОД - полтора-два года. При текущих темпах развития микроэлектроники это целая эпоха. Да и всю разводку так или иначе придется переделывать - либо не рассчитаете требуемого объема портов, либо в процессе эксплуатации линии связи будут повреждены.

Ни в коем случае не стройте «медный» кросс в одном месте - разоритесь на кабеле. Намного дешевле и грамотней ставить рядом с каждым рядом телекоммуникационную стойку и разводить от нее на каждую стойку по 1-2 патч-панели медью. Если необходимо будет подключить стойку, то пробросить оптический патч-корд до нужного ряда - минутное дело. При этом еще и не понадобятся серьезные инвестиции на начальном этапе; наконец, попутно будет обеспечена необходимая маштабируемость.

3. Питание. Да, не поверите, но в питании ЦОД самое важное - КПД. Тщательно выбирайте электрооборудование и системы бесперебойного питания! От 5 до 12% стоимости владения ЦОД можно сэкономить на минимизации потерь, таких как потери на преобразовании (2-8%) в ИБП (у старых поколений ИБП КПД ниже) и потери при сглаживании гармонических искажений фильтром гармоник (4–8%). Уменьшить потери можно за счет установки «компенсаторов реактивной мощности» и за счет сокращения длины силовой кабельной трассы.

Заключение

Какие же выводы можно сделать? Как выбрать из всего многообразия то решение, которое подходит именно вам? Это, безусловно, сложный и нетривиальный вопрос. Повторимся: в каждом конкретном случае необходимо тщательно взвешивать все «за» и «против», избегая бессмысленных компромиссов, - учитесь правильно оценивать собственные риски.

С одной стороны, при сокращении издержек одним из вариантов экономии может стать аутсорсинг ИТ-услуг. В этом случае оптимально использование коммерческих ЦОД, с получением полного комплекса телекоммуникационных сервисов при отсутствии инвестиций в строительство. Однако для больших профильных компаний и банковского сектора с наступлением периода нестабильности и замораживания строительства коммерческих ЦОД остро встает вопрос о строительстве собственного дата-центра…

С другой стороны, кризисные явления, которые мы наблюдаем в течение последнего года, печально сказались на экономике в целом, но в то же время служат акселератором для развития более успешных компаний. Арендная плата за помещения серьезно уменьшилась. Спад ажиотажа вокруг электрических мощностей освободил место более эффективным потребителям. Производители оборудования готовы на беспрецедентные скидки, а рабочая сила упала в цене более чем на треть.

Одним словом, если вы планировали строить свой собственный дата-центр, то сейчас, на наш взгляд, самое время.