List of Tier-Certified Data Centers | Issued Awards

Российская сертификация цод. начало

В сентябре 2020 г. Ассоциация участников отрасли ЦОД одобрила концепцию создания российской системы сертификации ЦОД, которая получила рабочее наименование «РосЦОД». В организационной структуре «РосЦОД» самой Ассоциации отведена роль держателя системы сертификации и органа аккредитации независимых компаний-аудиторов, которые будут заниматься непосредственной сертификацией.

На первом этапе сертификация будет добровольной, однако в дальнейшем нельзя исключать, что ее использование будет регламентировано на государственном уровне, утверждает Заурбек Алехин, руководитель ТК-120, технического комитета при Росстандарте, который был образован Ассоциацией для разработки стандартов создания центров обработки данных.

Сертификация будет реализована на основе отечественной модели классификации дата-центров, проект который был разработан в рамках нацпрограммы «Цифровая экономика» в 2021 г. По данным CNews, всего рассматривалось три модели классификации, а финальный проект, принятый в начале 2021 г., был согласован с ФСТЭК, ФСБ и Банком России.

Согласно этому документу ЦОД предлагается оценивать по 30 показателям, включая параметры надежности, физической, информационной и пожарной безопасности, доступности услуг информационных систем. Каждый из показателей оценивается по пятибалльной шкале:

от A (наивысший балл) до E (минимальный). Впрочем, в дальнейшем система показателей может быть упрощена, сообщил CNews директор
по стратегии и маркетинговым
коммуникациям «Ростелеком-ЦОД» Видия Железнов, участвовавший в согласовании документа.

Также отечественная система сертификации будет опираться на систему стандартов, прошедших официальную регистрацию в Росстандарте. Их разработкой занимается вышеупомянутый ТК 120. В настоящий момент уже прошли регистрацию два стандарта: в декабре 2021 г.

Росстандарт утвердил ГОСТ Р 58811-2020 (стадии
создания инженерных систем ЦОД) и ГОСТ Р 58812-2020 (операционная
модель эксплуатации инженерных систем
ЦОД), а с 1 августа 2020 г. эти два стандарта были введены в эксплуатацию.

Первый
стандарт определяет последовательность
этапов при создании инженерной
инфраструктуры (от предпроектного
обследования до приемочных испытаний
и ввода в эксплуатацию). Второй стандарт
описывает общие требования к процессам
эксплуатации ЦОД, организационным
решениям для службы эксплуатации и
ресурсному обеспечению.В
2021 г. планируется зарегистрировать еще
три стандарта, которые будут определять
требования к оформлению технической
документации.

Таким образом, собственно технические требования к дата-центрам пока не были сформулированы. Дмитрий Басистый, ответственный секретарь ТК 120 и один из разработчиков отечественных стандартов, сообщил CNews, что сначала нужно создать документы, формирующие «процессный базис», а появление собственно технических стандартов можно ожидать в 2022 г.

Почему стоит размещать оборудование в сертифицированном дата-центре tier iii?

Для решения большинства задач — это единственный вариант, при котором не нужно искать какие-то компромиссы.

Сертификаты международного института Uptime Institute невозможно купить. Все используемые технологии и решения сертифицированы, это гарантирует максимальную отказоустойчивость ЦОД для обеспечения непрерывности бизнеса клиентов. Все это обуславливает гарантированную доступность ресурсов и является страховкой от возникновения неожиданных ситуаций.

В конечном итоге стоимость размещения оборудования в дата-центре такой такого уровня может быть несколько выше. За что платит пользователь?

Стоимость обусловлена не просто так, пользователь платит не за «статус», а за уверенность в доступности ресурсов, подтвержденную профессионалами.

Tia vs uptime

TIA 942 — Telecommunications Industry Association — Telecommunications Infrastructure Standard for Data Centers:

Uptime Institute — Tier Classifications Define Site Infrastructure Performance

• Этот документ не стандарт, а скорее методология, разработанная специально для нормирования отказоустойчивости ЦОД. Например, телекоммуникационная инфраструктура практически не рассматривается.
• Носит обязательный характер (если вы хотите получить сертификат, конечно).
• Нет пошаговых инструкций (они быстро устаревают), но есть сформулированные основные принципы проектирования и подходы. «Делай по таким принципам и получишь отказоустойчивый объект».
• Сертификация осуществляется только самим Uptime Institute.
• Сертифицируется как проект, так и полученный результат (запущенная площадка).
• Проверяется, что именно получилось в результате — без особого акцента на том, как был этот результат достигнут, то есть допускается гибкость в плане проектирования в конкретной ситуации (если это играет на результат).
• Сначала сертифицируется проект (Tier Certification of Design Documents), потом готовая площадка (Tier Certification of Constructed Facility), а потом регулярно, с периодичностью, например, раз в год, три или пять уже сама эксплуатация (Operational Sustainability Certification) на предмет её соответствия стандарту. Последнее сделано для оценки эксплуатации, наблюдения за ресурсом оборудования и другими вещами, меняющимися в процессе.

При этом именно классификация уровней в TIA 942 предложена как раз Uptime Institute, и по сути своей они весьма схожи. При этом кардинально разнятся принципы оценки. Ещё раз: TIA говорит «Делай точно как написано, и всё будет ОК», Uptime Institute говорит «У тебя должно быть всё ОК любыми методами, в соответствии с заданными принципами, а потом мы проверим что оно работает».

Tier iv — максимальная отказоустойчивость

• Допустимое время простоя за год – 26 минут
• Показатель доступности – 99,995%
• Резервирование – дублированное (2(N 1))
• Уровень надежности – максимальный

Дата-центры Tier IV построены на инфраструктуре предшествующего уровня с добавлением концепции максимальной отказоустойчивости (Fault Tolerance). Это позволяет минимизировать любые простои в предоставлении услуг, будь то плановые работы или аварийный ремонт. На сегодняшний день это наивысший уровень надежности для центров обработки данных по классификации Uptime Institute.

Tier 4 включает в себя требования всех предыдущих стандартов. Главная отличительная черта ЦОД IV заключается в полном многоуровневом резервировании компонентов инфраструктуры. Все инженерные системы объекта резервируются по схеме 2 (N 1). Это означает, что помимо основной системы ЦОД, дублируются и все дополнительные по схеме N 1.

Кроме того, в инфраструктуре применяется секционирование, при котором основные и резервные компоненты системы распределены по разным помещениям. Секционирование делает компоненты независимыми друг от друга, что повышает эксплуатационную надежность дата-центра при выходе одного из них (либо самого помещения) из строя. Объект 4 уровня должен использовать данный подход для организации всех критических систем ЦОД.

Дизель-роторные ибп

Традиционно при исчезновении напряжения городской сети батареи ИБП должны поддерживать питание оборудования до полного запуска ДГУ, который сможет обеспечить электроэнергией весь ЦОД. Этот процесс обычно занимает от 20-30 секунд до 2 минут, на которые и рассчитывают мощность ИБП и емкость батарей.

В ЦОД DataPro при его масштабе используется другой, более экономичный подход. Основными компонентами инфраструктуры ЦОД DataPro стали решения электроснабжения на дизель-роторных ИБП производства Hitec Power Protection (в настоящее время четыре агрегата)

По сути, дизель-роторный или динамический ИБП (DRUPS) данных производителей — это собранные соосно на одном валу дизельный двигатель, электромагнитная муфта сцепления, синхронная электрическая машина и динамический маховик. Развязывающий дроссель соединяет вход сетевого напряжения с выходом «чистого» напряжения системы ИБП. Он обеспечивает высокую степень развязки между входом и выходом, блокируя прохождение гармоник и переходные процессы.

При наличии внешнего электропитания синхронная электрическая машина ИБП работает в режиме электродвигателя, вращая ротор маховика. При выходе параметров сети за установленные пределы она переходит в режим генератора, поддерживая непрерывное синусоидальное напряжение на нагрузке.

Источником энергии во время переходного процесса является маховик, благодаря которому сохраняется устойчивая частота вращения вала ротора синхронной электрической машины. Маховик держит обороты до одной минуты при полной электрической нагрузке без дизеля.

После пропадания напряжения в сети система управления DRUPS подает сигнал на запуск дизельного двигателя. Кинетическая энергия маховика кроме поддержания выходного напряжения используется для вывода на рабочую частоту вращения коленчатого вала дизеля.

Автономное электропитание объекта в случае нарушения питания от подстанции обеспечивают дизель-роторные ИБП Hitec Power Protection по 1670 кВА со схемой резервирования 4/3N. И никаких аккумуляторов для питания ИТ-нагрузки.Кабели электропитания и воздуховод системы вентиляции.

Раз в месяц производится запуск дизелей для проверки их работоспособности. Расчетный запас дизельного топлива в хранилище — 17 часов, с учетом неполной нагрузки машзалов это время значительно больше — до 60 часов. Далее топливо будет подводиться из Москвы и при необходимости из Рязани. С его поставщиками у DataPro заключены соответствующие контракты.

Для хранения топлива используются две емкости по 60 т, каждая из них заполнена наполовину. Это также сделано для резервирования: на случай аварии или ремонта топливопроводов и помп.

Голландская компания Hitec Power Protection — один из ведущих производителей решений бесперебойного питания на основе дизель-роторных ИБП. Именно она первой запатентовала идею ИБП с маховиком. Сейчас под защитой динамических ИБП Hitec Power Protection по всему миру находится парк оборудования общей мощностью более 1,6 млн кВА.

В российских дата-центрах DRUPS — пока что редкость, однако в мире системы на основе дизель-роторных ИБП благодаря своей простоте, надежности и энергоэффективности считаются хорошим решением для электроснабжения ЦОД большой мощности (от 1 МВт). А относительно малое количество компонентов и простота конструкции существенно повышают среднее время безотказной этого оборудования.

Установка Hitec включает в себя: (1) дизельный двигатель, (2) обгонную муфту, (3) генератор, (4) накопитель энергии, (5) маховик. DRUPS Hitec оптимизированы по энергоэффективности, а заявленный КПД «вход-выход» у них составляет 97%.

Высокая энергоэффективность динамических ИБП достигается благодаря отсутствию необходимости в многократном преобразовании напряжения — выпрямители, инверторы и прочее. Отпадает и необходимость в дорогостоящих и опасных аккумуляторных батареях, а значит, и в специальном помещении для их размещения, в организации его кондиционирования и самое главное, в их регулярной замене каждые 3-5 лет.

Дизель-роторные ИБП считаются самым экономичным и энергоэффективным решением для обеспечения бесперебойного и гарантированного электроснабжения крупных ЦОД. До недавнего времени, по данным исследовательской компании Frost & Sullivan, роторные ИБП занимали не более 6% мирового рынка ИБП. Однако по прогнозам их доля должна существенно возрасти по мере увеличения размера ЦОД.

Отличительные особенности DRUPS.

Для дизель-роторного ИБП требуется в среднем на 40–60% меньше площади, чем аналогичным по характеристикам традиционным статическим ИБП с учетом ДГУ. Используется один блок DRUPS вместо системы из резервных ДГУ, статических ИБП, батарейных кабинетов, распределительных щитов, системы кондиционирования и пр. Площадь ЦОД используется оптимальным образом.

Благодаря DRUPS практически все проблемы с качеством питания находятся под контролем. Установка обеспечивает фильтрацию всех помех сети и нагрузки, питает ёмкостные и индуктивные нагрузки, при этом коэффициент мощности равен 0,98.

Электрическое питание из городской сети, проходя через дроссель, питает синхронный мотор-генератор. Вал генератора переменного тока вращается со скоростью 1500 об/мин. В обычном режиме работы синхронный генератор выполняет функцию стабилизатора и фильтра напряжения: устраняет гармонические искажения и перебои в питании, импульсные помехи, нивелирует скачки и провалы напряжения. Благодаря ему частота и амплитуда выходного напряжения, подаваемого на нагрузку, неизменно стабильны.

В отличие от статических ИБП, DRUPS оптимально использовать для электропитания кондиционеров, компрессоры которых характеризуются очень высокими стартовыми токами. DRUPS позволяют сократить инвестиции в систему кондиционирования, поскольку не требуют жесткого контроля микроклимата. Это влияет на сокращение эксплуатационных расходов и конечную стоимость аренды для потребителей.

Дизельный динамический источник бесперебойного питания имеет высокий уровень самодиагностики системы, позволяя своевременно отследить и предупредить неполадки. При выводе в ремонт одного из шести DRUPS ЦОД будет продолжать функционировать в обычном режиме, причем с резервированием.

Нагрузка распределяется между остальными ИБП. Это проверялось даже при имитации полной нагрузки ЦОД. Учитывая неполную нагрузку машзалов (обычно она составляет не более 60% от проектной мощности), два DRUPS будут задействованы на начальном этапе ввода второй очереди ЦОД. Позднее планируется приобрести для второй очереди еще шесть DRUPS.

DataPro размещает проекты от одной стойки, также клиенту следует самостоятельно договариваться о сотрудничестве с операторами связи.
HOSTKEY является официальным розничным партнером DataPro. Если необходимо разместить оборудование, арендовать выделенные сервера или реализовать сложный конвергентный проект под высокий SLA в сертифицированном на Tier III ЦОД DataPro, обращайтесь.

Размещение в наших стойках 1U оборудования (современный сервер с любым блоком питания, не твин) с резервированным выделенным каналом доступа в Интернет 100Мбит/сек стоит 4000 руб. в месяц, включая НДС или всего 40000 руб. в год. Можно арендовать целую стойку, 1/2 или четверть стандартной стойки, в том числе и под пломбу. Мы поможем с установкой, подключением и предварительной настройкой переданного оборудования.

Мы предлагаем для аренды в DataPro любые выделенные серверы Supermicro или HP, дисковые полки HP/Dell и сетевую инфраструктуру (VLAN) от 100Мбит/сек до 10Гбит/сек (включая средства защиты и роутеры) по разумным ценам. Вы можете создать гибридное решение, состоящее из ваших серверов, арендованных серверов и сетевой инфраструктуры. HOSTKEY предоставляет высочайший SLA по обслуживанию собственного оборудования клиентов.

Специально для читателей этой статьи — сошлитесь на нее до конца февраля 2021 года и получите дополнительную скидку 10% на размещение или аренду оборудования в одном из лучших ЦОД Москвы — DataPro.

Для объекта уровня tier iii характерны:

• Наличие дополнительных каналов электропитания по схеме резервирования N 1;
• Использование промышленных систем охлаждения и кондиционирования с резервированием, а также систем контроля ТВР – температурно–влажностностного режима в серверных залах;
• Присутствие ДГУ – дизель–генераторной установки на случай аварий энергосети;
• Наличие нескольких независимых энерговводов; 
• Распределенное резервирование каналов связи;
• Соответствие регламентам и применение инструкций при работе эксплуатационной команды дата-центра;
• Наличие систем противопожарной безопасности: раннего оповещения, противодымной вентиляции, установок газового пожаротушения;
• Использование фальшпола;
• Присутствие промышленных ИБП в машинных залах;
• Возможность проведения технических работ и обслуживания ЦОД без остановки;
• Расположение ЦОД в отдельном здании с огороженной территорией; 
• Уровень безотказной работы Uptime – 99,982% в год.

Благодаря своим свойствам и системам, дата-центры 3 уровня можно рассматривать как всесторонне надежный объект. Большинство онлайн-сервисов, компаний разной величины, государственных структур использует для своей работы именно данный класс дата-центров.

Инфраструктура datapro

В последующих материалах мы подробно расскажем обо всех системах жизнеобеспечения этого ЦОД. А сегодня кратко рассмотрим основные элементы инфраструктуры и подробно поговорим об электроснабжении.

Средний размер машинного зала в ЦОД DataPro — 180 кв. м, он рассчитан примерно на 100 стоек или может быть разделен на несколько выгородок. Всего таких залов сейчас восемь. Здание предусматривает места для размещения технического персонала, для хранения оборудования, погрузки-разгрузки, организации питания.

Для охлаждения серверных залов и вспомогательных технологических помещений ЦОД сейчас применяются 8 установок Ecobreeze производства Schneider Electric. Температурный режим в залах поддерживается на уровне 25°С при влажности 40–60%. Применение этой модульной системы холодоснабжения в сочетании с другими инженерными решениями позволило достичь высокого показателя PUE, итоговое среднегодовое значение которого не превышает 1,3. В следующей статье мы расскажем про Ecobreeze подробнее.

К дата-центру по двум независимым маршрутам проложены ВОЛС, связывающие его со всеми крупнейшими в Москве телекоммуникационными узлами связи и точками обмена трафиком. Политика технологической площадки нейтральна по отношению к операторам связи, поэтому на площадке присутствуют более 10 операторов связи («Гарстелеком», «Мастертел», RETN, «Макомнет», «МТС», Beeline, Orange Business Services и т.п.).

Значительное внимание уделено безопасности: охрана отвечает за безопасности самого ЦОД и прилегающей территории. Система безопасности включает более 350 сетевых видеокамер. В дата-центре предусмотрены также передовые методы предупреждения возгорания: система сверхраннего обнаружения дыма Vesda и система автоматического газового пожаротушения на базе хладона-227.

Какой уровень tier выбрать для своего бизнеса?

Стандарты Tier имеют большое распространение в мире, но далеко не все российские центры обработки данных проходят эту сертификацию. Для относительно небольшого ЦОД расходы на прохождение официальной сертификации достаточно ощутимы, что также сказывается на конечной стоимости предоставляемых услуг.

Тем не менее классификация Tier стала неким эталоном в измерении надежности и эксплуатационных характеристик ЦОД. По этой причине практически все дата-центры, официально не подтвердившие свой стандарт в Uptime Institute, используют сопоставимые классификации Tier для обозначения своего уровня ЦОД.

• Для самых требовательных и критически важных ресурсов лучше выбирать объекты 4 типа. Однако, на данный момент рынок ЦОД Tier 4 в России практически отсутствует.
• Если вам требуется качественные услуги дата-центра, то лучше выбирать центры 3 уровня. Вы получите достойный сервис и высокую надежность услуг.
• Для «домашних» или нетребовательных проектов можно рассматривать уровень Tier 2. В этом случае стоимость услуг будет более привлекательной, но следует быть готовым к возможным простоям. 

При выборе дата-центра в первую очередь следует руководствоваться надежностью инфраструктуры объекта. Обращайте внимание на резервируемые компоненты энергопитания, дублирование каналов связи, многоуровневую физическую безопасность, круглосуточную техническую помощь.

Немного о проекте datapro

ЦОД на Авиамоторной, 69 это второй дата-центр, построенный компанией DataPro, специализирующейся именно на оказании услуг коммерческих ЦОД.

Международная сертификация Uptime Design и Facility означает, что ЦОД спроектирован и построен в соответствии со всеми действующими стандартами для категории надежности Tier III. Следующим уровнем в 2021 г. станет сертификация Uptime Operations, подтверждающая соответствие всех реализуемых в дата-центре процедур и регламентов сформированным требованиям. Максимальное время простоя для ЦОДа такого уровня — 1,6 часов в год.

В 2021 году ЦОД DataPro на Авиамоторной был отмечен наградой как лучший проект года. В сентябре состоялось первое в России вручение наград профессиональной премии в области строительства ЦОД. В конкурсной программе участвовали 19 ЦОД, претендующих на призы в пяти номинациях. Международное жюри признало ЦОД компании DataPro самым масштабным и инновационным и присудило DataPro главную премию

Нужны ли россии свои собственные технические стандарты ?

Так как лучшие мировые практики в области инженерных систем ЦОД уже сформулированы в вышеописанных открытых стандартах (TIA-942, EN 50600, ISO/IEC TS 22237) возникает логичный вопрос, имеет ли смысл с нуля разрабатывать российские аналоги или можно просто адаптировать эти документы под наши реалии?

По второму пути решили пойти, например, в Казахстане, где
был принят свой национальный стандарт,
разработанный на основе
стандарта ANSI/TIA-942-А-2021,
рассказывает Видия
Железнов. По его словам, сходная практика существует и в России по отношению к стандартам ISO, например, под отечественные реалии был «адаптирован» стандарт ISO 50001, описывающий управление энергосистемами.

Стоит учитывать, что международные отраслевые стандарты — это сумма знаний и компетенций тысяч специалистов в области проектирования и эксплуатации дата-центров по всему миру, накопленная за десятки лет их работы. Поэтому, как считает руководитель ЦОД Linxdatacenter в Санкт-Петербурге Тарас Чирков, вероятность найти при создании собственных стандартов какие-то упущения и сделать отечественный стандарт лучше мировых весьма невысока.

С другой стороны, разработка собственного национального стандарта ЦОД не является уникальным прецедентом, так как собственные стандарты действуют параллельно с ISO и Uptime во многих развитых странах, например, в Германии, Южной Корее, Китае. «Подготовка национальных стандартов имеет смысл, так как существует ряд нюансов в области правил эксплуатации оборудования на российском рынке, например, в правилах устройства электроустановок и организации пожарной безопасности», — считает эксперт департамента инфраструктурных решений Softline Петр Царьков.

Кроме того, прямое заимствование международных стандартов нежелательно ввиду проводимой политики импортозамещения. «Перевод международных (например, EN 50600) и иностранных (TIA-942) стандартов на русский язык (точнее — легализация в российской национальной системе стандартизации) — не в приоритете ТК 120 и Ассоциации.

Куда важнее разработка национальных стандартов, которые являются сосредоточием и аккумуляцией опыта российской отрасли ЦОД, который появился в том числе и благодаря практическому использованию упомянутых зарубежных стандартов» — рассказал CNews один
из разработчиков стандартов Дмитрий
Басистый.

Практика

В нашей практике подготовки ЦОДов к сертификации по Uptime всплывало несколько «нежданчиков». Например, когда сертифицировали по Tier III собственный дата-центр – потребовалось довольно специфически организовать управление синхронизацией дизель-генераторов (

) — на деле в России мало кто об этом даже задумывался. Или вот ещё пример «из неожиданного»: при проектировании систем бесперебойного питания обычно смотрят на тип батареи, ёмкость, герметичность, обслуживаемость и так далее — то есть рассматриваются только основные параметры батарей.

На самом деле при проектировании ЦОД следует принимать во внимание и более «тонкие» характеристики. Например у батарей еще и разные кривые разряда (грубо говоря, разная ёмкость при разной скорости разряда) — при частичной нагрузке всё хорошо, но при полной нагрузке система не сможет держать положенное время, ДГУ не успеет выйти на требуемый режим, и произойдет отказ.

А вот пример из практики одного из заказчиков: на бумаге никто не докапывается до состояния дизельного топлива. Грубо говоря, есть генераторы, есть резервные линии доставки топлива, а соляр он и есть соляр, главное, чтобы доливали вовремя. ЦОД может быть оценен как соответствующий требованиям TIA.

Но на практике ДТ в нашей стране обладает парой волшебных свойств, и дизели вполне могут захлебнуться. Это несоответствие проверке на уровне эксплуатации. Грубо говоря, в TIA никогда не возникнет вопрос «а что если в баке вместо ДТ окажется вода?» и «когда вы в последний раз меняли топливо?».

Понятно, всё проверить нельзя. Например, всегда есть человеческий фактор, который создаёт крайне непредсказуемые ситуации. В среде инженеров ходит байка, что ещё в двухтысячных годах в Израиле один из ЦОДов крупной IT-компании остановился благодаря нашему соотечественнику в новый год.

Он отмечал праздник, выпил прямо на смене, потом продолжил. После полуночи питание из города пропало, и врубились дизели (участие человека не требовалось, сработала автоматика). Но герою чем-то очень помешал шум, и он вручную аварийно повырубал все генераторы, чтобы продолжить отдых в комфортной обстановке.

Стандарт де-факто

Сейчас в России чаще всего используется классификация, разработанная частной американской компанией Uptime Institute, согласно которой дата-центры подразделяются на четыре уровня отказоустойчивости (от TIER I — минимальная отказоустойчивость до TIER IV — максимальная).

В качестве стандарта по умолчанию используется уровень TIER III, соответствие которому декларируют даже те ЦОД, которые не прошли формальную процедуру сертификации. К настоящему моменту в России выдано 54 сертификата Uptime, в общей сложности процедуру подтверждения прошли 38 отечественные площадки, среди которых не только коммерческие дата-центры, но также корпоративные и государственные ЦОД (например, Сбербанка или ФНС).

Управляющий директор Uptime Institute в России Алексей Солодовников связывает распространение системы сертификации с количеством опыта, накопленным экспертами Uptime: «За 22 года в системе Uptime Network была собрана информация о более чем 8 тыс. инцидентов, каждый из которых был проанализирован до корневой причины.

Кроме того, особенностью подхода Uptime является подробный аудит, утверждают операторы ЦОД. Нагрузочное тестирование, которое проводится Uptime Institute при сертификации Constructed Facility, позволяет выявить большинство случаев брака в работе инженерных систем, уверяет Сергей Махлин, эксперт по строительству и сертификации ЦОД компании «Крок»:

Технические требования к цод — международный опыт

Следует отметить, что в мире уже действует ряд открытых региональных и национальных стандартов в области строительства и эксплуатации ЦОД. Наиболее известным и старейшим из таких регламентов является TIA-942, который описывает требования к строительству структурированных кабельных сетей (СКС).

Документ разрабатывается Ассоциацией телекоммуникационной отрасли США (Telecommunication Industry Association, TIA), и в качестве приложения также содержит рекомендации по инженерным системам ЦОД, включая электроснабжение. В последние несколько лет также была опубликована серия европейских стандартов EN 50600, которые описывают требования к СКС, системам электроснабжения, информационной безопасности, экологическому контролю, модели эксплуатации. Эти стандарты были разработан организацией CENELEC — European Committee for Electrotechnical Standartization.

Для стандартов EN 50600 и TIA-942 существуют собственные модели сертификации, а непосредственной аттестацией дата-центров на соответствие занимаются сторонние организации, которые получили аккредитацию у разработчиков стандарта. Тем не менее, хотя практики, сформулированные в документах EN и TIA, получили широкое распространение, в мире не так много дата-центров, которые прошли сертификацию на основе данных стандартов.

При подтверждении качества площадки гораздо чаще применяется система стандартов и сертификации, разработанная и реализуемая частной американской компанией Uptime Institute (в данном случае сертификацию проводит сам разработчик методик в лице Uptime).

Сходства и различия разных подходов к сертификации на примере требований к системам электроснабжения

Стандарты EN50600, TIA-942 и Uptime являются наиболее часто применяемыми в индустрии ЦОД. Во многих аспектах они пересекаются между собой (например, в каждом из подходов выделяется четыре класса ЦОД в зависимости от уровня отказоустойчивости), хотя есть и ряд отличий:

TIA-942 «заточен» под требования телекоммуникационных кабельных систем, в Uptime акцент сделан на работу систем электроснабжения и охлаждения. Стандарты EN описывают работу ЦОД в наиболее широком смысле слова, включая не только телекоммуникации, охлаждение и электроснабжение, но также системы безопасности и вопросы экологии, кроме того, подробно прописаны требования к показателям операционной деятельности систем ЦОД.

Уровни i-iv

Принципиально, и для стандарта TIA 942, и для методологии Uptime Institute классификация по уровням

одинакова

. Грубо описать их можно так:

Как пример: если мы делаем систему с доставкой жидкого теплоносителя по трубам, в Tier III надо делать двойное кольцо, а в Tier II можно обойтись одним. При этом уровень резервирования чиллеров и фанкойлов может быть одинаковым. То же самое касается электропитания и других систем.

На уровне IV ещё круче: например, ИБП и трассы питания должны быть не просто задублированы, но ещё и разнесены в разные помещения: если первый блок взорвётся (аварийный случай, а не плановая остановка), то второй не должен пострадать. Если прорывает трубопровод в каком-то месте, это никак не влияет на дублирующую электронику — есть физическое разделение систем.

Если говорить обывательским языком (очень грубо), то уровни выглядят так: первый работает и может отказать, второй в целом нормально работает и выдерживает часть самых распространённых отказов, третий выживает в любых некритичных условиях, четвёртый пригоден для работы в военных условиях.

При этом для США стоимость объекта колеблется так: 30К, 50К, 65К и 100К долларов за стойку (это очень приблизительные цифры, для оценки соотношения затрат между уровнями). В России, обычно ещё дороже. Таким образом, если выбирать между Tier II и Tier III, бюджет увеличивается не очень существенно, а вот аптайм – более чем.

Электроснабжение цод

Электроснабжение — основа надежной работы ЦОД. Оно должно быть бесперебойным, для чего традиционно применяются источники бесперебойного питания (ИБП), и гарантированным, для чего используются дизель-генераторные установки (ДГУ), поддерживающие работу дата-центра при продолжительной аварии в электросети.

В ЦОД DataPro два независимых ввода 10 кВ от подстанции Мосэнерго, причем кабели проложены в разных коллекторах, обеспечивают подачу необходимой электрической мощности к объекту. Питание потребителей осуществляется посредством группы понижающих трансформаторов. Эти сухие трансформаторы постоянно находятся в работе при наличии питания от городской подстанции.

Сейчас разрешенная и подключенная мощность ЦОД — 6 МВт. Еще 8 МВт мощности — в процессе оформления. Электропитание ЦОД фактически резервируется по схеме 2N. Например, даже при 100% нагрузке при аварии щита электропитания, трансформатора, DRUPS весь машзал будет питаться от второго ввода/щита. Предполагается, что клиенты используют оборудование с резервируемыми блоками питания или стоечные АВР.

Здесь сосредоточены основные компоненты системы электропитания ЦОД. Справа — трансформаторы, слева дизель-роторные ИБП (DRUPS).Для электропитания ЦОД используются сухие трансформаторы мощностью 1600 кВА каждый. Они преобразуют 10 кВ на входе в 0,4 кВ на выходе.Часть схемы системы электропитания центра обработки данных.