Сертификат для ЦОД: за и против | Технологии на Рынке ИТ

На что смотрят клиенты

Согласно нашему исследованию для клиентов играют важную роль следующие опции:

• uptime, качество связи (ping, видимость, реальная скорость, резервирование);

• рекомендация знакомых, личные связи;

• адекватность сотрудников, выход на руководство;

• сертификаты Tier III или низкая цена;

• место расположения ЦОД, транспортная доступность;

• оперативная поддержка;

• высота стоек (42 или 47U), мощность;

• договор, SLA, гарантии и ответственность;

• возможность прохода в серверную и контроль доступа к оборудованию.

Опции расположены в порядке значимости согласно нашему опыту и нашим приоритетам.

Benefits of certification

If a business has a data center Tier Certification awarded to them, it shows that they have reached a higher level of performance. The data center has been verified as standing up to real-world challenges and reaching the requirements of the organization.
Tier Certification offers many benefits, including:

Issued awards across the world

We have issued over 1,700 certifications in over 98 countries — a testament to the level of global respect that Tier Certification has achieved as an industry standard for design, construction and operations. From rural to urban and everything in between, organizations worldwide see the value of an issued Tier Certification. Check out the map below to see exactly where data center certifications were issued.

Sla, nda, uptime

Качество сервиса, соглашение о неразглашении, контакты руководства, способы коммуникации, например, поддержка в Telegram,способы оплаты, пробивка юрлица поставщика. 

В Европе поддержка, которая бесплатная, как правило, сильно медленнее, чем в России. В Европе за хорошую поддержку обычно нужно доплачивать. Вот цены на поддержку в Европе. Хочешь реакцию в течение 30 минут — плати 119евро. У нас поддержка в режиме онлайн в Telegram уже доступна всем клиентам.

Эх… хорошо бы было по 119 евро дополнительно с каждого клиента… Надо европейцам активнее продавать услуги. В Европе, обычно,  любое действие из серии “пришлю диски, можете воткнуть” стоит минимум 50 евро (как и просто поменять диски в дедике на другой), а в России уже включено в стоимость.

Аттестация цод – нац

Безопасность

На территории дата-центра должен быть организован пропускной режим.  Доступ в конкретные помещения должен осуществляться с использованием СКУД. Должна быть исключена возможность попадания неавторизованных лиц на территорию или в технические помещения дата-центра. Должна быть смена охраны, составляющая не менее двух человек и проводиться регулярный обход.

Доступ непосредственно в машинный зал должен осуществляться в присутствии инженера. 

В случае, если машинный зал дата-центра расположен выше первого этажа должна быть обеспечена возможность использовать лифт и тележки для перемещения оборудования. 

В дата-центре должна быть смонтирована система пожарной сигнализации и пожаротушения. Хорошим плюсом будет система раннего обнаружения возгорания. 

В дата-центре должна быть система защиты от протечек. Идеальным вариантом в данном случае являются полностью изолированные гермозоны.

В дата-центре должны быть камеры, полностью просматривающие все подходы и проходы к дата-центру и внутри него. Глубина хранения архива должна составлять не менее 90 дней.

По вашему запросу должна быть предоставлена возможность физической защиты стойки, установки на стойку дополнительного замка, СКУД или ограждения (Cage) нескольких стоек.

Закрытые стойки 47 юнитов или больше

Стойки бывают 42U. Такие были раньше. Последнее время в основном ставят 47U, реже 48U. Один юнит в 19″ равен 44.45 мм (1,75 дюйма) по высоте. Одноюнитовый сервер имеет высоту чуть меньше, чтобы сервера можно было легко вставлять и вынимать из стойки.

Обратите внимание на количество розеток в стойке. Совсем не факт, что их будет 47. 

Узнайте мощность выделяемую на стойку. Обычно это 5кВт. Бывает пишут и 10кВт и даже 15кВт. Подать такую мощность вам смогут, но вот не перегреется ли ваша стойка — вопрос открытый. Проблема с отводом тепла может возникнуть.

Часто бывает, что к стойке подведены два луча в расчёте, что всё оборудование клиента имеет два блока питания. В этом случае они должны быть подключены к блокам розеток (PDU), включенными в разные лучи. Если у вас есть оборудование с одним блоком питания, то узнайте есть ли АВР (автоматический ввод резерва). Если ЦОД не предоставляет АВР, то вам понадобится приобрести стоечный АВР для подключения такого оборудования.

Узнайте как именно питание и оптика заходят в здание ЦОД и непосредственно в машинный зал.

Стойки бывают открытые. Но так давно уже не модно. Стойки должны ещё и на ключ закрываться. Если охлаждение организовано плохо, то закрытые стойки перегреются.

Зачем нужна классификация цодов?

Uptime Institute принимает заявки операторов дата-центров на независимую оценку инфраструктуры. Это добровольная процедура, к которой прибегают не все компании. При этом, исходя из базовой идеи классификации, прозрачность в вопросе выбора ЦОДа — благо для клиентов. Поэтому, начиная с 2021 года, Uptime Institute принялся стимулировать операторов к прохождению сертификации.

Организация объявила о новом параметре оценки дата-центров — энергоэффективности. Предлагаются два уровня соответствия: «одобренный» и «активированный». Результат оценки, по мнению Uptime Institute, свидетельствует о передовом опыте компании в отрасли. Подтвержденная энергоэффективность дата-центра выступает дополнительным аргументом для выбора клиентами.

В целом классификация важна для клиента, так как она выступает гарантией соответствия ожиданиям конечного результата в вопросе безотказной работы и производительности. Джо Хертвик (Joe Hertvik), глава консалтинговой компании Hertvik Business Services, определяет несколько сценариев использования рейтинговой системы:

1. Оценка рисков при передаче инфраструктуры облачному провайдеру.
2. Настройка дата-центра с целью обеспечения его соответствия конкретным бизнес-потребностям.
3. Предоставление сертификата клиентам в качестве дополнительного преимущества.
4. Выбор уровня доступности сети при оценке рисков.

Набор подсистем, на которых Uptime Institute концентрирует свое внимание, говорит о том, что оценка инфраструктуры позволяет взвешенно принимать решения при выборе дата-центров и формировать адекватные ожидания.

Какой tier выбрать?

Существует распространенное

: уровень качества услуг дата-центров возрастает с каждым Tier. На самом деле, классификация ЦОДов не нацелена на то, чтобы определить лучший тип дата-центров. Каждый Tier предназначен для удовлетворения разнообразных бизнес-потребностей и требований к производительности.

В 2021 году портал Data Center Dynamics опросил группу экспертов, чтобы выяснить, стоит ли переплачивать за переход на более высокий Tier. Раул Шеуол (Rahul Shewale), консультант в Capgemini, и доктор Карлос Гарсия де ла Ночеда (Dr Carlos Garcia de la Noceda) сошлись во мнении, что ЦОД Tier III может обладать более надежной инфраструктурой и быть более эффективным с экономической точки зрения, чем Tier IV.

А Уильям Энгл (William Angle), директор CS Technology, участвовавший в создании первого в мире объекта Tier IV, полагает, что почти 60% всех сбоев происходит из-за людей, а не из-за инфраструктуры — поэтому не всегда есть смысл обращаться к максимальным конфигурациям.

Сотрудники Uptime Institute же сообщают, что расходы на инфраструктуру ЦОДов и операционные сложности возрастают от уровня к уровню, и владельцам следует выбирать Tier, который лучше соответствует потребностям конкретного бизнеса.

«Tier IV не всегда «лучше» решения Tier II. Инфраструктура центра обработки данных должна соответствовать коммерческому применению, иначе компании могут вложить чрезмерно большой капитал или взять на себя слишком большой риск», — говорится на сайте организации.

Если вспомнить последние новости, можно заметить, что стремление Бангладеша и Fujitsu к ЦОДам Tier IV объясняется климатическими и сейсмическими обстановками, но не лучшими характеристиками этих дата-центров в сравнении с другими. Строительство мега-ЦОДа власти Бангладеш анонсировали еще в 2021 году, и тогда же появилась информация о выборе под эти цели района, подверженного землетрясениям.

Представители Uptime Insitute заявили, что риски землетрясения не учитываются при сертификации Tier, однако, по словам Гэри Вонга (Gary Wong) из телекоммуникационной компании Instor Solutions, метод сейсмической изоляции учитывается Uptime Insitute для присуждения Tier IV в сейсмически опасных районах.

На практике получается, что возможностей дата-центров Tier I и Tier II обычно достаточно для предприятий, которые могут справиться со случайным простоем сервера в нерабочее время. Для компаний, чей бизнес функционирует в режиме 24 часа в сутки по всему миру, или для компаний, где любой простой отрицательно скажется на операционной деятельности, инвестиции в Tier III или Tier IV могут себя оправдать.

Иначе говоря, Tier I подойдет для малых предприятий, в которых IT-инфраструктура лишь расширяет внутренние бизнес-процессы и не является основным инструментом. Tier II будет достаточным для малых предприятий, чьи IT-запросы в основном ограничены традиционными рабочими часами и позволяют отключать систему в нерабочее время.

Крупные предприятия с обязательствами по круглосуточному обслуживанию клиентов и автоматизации бизнес-процессов, работающие в сферах, где качество сервиса является конкурентным преимуществом, могут выбирать между Tier III и Tier IV. При этом защита от простоев в случае с Tier III является достаточной в большинстве ситуаций.

Например, мы в «ИТ-ГРАД» выбрали для размещения части своей распределенной инфраструктуры ЦОД SDN в Санкт-Петербурге, который является дата-центром уровня Tier III. Этого достаточно, чтобы предоставлять востребованные IT-услуги, начиная от co-location и заканчивая арендой IaaS-облака, сертифицированного в соответствии с требованиями стандарта PCI DSS.

Для обеспечения должной надежности в SDN используются такие решения, как динамические источники бесперебойного питания, собственная распределительная подстанция, модульная структура, охлаждение силами установки KyotoCooling B.V. на основе роторного теплообмена. Безопасность дата-центра обеспечивается многоуровневой защитой с несколькими периметрами.

Поддержка температурно-влажностного режима в SDN

В Москве в качестве облачной площадки мы выбрали один из крупнейших московских дата-центров DataSpace, вмещающий 12 машинных залов на 1000 стоек. DataSpace также прошел полный цикл сертификации Tier III Gold по стандартам Uptime Institute, имея полное резервирование инженерных систем и обеспечивая высокий уровень готовности с возможностью проведения как регламентных, так и ремонтных работ без прерывания ИТ- и бизнес-процессов.

Таким образом, в дискуссии о лучшем Tier не существует универсального ответа — Tier IV не является «серебряной пулей» и подходит лишь ограниченному типу организаций. При выборе уровня дата-центра компании в первую очередь необходимо исходить из целей, которые она собирается решать и финансовых возможностей — все зависит от области задач конкретной компании.

P.S. Еще несколько материалов по теме из Первого блога о корпоративном IaaS:

Качество связи

Не вся связь одинаковая. На межоператорском уровне цены на каналы связи очень сильно прыгают. Сама цена за гигабит вообще ни о чём не говорит. Нам приходилось тестировать каналы связи и строить сравнительные таблицы, которые показывали реальное соотношение качества канала и его цены.

Вам могут продать канал в точку обмена трафиком. Даже каналы в точке обмена трафиков разного качества. В один трафик уходит хорошо, а в другой плохо. То есть вполне возможно, когда вы купили канал даже 10Гбит, а туда уходит трафика меньше, чем в канал 1Гбит от другого провайдера.

В хорошем дата-центре вам должны предоставить возможность подключить любой канал от любого оператора, в соответствии с вашими потребностями.

Лицензии и сертификаты | дата-центр greenbushdc

Мониторинг

Хорошо когда мониторинг параметров ЦОД доступен в онлайн на сайте.

Помимо параметров самого дата-центра, ещё есть услуги по мониторингу серверов, сервисов. У нас мониторится больше 200 различных показателей. Уведомления приходят по электронной почте, в Slack или сообщениями бота в Telegram.

На правах рекламы

Не призываем покупать услуги именно у нас. Наоборот, советуем сравнивать разных поставщиков по максимально возможному количеству параметров. Однако, в сравнительную таблицу не забудьте добавить и аренду стоек от дата-центра ITSOFT.

Охлаждение

Каждый градус в дата-центре стоит очень много денег. Чем выше температура в серверной, тем меньше затраты дата-центра. Узнайте какой температурный режим вам гарантируют в серверной на вашей стойке. Обратите внимание, что температура у пола, в середине и наверху стойки разная. Узнайте как зарезервированы чиллеры, кондиционеры и трубопроводы.

Охлаждение залов

На первом этаже в аппаратных и машинных залах ЦТО оборудование охлаждается с применением внутрирядных прецизионных кондиционеров Emerson (ранее приобретенных заказчиком) и с использованием водяных чиллеров и драйкулеров для подготовки захоложенной воды.

Для охлаждения залов второго этажа (с основной нагрузкой) мы применили кондиционеры с рекуператором воздух-воздух.

В четырех машинных залах второго этажа развернута инновационная система охлаждения от компании AST Modular, включающая в себя 44 модуля охлаждения наружным воздухом Natural Free Cooling.

Система представляет собой два разомкнутых контура. В одном из них циркулирует воздух из машинного зала, а в другой через систему технологической вентиляции подается прохладный воздух с улицы. Оба потока проходят через рекуперативный теплообменник, в котором происходит теплообмен между наружным и внутренним воздухом.

Таким образом, оборудование может охлаждаться наружным воздухом до 90% времени в году, что позволяет на 20-30% снизить затраты на традиционное активное охлаждение с использованием водяных чиллеров и драйкулеров. Летом охлаждение воздуха производится захоложеной водой от чиллеров.

К началу проекта у нас уже был опыт создания подобных систем охлаждения: Natural Fresh Aircooling мы использовали в высокотехнологичном модульном ЦОДе «ВымпелКома» в Ярославле. Но каждый новый проект таит свои сложности.

Чтобы увязать работу кондиционеров MNFC с приточными установками воздуха (которые подготавливают уличный воздух, после чего подают его в технический коридор для MNFC), нам пришлось для кондиционеров MNFC на математическом уровне проработать зависимость объемов подаваемого воздуха и выбрасываемого вентустановками.

Пожарная безопасность

Для пожарной безопасности на площадке развернуты системы пожарной сигнализации, раннего обнаружения пожара (аспирационная система – датчики, анализирующие состав воздуха), автоматического газового пожаротушения и система газоудаления, которая позволяет удалять остатки газа после отработки системы пожаротушения.

Система оповещения о пожаре работает следующим образом: пожарные датчики машинных залов, аппаратных, а также вспомогательных помещений выдают соответствующие сигналы на центральную станцию автоматической пожарной сигнализации, которая, в свою очередь, запускает систему автоматического газового пожаротушения, пожарную автоматику и систему оповещения, в зависимости от зоны возникновения пожара.

В качестве основного было использовано оборудование ESMI (Schneider Electric). Оно закрыло все задачи по обеспечению пожарной безопасности и отображается на рабочей станции оператора в диспетчерской.

Проблема выбора и сопоставления потребностей и возможностей

Для каждого конкретного клиента порядок приоритетов может меняться в зависимости от его потребностей и возможностей. Не всегда, правда, наши потребности совпадают с нашими возможностями. 

Причём, что интересно, многие эту фразу воспринимают исключительно в контексте из фильма Кавказская пленница или новые приключения Шурика. А на самом деле бывает и совсем наоборот — есть возможности платить в 2-3 раза больше за стойку, а в реальности такой потребности нет, но компания платит из-за снобизма своих сотрудников.

Конечно, такое можно только приветствовать, когда деньги перетекают от тех, кому они менее нужны, к тем, кому — более. Значительно хуже когда люди скупые по-глупому и экономят на потребностях имея возможности заплатить, а потом стрёмный дата-центр вырубается на несколько дней, а все яйца в одной корзине.

Задача выбора состоит в том, чтобы и не переплатить за ненужное, и не попасть на деньги, попытавшись сэкономить. Тут каждый сам должен точно формулировать свои потребности не завышая и не занижая их. У нас был пример, когда из-за экономии 5000р на резервном копировании, у людей встал крупный бизнес.

Далее мы пойдём больше по техническим характеристикам, которые могут играть важную роль для uptime и качества услуг. Ещё у нас есть статья с большим чек-листом по выбору дата-центра, где собрано огромное количество параметров, которые можно сравнивать и строить формулу выбора с весовыми коэффициентами и приводить к виду типа:

Саму таблицу с данными здесь не приводим, так как она уже устарела в плане данных и дата-центры, которые там у нас перечислены, могут на нас обидеться, что мы распространяем про них устаревшие цены и условия. Вы легко на основании нашего чек-листа, этой статьи и своих критериев составите подобную таблицу под свои потребности с нужными вам колонками.

Пройти огонь, воду и… экзамен uptime institute

Чтобы сдать экзамен на соответствие ЦОД стандартам Tier III Design и Tier III Facility, нам пришлось выполнить всю документацию согласно требованиям Uptime Institute, пройти ее сертификацию и по этой документации смонтировать и запустить все системы.

Подготовка к испытаниям оказалась непростой: если сертификация документации понятна, то найти информацию, как проходит сертификация самого объекта, было крайне сложно (на тот момент ЦОД «Жигулевской долины» оказался седьмым в России дата-центром, проходящим сертификацию).

Много сил ушло на внутренний аудит (испытания под нагрузкой уже ранее проводились для заказчика). Две недели мы друг за другом все проверяли в соответствии с проектной документации и тестами, полученными от Uptime Institute, и все равно, конечно же, нервничали во время сертификации.

Когда специалисты Uptime Institute приехали в ЦОД с инспекцией и стали осматривать залы, я для себя на будущее сделал важный вывод – в команде должен быть один лидер, который возьмет на себя общение с «экзаменаторами». О том, кто станет таким человеком, нужно подумать еще на этапе формирования команды.

Первый день был ознакомительным: инспектор осматривал ЦОД на соответствие проектной документации.

На следующий день для ключевого тестирования Uptime Institute нужно было дать полную нагрузку ЦОД – как тепловую, так и в части энергопотребления. Нагрузку имитировали специально установленные тепловые пушки мощностью 30-100 кВт.

Для некоторых тестов оборудование переводилось в критический режим, и были опасения, что системы не выдержат. Чтобы обезопасить оборудование от возможных последствий (как говорится, береженого Бог бережет), мы пригласили инженеров со стороны производителей оборудования.

За всем происходящим из диспетчерской в режиме реального времени наблюдал один из инспекторов Uptime Institute – Фред Дикерман. Автоматизированная система диспетчерского управления и множество датчиков позволяли отслеживать текущее состояние оборудования и изменение температур в машинных залах.

Результаты сертификации показали, что мы изначально заложили верные технические решения, все корректно смонтировали и запустили. Со слов экспертов, данный ЦОД оказался единственным в России, который прошел проверку Uptime Institute без замечаний.

А напоследок – видеоролик о нашем проекте в «Жигулевской долине»

Сертификаты дата-центра, которые реально гарантируют качество

Если у дата-центра есть все три сертификата Tier III, то вы можете быть уверены, что там всё на высшем уровне — круче в России и в Москве не бывает. Вам гарантирован максимальный UPTIME. В ЦОД такого класса допускает простой не более 1.6 часа в год. Как правило в реальности там UPTIME 100% за несколько лет. Основные параметры стандарта Tier III можно посмотреть в сравнительной таблице Tier II и Tier III.

При этом обратите внимание — должны быть все три сертификата, причём сертификат Tier III Operations имеет срок годности, обязательно обращайте внимание, что он не просрочен. Если он просрочен, то дата-центр возможно не прошёл переаттестацию. У некоторых дата-центров есть только один сертификат на соответствие проекта. Такой сертификат говорит о том, что проект соответствует, а соответствует ли сам дата-центр неизвестно.

Наличие сертификатов нужно проверять на сайте  Uptime Institute. Сейчас многие пишут: “Tier 3”, а на деле сертификатов нет.

Вам могут потребоваться какие-то ещё сертификаты, но как правило, они тоже есть у таких дата-центров.

Если сертификатов нет и вы ищете поставщика услуг в эконом-классе, то читайте дальше, так как теперь при выборе вам придётся самим сравнивать предложения разных поставщиков.

Система автоматизации и диспетчеризации цод

В большинстве ЦОД ставят только локальную автоматизацию с минимальным набором функций мониторинга, а у нас все подсистемы интегрированы в единое техническое решение с общей системой контроля. Система контроля отслеживает состояние более 10 систем и выводит более 20 тыс. параметров.

В рамках системы мониторинга и диспетчеризации мы использовали как SCADA-систему, так и систему мониторинга и менеджмента ЦОД. SCADA-система (Supervisory Control And Data Acquisition — диспетчерское управление и сбор данных) позволяет просматривать данные и управлять автоматикой установленного оборудования: чиллера, кондиционера, дизельно-роторных ИБП, вентиляции, насосов и т.д.

Система учета ресурсов дата-центра позволяет вести полный учет всего оборудования, установленного в стойках. Она в реальном времени отображает аварийные сообщения, данные о состоянии оборудования с визуализацией на детальном плане размещения. Благодаря детализации мы можем увидеть любое устройство, расположенное в ЦОД.

Система позволяет моделировать аварийные ситуации и выдает рекомендации по решению проблем, а также позволяет планировать и оптимизировать эксплуатацию технических ресурсов ЦОД.

Здесь также ведется контроль и управление вентиляционными системами (в том числе контроль температуры подаваемого ими воздуха, так они участвуют в технологическом процессе охлаждения ИТ-оборудования). Учитываются все параметры по кондиционерам, вентиляционным установкам и системам холодоснабжения.

Система отслеживает состояние оборудования и управляет им (и различными клапанами). Кроме того, она дополнительно защищает оборудование от критических режимов.

Система контролирует состояние всех основных аппаратов защиты в электрошкафах, а также электропотребление на данных линиях.

Система позволяет вести учет установленного оборудования в ИТ-стойках, а также хранить информацию о его принадлежности. Сюда стекаются данные с противопожарных систем и системы безопасности здания.

Управление зданием осуществляется при помощи решений, построенных на оборудовании компании Schneider Electric. Автоматизированная система диспетчеризации, мониторинга и управления инженерными системами предоставляет всю необходимую информацию диспетчеру на его рабочем месте.

Системы связаны между собой посредством технологического сегмента сети передачи данных. Программное обеспечение установлено на виртуальных машинах, обеспечено резервное копирование данных.

Для обеспечения безопасности, видеонаблюдения и контроля доступа в ЦОД также было установлено централизованное решение Schneider Electric. Оно выдает необходимую информацию в систему диспетчеризации ЦОД.

Всё оборудование, о котором я рассказал, собрано в отказоустойчивой конфигурации и размещено в модульных помещениях Smart Shelter, обеспечивающих надежную защиту ЦТО от пожара, влаги, вибрации и других внешних воздействий. Данное решение позволило сократить срок реализации проекта. На сборку одного помещения в среднем ушло две недели.

Структурированные кабельные системы

Для сети передачи данных мы использовали коммутаторы HP FlexFabric и Juniper QFabric. Интеллектуальная СКС Panduit с системой управления физической инфраструктурой PanView iQ позволяет удаленно контролировать и автоматически документировать состояние физического уровня сети, а также осуществлять интеллектуальное управление полем коммутации.

Возможно контролировать правильность подключения оборудования или нештатного подключения к портам СКС. Претерминированные кабели позволяют при необходимости менять конфигурацию СКС на тех участках, где это требуется.

Фальшпол

Возможно вы не поверите, но существуют так называемые trash-ЦОДы или IT-сараи, где фальшпола нет. У нас тоже есть такой зал. Он предназначен для размещения оборудования для майнинга, которому UPTIME не критичен. Там и ИБП, и ДГУ тоже нет.

Фальшпол должен не просто быть. Из него должен дуть холодный воздух. От высоты фальшпола также зависит и охлаждение. При высоте фальшпола 500мм от уровня основного пола вряд-ли получится отвести от стойки более 5 кВт тепла 

Хладоцентр на первом этаже и оборудование на крыше

В помещении хладоцентра (ХЦ) разместили чиллерные машины, насосные группы, теплообменики и т.д.

Водяные чиллеры и драйкулеры используются для подачи захоложенной воды в установки Natural Free Cooling на втором этаже в жаркое время года и в кондиционеры на первом этаже постоянно. Зимой охлаждение воды осуществляется через теплообменник в ХЦ и градирни на крыше, что также позволяет не включать чиллеры и экономить электроэнергию.

По проекту, большой объем оборудования нам нужно было установить на крыше ЦТО, поэтому пришлось практически построить третий этаж в виде стотонной рамы и установить на нее около 60 тонн оборудования: градирни, длина которых достигала 14 м, и мощные вентустановки выше человеческого роста.

С градирнями мы, конечно, попотели: попробуй подними такую громадину на крышу! Из-за больших габаритов оборудования пришлось варить специальную балку для разгрузки, а также использовать кран грузоподъемностью 160 т с большой стрелой, и даже такой кран местами проседал.

Электропитание авр ибп дгу

В trash-дата-центрах бывает, что нет ни ДГУ (дизель-генераторной установки), ни АВР, ни ИБП (источника бесперебойного питания).

Бывает есть только ИБП. Вам придётся ещё и учесть, что ИБП и ДГУ бывают разные. Стоечным ИБП не стоит доверять. 

Ещё нужно понять какое резервирование у ИБП (N 1 или 2N), ДГУ (N или 2N 1) и какой запас автономной работы, как быстро в случае необходимости привезут топливо. Успеет ли запуститься ДГУ до того, как сядут батареи на ИБП

Электроснабжение цод

В собственной трансформаторной подстанции станции ЦТО установлено 4 независимых трансформатора, которые питают электроэнергией вводно-распределительные устройства (ВРУ1-4) ЦТО.

Суммарная выделенная мощность на ЦОД – 4,7 МВт.

От трансформаторной подстанции в ВРУ ЦТО отходят 8 независимых лучей и через систему гарантированного питания на базе дизельно-роторных источников бесперебойного питания (ДДИБП) питают 8 ВРУ ЦОД, 4 ВРУ системы бесперебойного питания и 4 ВРУ системы гарантированного питания. Система питания построена по схеме 2N, кабели заходят с двух разных сторон здания ЦОД в две разнесенные электрощитовые.

Схема 2N реализует резервирование по электроснабжению. Любой питающий луч для обслуживания может быть выведен из работы, при этом ЦОД будет полностью работоспособен.

Для бесперебойного и гарантированного электроснабжения мы установили дизель-динамические источники бесперебойного питания Piller. Мощность каждого 1МВт бесперебойного и 650 кВт гарантированного питания, что позволяет обеспечить работу ЦОД в полном объеме.

В случае прекращения поступления электроэнергии ротор вращается по инерции и электрическая установка продолжает вырабатывать ток еще несколько секунд. Этого небольшого промежутка времени хватает на запуск дизель-генератора и выхода на рабочие обороты. Таким образом, работа оборудования не прекращается ни на секунду.

Схема построения N 1. При такой мощности вырабатываемой электроэнергии дизельный двигатель имеет большой расход топлива – более 350 литров в час, что потребовало дополнительного внешнего топливохранилища объемом более 100 тонн дизельного топлива.

В здании ЦОД две разнесенные электрощитовые. В каждой установлено по 2 ВРУ системы бесперебойного питания и 2 ВРУ системы гарантированного питания.

Система диспетчеризации контролирует состояние всех автоматических выключателей. Также установлены приборы технологического учета, что позволяет контролировать потребление электроэнергии по каждому направлению электропитания. Для обеспечения бесперебойной работы вспомогательных систем установлен шкаф со статическим электронным байпасом.

Система распределения также контролируется системой диспетчеризации, и каждая линия оснащена прибором технологического учета.

В малых залах размещены шкафы распределения, от них отходят линии к каждому серверному шкафу, в котором установлено по два блока распределения питания.

В больших залах для распределения электроснабжения был использован шинопровод. В отводных коробках каждый автомат также контролируется системой диспетчеризации, что позволяет постоянно получать полную картину о работе системы электроснабжения ЦОД.

Непосредственно в серверных шкафах для распределения электроэнергии установлены блоки распределения питания.