IPMI: настройка и удаленное управление серверами Supermicro | Windows для системных администраторов

Ipmi: первые шаги

По-хорошему, наладку IPMI стоит начинать с пе­ре­клю­ча­те­лей на системной плате. Установки в CMOS Setup всего лишь ин­фор­ми­ру­ют нас о состоянии BMC-контроллера. Убедится в этом можно, оз­на­ко­мив­шись c пунктами меню BMC Net­work Con­fi­gu­ra­tion (в качестве стен­до­во­го об­раз­ца бу­дем ис­поль­зо­вать Supermicro X11SSL-F — одну из самых рас­про­с­т­ра­нен­ных серверных плат­форм):

Выбор сетевого подключения (Failover) не может быть изменен в установках UEFI BIOS — это программная ре­а­ли­за­ция, за­ви­ся­щая от настройки IPMI-интерфейса (об этом ниже). Но запретив на системной плате доступ к BMC в целом или к се­те­вым ин­тер­фей­сам в частности, мы существенно урежем функциональность ме­не­дж­мен­та.

Сетевой статус IPMI де­мон­ст­ри­ру­ет возможности платформы по переключению интерфейса уп­рав­ле­ния в ава­рий­ной си­ту­а­ции, когда ре­жим Failover задействован: доступ к серверу воз­мо­жен по вы­де­лен­но­му пор­ту (Dedicated LAN) либо с од­но­вре­мен­ным ис­поль­зо­ва­ни­ем одного из общих се­те­вых ресурсов (Shared LAN).

Резервирование каналов доступа для распределения функциональной нагрузки имеет своей целью не только от­ка­зо­ус­той­чи­вость сервисных операций, но позволяет в некоторых случаях добиться эко­но­ми­че­ско­го эффекта — путем ми­ни­ми­за­ции платы за сетевые подключения или стоимости аренды IP-адресов: один линк вместо двух обой­дет­ся де­шев­ле.

Конфигурирование сетевого интерфейса в комментариях не нуждается: статическое или динамическое выделение ад­ре­сов или реликт в виде VLAN понятны сами собой. Единственное, что стоит принять во внимание — на­чаль­ное се­те­вое ав­то­оп­ре­де­ле­ние вы­пол­ня­ет­ся, если серверная платформа подключена к сети до подачи дежурного питания.

Megarac как реализация ipmi

В процессе эволюции интерфейс IPMI смог нарастить функциональность до нужного пользователям уров­ня, опе­ре­див по уровню применения конкурирующую технологию Intel AMT. Немаловажным преимуществом ока­за­лась и его ин­те­гра­ция в DMTF Redfish — открытую экосистему управления серверным парком.

У American Megatrends не так много конкурентов в сфере удаленного управления. Если не брать во вни­ма­ние кор­по­ра­тив­ные продукты Dell-EMC, HP и IBM (DRAC, Integrated Lights-Out и Remote Supervisor со­от­вет­ст­вен­но), разработкой средств управления занимается еще разве что компания Avocent, поставщик MergePoint Embedded Management Soft­ware для серверов Gigabyte.

Вместе с тем, интерес ведущих сер­ве­ро­ст­ро­и­те­лей к IPMI демонстрирует актуальность кон­цеп­ции уда­лен­но­го уп­рав­ле­ния. Прикладная польза очевидна — минимизация простоя и снижение расходов на обслуживание сер­вер­но­го пар­ка, где цена за ма­ши­но­комп­лект существенно выросла.

Козырем здесь являются функции ап­па­рат­но­го мо­ни­то­рин­га и вос­ста­нов­ле­ния, что особенно важно на фоне роста сложности базового UEFI BIOS и ми­кро­ко­да под­держ­ки (BMC, Intel In­no­va­tion/Man­age­ment Engine, AMD Ge­ne­ric En­cap­su­lat­ed Soft­ware Archi­tec­ture).

Про­цес­сор­ная ин­ва­ри­ант­ность от­ра­жа­ет уни­вер­саль­ность IPMI: сервисные функции не зависят от типа и мо­де­ли вы­бран­ной платформы, от­кры­вая поль­зо­ва­те­лям доступ ко всем рычагам уда­лен­но­го управления — и AMD, и Intel здесь об­слу­жи­ва­ют­ся оди­на­ко­во хорошо.

В этой связи интересен опыт компании Supermicro, предлагающей гибкий подход к лицензированию широкого спектра сер­вис­ных функций. И что немаловажно — на основе цифрового ключа, что су­щес­т­вен­но по­вы­ша­ет на­деж­ность, сни­жая рас­хо­ды на содержание.

Привязка уда­лен­ной (Out of Band, OOB) лицензии вы­пол­ня­ет­ся только к MAC-ад­ре­су се­те­во­го адап­те­ра и может быть легко вос­ста­нов­ле­на, чего не скажешь, на­при­мер, о ли­цен­зи­он­ном ключе Intel, в ка­че­с­т­ве ко­то­ро­го ис­поль­зу­ет­ся микросхема Winbond W25X10BV для мо­ду­ля уда­лен­но­го уп­рав­ле­ния — Re­mo­te Ma­na­ge­ment Mo­dule.

В качестве резюме

Пример реализации IPMI-интерфейса, интегрированного в каждую серверную платформу Supermicro, де­мон­ст­ри­ру­ет не­ос­по­ри­мые преимущества уда­лен­но­го ад­ми­ни­ст­ри­ро­ва­ния, по­зво­ля­ю­ще­го вы­пол­нять ряд задач без вы­ез­да спе­ци­а­лис­та не­по­сред­ст­вен­но к обо­ру­до­ва­нию.

Есть и дополнительные средства, по­вы­ша­ю­щие эф­фек­тив­ность уда­лен­но­го уп­ра­в­ле­ния. Для их ис­поль­зо­ва­ния Super­micro пред­ла­га­ет гибкую ли­цен­зи­он­ную политику. Наиболее вос­тре­бо­ван­ным в этом пла­не для от­дель­но сто­я­щих сер­ве­ров видится до­ступ­ная по цене OOB-ли­цен­зия, да­ю­щая воз­мож­ность удаленного об­нов­ле­ния UEFI BIOS.

На первый взгляд, удаленный BIOS Upgrade не является клю­че­вой по­зи­ци­ей в сервисном об­слу­жи­ва­нии. В ре­аль­но­с­ти, сложность низ­ко­у­ров­не­во­го ПО на се­го­дня­ш­ний день такова, что даже его об­нов­ле­ние «че­рез вер­сию» мо­жет при­вес­ти к не­стар­ту ма­те­рин­ской платы.

Серверная платформа Supermicro X11SSL-Fпредоставлена компанией Onix

Взлом серверов supermicro при помощи ipmi

Доступ к удаленной консоли

За все нужно платить, но даже в бесплатном варианте IPMI пользователь получает воз­мож­ность управлять боль­шин­ст­вом про­цес­сов на сервере Supermicro. Доступ к его графической консоли по веб-интерфейсу возможен либо через Java-приложение (вызывается как Console Redirection), либо по HTML5 (вызывается как iKVM/HTML5).

Доступ в режиме Console Redirection требует, как сказано выше, за­пус­ка на ин­ст­ру­мен­таль­ной платформе java-при­ло­же­ния, что сопряжено с ря­дом до­пол­ни­тель­ных действий:

Выполнение файла с расширением .jnlp позволяет получить удаленный экран и рычаги управления к нему (кла­ви­а­ту­ра плюс мышь). По опыту, работа с указателем в графической консоли иногда требует сноровки. В раз­де­ле Con­fi­gu­ra­tion есть ме­ню настройки, с помощью которого можно приладиться под конкретную ре­а­ли­за­цию ОС:

И Java, и HTML5 сценарии Console Redirection абсолютно пол­но­фун­к­ци­о­наль­ны в том смысле, что пред­о­став­ля­ют гра­фи­че­скую кон­соль удаленного сервера и дают возможность управлять ею с помощью кла­ви­а­ту­ры и мыши. Го­ря­чие кла­ви­ши или их комбинации (типа Ctrl-Alt-Del или Alt-Tab) можно вызвать из меню Macro, которое предлагает ряд час­то ис­поль­зу­е­мых за­го­то­вок. Для эк­зо­ти­че­ских комбинаций можно вызвать Virtual­Keyboard — вир­ту­аль­ную эк­ран­ную кла­ви­а­ту­ру.

В меню Virtual­Media и Virtual­Storage удобно подключить к удаленному серверу виртуальные носители для ин­стал­ля­ции или тес­ти­ро­ва­ния. Там они видятся USB-устройствами, причем подключать можно или реальный привод, или просто об­раз но­си­те­ля.

В HTML5-консоли из виртуальных устройств есть только Virtual­Keyboard — она имеет несколько урезанную фун­к­ци­о­наль­ность, но пол­но­стью реализуется средствами браузера и не тре­бу­ет установки до­пол­ни­тель­ных про­грам­мных средств на ин­стру­мен­таль­ную платформу.

Мониторинг с помощью утилиты ipmicfg

Проверка состояния блоков питания:

[root@ ~]# ipmicfg -pminfo

[SlaveAddress = 78h] [Module 1]
Item | Value
---- | -----
Status | [STATUS OK] (00h)
Input Voltage | 217.5 V
Input Current | 1.06 A
Main Output Voltage | 12.28 V
Main Output Current | 17.93 A
Temperature 1 | 23C/73F
Temperature 2 | 21C/70F
Fan 1 | 2064 RPM
Fan 2 | 2032 RPM
Main Output Power | 220 W
Input Power | 228 W
PMBus Revision | 0x22
PWS Serial Number | P2K4FCH02LT0125
PWS Module Number | PWS-2K04F-1R
PWS Revision | REV1.0
Current Sharing Control | PEC error
[SlaveAddress = 7Ah] [Module 2]
Item | Value
---- | -----
Status | [STATUS OK] (00h)
Input Voltage | 217.5 V
Input Current | 1.09 A
Main Output Voltage | 12.30 V
Main Output Current | 18.09 A
Temperature 1 | 24C/75F
Temperature 2 | 22C/72F
Fan 1 | 2064 RPM
Fan 2 | 2064 RPM
Main Output Power | 223 W
Input Power | 234 W
PMBus Revision | 0x22
PWS Serial Number | P2K4FCH02LT0126
PWS Module Number | PWS-2K04F-1R
PWS Revision | REV1.0
Current Sharing Control | PEC error

Посмотреть температуру процессора можно командой:

ipmicfg -nm oemgettemp

Так же можно проверить в каком режиме работают вентиляторы и изменить режим, если это необходимо.

Проверка состояния и конфигурации вентилятора

[root@~]# ipmicfg -fan

Current Fan Speed Mode is [ PUE2 Optimal Mode ]
Supported Fan modes:
0:Standard
1:Full
3:PUE2 Optimal
4:Heavy IO

Изменение режима работы кулера: ipmicfg -fan <mode> Например, ipmicfg -fan 3

Информация о версии и прошивке IPMI:

[root@~]# ipmicfg -nm deviceid

Device ID = 50h
Firmware Version = 4.1.4.54
IPMI Version = 2.000000
Manufacturer ID = 57 01 00
Product ID Minor Ver = Greenlow platform
Implemented DCMI version = DCMI not implemented/enabled
Firmware implemented version = NM Revision 4.0
Image Flag = operational image 1
raw = 50 01 04 14 02 21 57 01 00 09 0b 04 05 40 01

И посмотреть все сенсоры можно командой ipmicfg -sdr

При выводе мы видим, что есть дополнительные столбцы, в которых отображена информация о лимитах нижнего и верхнего пределов.

Так же существует еще не малое количество утилит, которые можно использовать для мониторинга и автоматизировать этот процесс, например, с nagios. В данный момент заострять на этом внимание мы не будем, так как цель статьи рассказать основные моменты в работе с IPMI.

Мониторинг сервера supermicro через ipmi

Через IPMI мониторить температуру и работу железа сервера SuperMicro довольно просто. Полная информация о железе сервера содержится в пункте System -> Hardware Information.

Информацию по состоянию процессора, оперативной памяти и вентиляторах, можно посмотреть перейдя во вкладку Server Health -> Sensor Readings.

Для удобства просмотра, можно менять категории отображения датчиков, например, температуры:

Или датчики напряжения:

Так как в данный момент на нашем сервере нет проблем, ни с температурой, ни с напряжением, все датчики находятся в зеленой зоне. Если на сервере поднимается температура или есть проблемы с напряжением, зеленые прямоугольники будут окрашиваться в красный цвет, что послужит сигналом для проверки вашего сервера.

Особенности программной реализации

Console Redirection для доставки ап­па­рат­ной консоли по сети (KVM-over-IP) — одно из са­мых по­пу­ляр­ных при­ло­же­ний в обойме IPMI, — тре­бу­ет ус­та­нов­ки Java-машины в опе­ра­ци­он­ной среде ин­ст­р­у­мен­таль­но­го ком­пью­те­ра.

Впрочем, доступ к административной панели выполняется без участия Java, предоставляя после ввода ло­ги­на и па­ро­ля веб-интерфейс. Большинство пунктов меню интуитивно понятны, остановимся на самых загадочных, комментируя их прикладное значение. Заметим попутно, что структуризация опций IPMI не всегда логична, но она подвержена из­ме­не­ни­ям и после обновления микрокода BMC-контроллера ее удобство зачастую повышается.

Подготовительные работы

Сделаем шаблон vSphere 7 в центре сертификации. Это задача вынесена в отдельную статью. Здесь рассказывается как сделать шаблон в центре сертификации и настроить срок действия на 5 лет.

Шаблон vSphere 7 в центре сертификации

Настроим поддержку нескольких алиасов и IP адреса при создании сертификата. Эта задача вынесена в отдельную статью.

Создание SSL сертификата с альтернативными доменными именами

Подготовим цепочку корневых сертификатов. Открываем центр сертификации.

Скачиваем цепочку сертификатов из центра сертификации. Воспользуемся ссылкой Download a CA certificate, certificate chain, or CRL.

Устанавливаем галку на Base 64. Скачиваем цепочку в формате P7B — Download CA certificate chain.

Конвертируем P7B в PEM:

Windows — конвертация P7B в PEM с помощью подсистемы Linux

Получаем цепочку в формате PEM.

Лишние строки из полученного файла можно удалить вручную.

Про удаленную загрузку

Все аспекты создания с помощью IPMI сценариев, необходимых для выполнения удаленной загрузки с вир­ту­аль­ных но­си­те­лей, рассмотрены ранее. Конечно, речь не идет о загрузке по сети в классическом по­ни­ма­нии этого процесса. IPMI предоставляет возможность загрузить операционную систему удаленного сер­ве­ра с образа диска, хранящегося на инструментальной платформе.

Платформы, использующие программное обеспечение MegaRAC от American Me­ga­trends для BMC-контроллера, в пла­не поддержки виртуальных носителей достаточно однотипны. Это диктуется не­об­хо­ди­мо­стью под­держ­ки та­ких уст­ройств со стороны UEFI BIOS.

Сгенерировать сертификат vcenter 7

Генерировать будем через shell. Включаем Bash Shell на vCenter 7.

Удаленное обновление uefi bios

В разделе Maintenance есть два важных пункта меню, оба связаны с обновлением ми­кро­про­г­рамм ма­те­рин­ской пла­ты сервера.

Данное обслуживание можно выполнять удаленно, но если Firmware Update доступен в рамках базовой фун­к­ци­о­наль­нос­ти IPMI, то обновление UEFI BIOS становится возможным для владельцев OOB-ли­цен­зии. Это от­дель­но при­об­ре­та­е­мый ли­цен­зи­он­ный ключ, который можно ввести в меню Activate License в раз­де­ле Miscellanious:

Ключ OOB-лицензии не обязательно покупать на сайте Supermicro. Все ли­цен­зи­он­ные пол­но­мо­чия есть и у ло­каль­но­го дис­три­бу­то­ра, который в некоторых случаях может предложить более выгодные условия.

Лицензионный ключ не обязательно вводить через IPMI-интерфейс. Для уда­лен­но­го об­но­в­ле­ния UEFI BIOS мож­но ре­ко­мен­до­вать утилиту Supermicro Update Manager (SUM), воз­мож­нос­ти которой куда более раз­но­об­раз­ны по срав­не­нию с фун­к­ци­о­наль­но­стью IPMI-интерфейса.

Кроме нее, Supermicro предлагает пер­во­клас­сный софт, по­кры­ва­ю­щий все ас­пек­ты ад­ми­ни­ст­ри­ро­ва­ния удаленных платформ. Обзор программных про­дук­тов, по­свя­щен­ных уп­рав­ле­нию сер­вер­ным обо­ру­до­ва­ни­ем, выходит за рамки данной статьи, он за­слу­жи­ва­ет от­дель­ной публикации.

Управление серверным пулом

В рамках безплатного использования IPMI-интерфейс предполагает только простейшие операции, которые мож­но считать лишь намёком на управлением серверным пулом. Одна из них — идентификация отдельно взя­той плат­фор­мы UID Control.

Ее суть в том, что активностью голубого светодиода можно обозначить конкретный сервер в стойке од­но­тип­ных уст­ройств. Включая UID Control, наблюдаем прерывистое мигание индикаторов, не­ак­тив­ных в вы­клю­чен­ном со­сто­я­нии. Один из них расположен на лицевой стороне шасси, второй — на тыльной.

В начале данной статьи говорится о том, какую важную роль в организации некоторых функций IPMI играет ап­па­рат­ная плат­фор­ма. В случае UID Control для этого используется переключатель на системной плате, который на­зы­ва­ет­ся UID Identifier Switch (для Supermicro X11SSL-F — это UID-SW). Если идентификация шасси аппаратно отключена, все по­пыт­ки управления ею будут напрасны.

Полный набор сервисных услуг для удаленного управления серверными пулами предоставляют следующие лицензии Supermicro, детально описанные на сайте компании:

• Supermicro Power Manager (SPM) — централизованный сбор статистики энергопотребления серверов (SFT-SPM-LIC-лицензия);
• Supermicro Server Manager (SSM) — централизованная интегрированная система управления пулом серверов (SFT-DCMS-Single лицензия).

Управление сервером через утилиту ipmicfg от supermicro

Для управления серверами через IPMI компания SuperMicro разрабатывает собственную утилиту IPMICFG.