|
Bog BOS: hardware: Серверы и платформы для сборки серверов |
Последнее изменение файла: 2024.01.30
Скопировано с www.bog.pp.ru: 2024.04.29
Краткое описание имеющихся (имевшихся) серверов и платформ:
Шасси SC813MFT-300C, материнская плата SuperMicro PDSMi+.
Шасси SC823S-550LP, материнская плата SuperMicro X7DB8.
Шасси SC813MTQ-300C, материнская плата Super X7SBi.
Шасси SuperMicro CSE-417E26-R1400LPB (4U, 72 SFF диска, SAS2), материнская плата SuperMicro X9DRH-iTF (X9DRH-7TF).
Шасси SuperMicro CSE-417BE2C-R1K28LPB (4U, 72 SFF диска, SAS3), материнская плата SuperMicro X9DRi-F.
Шасси SC847E16-R1K28LPB (4U, 36 LFF дисков) и материнская плата X9DRD-7NL4F-JBOD. Дополнительно комплектуется 2 радиаторами (SNK-P0048P), 3 системными вентиляторами (FAN-0127L4, 80 мм), 2 вытяжными вентиляторами (FAN-0125L4), направляющие воздушного потока (MCP-310-49003-0N, и куда его?), набор для подключения дополнительной полки (CBL-0168L-LP).
Шасси Super Micro SC847BE2C-R1K28LPB (4U, 36 LFF дисков) и материнская плата Super Micro X10DRD-iTP для сервера архива, включая 2 БП по 1280 Вт (кпд 95.08%, 80+ Platinun certified, PMbus) и систему охлаждения, 36 мест (MCP-220-00075-0B) для 3.5" SAS или SATA НЖМД или SSD с горячей заменой (две объединительных платы на 12 и 24 диска и 36 носителей).
Дополнительно:
В состав сервера SuperMicro SSG-640P-E1CR36L для резервного копирования или архива в обязательном порядке входят (29.7 кг):
Дополнительно в сервер вставлены:
Сервер Intel SR1530SH представляет собой однопроцессорный сервер в стоечном исполнение (1U, уменьшенной глубины - 51 см в глубину) на настольных CPU Intel. Материнская плата Intel Server Board S3200SHVL, ATX 2.0, 12"x9.6". Поддерживается RHEL 5.1, RHEL 4.4 и SuSE 10 SP2.
Процессоры под LGA775, FSB 800/1066/1333, VRD11 (на другой странице VRD12): Xeon 3000, Xeon 3100, Xeon 3200, Xeon 3300 (при этом стоит Core 2 Duo E8600 3.33GHz).
Чипсет Intel 3200 (3210) MCH и Intel ICH9R (интерфейс DMI).
Память - до 4 модулей DIMM DDR2 [ECC] unbuffered 667/800 (2 канала (A и B) по 2 модуля в каждом), 1.8V, низкопрофильные (30.48мм), до 2GB каждый. Стоит 4x2GB unbuffered 800.
Переходник (Riser Card, PCI Express x8, физически x16, VGA только x1, MCH, шина F) на 1 полноразмерную плату. PCI Express x4 (физически x8, шина D, в этом шасси использовать невозможно, ICH) и 2 PCI 2.3 32bit/33MHz/3.3V? (шина A, в этом шасси использовать невозможно).
6 каналов SATA II в ICH9R (спереди SATA{012}, слева SATA{345}. 2 фиксированные корзины для SATA дисков 3.5" (дном вверх).
3 фиксированных вентилятора.
iBMC Server Engines LLC Pilot II со встроенным видеоконтроллером (8MB, 1600x1200x16, PCI Express x1/PCI?, шина A), Super I/O (используется только для COM), BMC (Baseboard Management Controller, ARM946E-S), уникальный номер, аппаратный генератор случайных чисел. BIOS Setup не имеет средств настройки BMC, можно настраивать с помощью ipmitool (статический адрес задать не удалось).
Winbond PC8374L как Super I/O через LPC в ICH9R. На другой странице указывается SMSC SCH5027D (Super I/O и мониторинг). Зачем 2 чипа для LPC и мониторинга (и есть ещё мониторинг в ICH9R)?
Встроенная сеть Intel 82541PI/82541GI (PCI32, ICH, шина A, NIC1) и 82566E/82566DM-2 (шина C, NIC2, PCI Express x1/GLC?) - NIC1 вверху справа (драйвер e1000, eth1 или enp3s2), NIC2 внизу слева (драйвер e1000e, eth0 или enp0s25).
Последовательный порт на задней панели (DB-9, по умолчанию - /dev/ttyS0, COM1, A) и разъём на плате для подключения COM2 (B).
До 6 (5?) портов USB 2.0 (6 UHCI и 2 EHCI): 2 порта на задней панели, 1 порт на передней (клавиатура не работает) 2 порта на плате и обычный разъём на плате для флешки.
На передней панели кнопка включения питания и индикаторы состояния (мигает зеленым - небольшие проблемы, мигает оранжевым - прединфарктное состояние, горит оранжевый - худшее уже произошло), питания, активности дисков, активности NIC1 и NIC2. Сзади индикаторы POST диагностики.
Фиксированный блок питания на 350W нестандартного размера.
slim SATA DVD-RW
Порты PS/2 для клавиатуры и мышки.
Вход в настройки UEFI BIOS - F2 при загрузке.
Переключатели: сброс настроек BIOS, сброс пароля BIOS, восстановление BIOS (с образа на USB или CD-ROM с помощью UEFI Shell).
Сервер Intel SR1670HV представляет собой корпус для двух двухсокетных материнских плат (S5500HV) в стоечном исполнении (1U, полноразмерный - 686 мм в глубину) на четырёх- или шестиядерных CPU Intel XEON 56xx (или 55xx) с TDP до 95 Вт (в списке совместимости - до X5670) с отдельными блоками питания (770 Вт, КПД 89% при нагрузке 50%, мониторинг через BMC) без резервирования и горячей замены, 2550 BTU/hour. Сама плата поддерживает ЦП с TDP 135 Вт (первый ЦП - справа).
Intel 5500 IOH и ICH10R (по 4 порта SATA на плате). Режим Intel Software RAID (только MS Windows) или LSI Software RAID выбирается перемычкой. По 4 НЖМД SATA2 2.5" с горячей заменой, индикаторы состояния и активности.
По 6 DDR3 на ЦП (до 96GB) - 3 канала по 2 модуля (заполнять начиная с дальнего - A1). Можно использовать RDIMM (только ECC, до 1333 в одиночестве и до 1066 парамми) или UDIMM (ECC или не ECC). Смешивать нельзя. Материнская плата поддерживает память SR, DR и QR (не для шасси SR1670HV); x4 и x8 (x16 не поддерживается); 1Gb и 2Gb (256Mb, 512Mb и 4Gb не поддерживаются). В BIOS можно сконфигурировать независимую работу каналов памяти или зеркалирование.
По одному PCIe 2.0 16x половинной длины низкого профиля на узел (riser slot).
Встроенная сеть Ethernet 1000BASE-T на Intel 82574L на 2 порта (первый - справа вверху, второй - справа внизу). Отключаются перемычками.
Совмещённый контроллер видео и управления (BMC, IPMI 2.0 по HTTP/telnet/SSH) с выделенным портом Ethernet (левый) - ASPEED AST2050 (8 MB видеопамяти, ast_drv.so из xorg-x11-drv-ast, 1600x1200x60, 16 bpp, отключается перемычкой). Для мониторинга используется Winbond 83795ADG. Для удалённого доступа требуется дополнительный модуль (Baseboard Management Module - BMC).
8 сдвоенных вентиляторов без горячей замены и резервирования.
Разъёмы VGA (DB-15) и RS-232 (DB-9) сзади.
2 USB порта сзади, 1 спереди и 1 на плате.
Индикатор идентификации системы - сзади (голубой). Индикаторы на плате: наличие напряжения, сбой ЦП, работа BMC. Индикаторы спереди: наличия питания, сообщение мониторинга, идентификация, LAN1, LAN2, HDD. Кнопки спереди: питания, сброса, идентификации.
Сервер Intel SR1680MVR представляет собой корпус для двух двухсокетных материнских плат (FSR1680BRDR) в стоечном исполнении (1U, полноразмерный - 71.4 см в глубину) на четырёх- или шестиядерных CPU Intel XEON 56xx (или 55xx) с TDP до 95W (X5670, X5667, X5660, X5650, X5570, X5560) с общим блоком питания и двумя платами ввода-вывода (левая и правая - отличаются физически - FSR1680IOLFT и FSR1680IORHT), до 1023 BTU/час. В документации сказано, что правые платы должны быть (успешно вытаскивал и материнскую плату и плату ввода/вывода). Потребление при нашей полной нагрузке - 600 Вт (2xX5670 и 48GB).
Процессоры: XEON X5670 (6 ядер с HT, 2.93GHz (турбо до 3.33 GHz), 2 QPI до 6.4 GT/s (между процессорами и к IOH 24D), L3 12 MB, DDR 1333 или 1066 или 800, SSE 4.2). FC-LGA 1366 socket B, встроенный 3-канальный контролер памяти. Первый процессор - ближний слева (в альбоме указан как дальний справа), он должен быть, терминатор свободного сокета не нужен.
Чипсет Intel 5500 (IOH 24D, 2 QPI к обоим ЦП (по 20 линий в каждом направлении), 16 линий PCI Express 2.0 (один порт x16 или два x8) и 4 линии PCI Express 2.0 объединяются в IO Conn и раздаются на Riser Card (x8), два Intel I/O Expansion Modules (по x4), встроенные Ethernet (x4) и BMC (ServerEngines LLC Pilot II), Intel I/O Acceleration Technology 3, Intel VT for Directed I/O 2) и 82801JR, TPM 1.2. Между чипами интерфейс ESI (PCI Express 1.0 x4, port 0). Intel 82801JI (ICH10R): 6 портов PCI Express 1.1 (1 порт к BMC) с поддержкой PCI 2.3 (33 MHz), ACPI 3.0a, LPC, SMBus 2.0, FWH, SPI, 4 датчика скорости вращения вентиляторов и 3 контроллера скорости вращения вентиляторов, Intel Anti-Theft Technology (ограничение доступа к содержимому НЖМД?), 2 SATA контролера, до 6 SATA портов (RAID-0, RAID-1, RAID-10), 2 канала на backplane, 2 неиспользуемых разъёма (SATA3 и SATA4) слева спереди.
Память (совместимость)- до 18 модулей DIMM DDR3 ECC REG (до 8ГБ) или unbuffered [ECC] 800/1066/1333 (до 4ГБ) на плату, напряжение - 1.5V или 1.35V (DDR3L), по 3 канала на каждый процессор, по 3 модуля RDIMM или 2 модуля UDIMM на канал (не должны быть одинаковы, но рекомендуется), до 144GB на плату. При смешении DDR3 и DDR3L подаётся напряжение 1.50V. Нельзя смешивать регистровую и небуферизованную память (даже на разных каналах одного ЦП). Используется одинаковая частота для всех модулей памяти на плате. Используются одинаковые характеристики памяти для всех модулей одного канала. Частота 1333 MT/s используется только при установке одного модуля памяти на канал (800 MT/s при использовании всех 3 слотов на канал). quad rank модуль (1066 MT/s в одиночестве и 800 MT/s при заполнении второго слота) должен быть установлен в слот 0 канала (дальний от ЦП). Модули DDR3L - не более 2 на канал и на меньшей частоте. Начинать заполнение с каналов A (слот A1) и D (слот D1). Продолжать в белые слоты. Если процессор отсутствует, то память в его слоты вставлять нельзя. Можно не вставлять память в слоты одного из процессоров, но скорость будет снижена. Свободные слоты A3, C3, E3 и F3 должны быть заполнены заглушками для нормального охлаждения. Возможно зеркалирование памяти между каналами (mirror, используются только 2 канала) и режим Combined (Lockstep) Channel (SDDC - Single Device Disable Code, aka Chipkill, ширина доступа - 128 бит, позволяет пережить сбой целого модуля x8, используются только 2 канала), периодическое самотестирование, обычный режим называется "Channel Independent Mode".
Переходник (Active Riser Card) для низкопрофильной PCI Express 2.0 x8 (x1, x4) половинной длины на каждой плате (до 25W, физически x16).
2 места под Intel I/O Expansion Modules (подписаны как 10G на 2 порта CX4 (AXX10GBIOMOD) и QDR Infiniband на 1 порт CX4 (AXXIBQDRIOMOD)) на каждой плате (логически - это PCI Express x4, физически - нестандартный разъём). Каждый модуль занимает оба места.
Встроенный контроллер ServerEngines LLC Pilot II (32 или 64 МБ) обеспечивает графический контроллер (Matrox MGA G200e, до 128 МБ под графику, PCI Express x1, разъём VGA на передней панели, разрешение 1600x1200x75, таблица частот только до 1280x1024?), IPMI 2.0, BMC (Baseboard Management Controller, Megarac Aviator фирмы American Megatrends, прошивка 1.14), LPC (Super I/O), 2 ethernet (10/100) - не используются, последовательный порт (Serial-Over LAN) и KVM over IP с аппаратным сжатием (ZRLE, Hextile) и шифрованием (VNC RFB v3.8), доступ к данным FRU (Field Replacement Unit), SEL (System event log) и SDR (Sensor device record). USB клиент для ICH10R (имитирует виртуальную клавиатуру, мышь и диск). Подключён и к 5520 и ICH10R (PCI Express 1 x1). Основан на ARM9 (250 MHz). Поддерживает несколько каналов IPMI 2.0: 00h (протокол IPMB, подключение I2C), 01h (выделенный Ethernet, протокол IPMB, аутентификация), 08h (разделяемый Ethernet через System Interface, протокол KCS). Для автоматических действий (выключение, цикл питания, сброс, NMI, послать сообщение) необходимо сконфигурировать PEF: Event Filter Table (40 записей) и Alert Policy Table (60 записей). BMC требует себе IP адрес по DHCP, невзирая на отключение удалённого доступа в BIOS. Настройки VLAN имеются, но не работают. При смене настроек сети требуется перезагрузка BMC, которая не всегда успешна (может сбросить скорость ВСЕХ интерфейсов на 10 Mbps).. Доступ по HTTP (80, 443) и ASF Remote Management and Control Protocol? (623). По умолчанию пользователь root имеет пароль superuser. В новой прошивке пользователь root отключён (включить с помощью ipmitool). Можно посмотреть значения датчиков (8 датчиков температуры на материнской плате, 2 датчика температуры процессоров, датчики напряжений, 6 датчиков вращения вентиляторов, проблема ЦП, перегрев, сторожевой таймер), посмотреть содержимое журнала, посмотреть состояние птания ACPI, получить информацию о BMC, получить доступ к консоли (Java), выключить питание, холодный и тёплый сброс, запустить самотестирование. Имеется консольная утилита dpccli (/usr/local/cli/dpccli и запустить сервис cliservice). Перезагрузка: "ipmitool mc reset warm". При удалённом включении питания скорость Ethernet на eth0 остаётся 10Mbit (BMC и eth0 на одном встроенном хабе), необходимо выключить питание, передёрнуть плату ввода/вывода и включить питание.
backplane для 2 SAS/SATA дисков SFF (2.5") с горячей заменой на каждой плате (подсоединён к ICH), зелёный (голубой?) индикатор активности и оранжевый (красный?) индикатор ошибки на каждом поддоне, нумерация слева направо. В документации требуется выключить питание перед вставкой диска.
Мезанин для Intel Dual Gigabit 82576 (PCI Express x4 от 5520) с поддержкой WOL и PXE 2.1 - 2 RJ-45 на задней панели (NIC1 ближе к центру, NIC2 ближе к краю).
Легкозаменяемые вентиляторы на плате ввода/вывода (3 блока по 2 штуки на плату - FSR1680FAN), безкабельное подключение вентиляторов в блоке (не горячее, выдерживает отключение одного вентилятора). Рассчитано на внешнюю температуру 35C.
Общий блок питания 1100W (FSR1680PS), КПД - 92% при 50% загрузке. Индикация на блоке (зелёный). Общий модуль распределения (заменяемый). Один вентилятор. Измерял нагрузку - 250VA на узел под полной нагрузкой и 100VA при простое.
Последовательный порт на передней панели (D-Sub, по умолчанию - /dev/ttyS0, COM1, A).
До 12 портов USB 2.0 (6 UHCI и 2 EHCI): 2 порта на передней панели.
Кнопка включения питания с индикатором включения (зелёный) и наличия дежурного питания (оранжевый). Кнопка идентификации с голубым индикатором (дублирована сзади). Индикаторы на передней панели: состояние сервера (мигающий красный - проблемы, красный - критические проблемы), активность диска, активность NIC1 и NIC2. Индикаторы сбоев памяти и вентиляторов на самой плате (недоступно, т.к. под коробкой с дисками).
Переключатели MISC (правая группа): MANUFACTURING_DEN_N (?, пин 8), сброс пароля BMC (пин 10), низкое напряжение DDR (пины 11 и 12), BTN_FP_RST_N (?, пин 13), Переключатели Functions (левая группа): сброс настроек BIOS, сброс пароля BIOS, восстановление BIOS (с образа на USB или CD-ROM с помощью UEFI Shell), защита BIOS (от записи?), сброс RTC.
Вход в настройки BIOS - F2 при загрузке. Включение C-STATE приводит к зависанию системы через некоторое время (CentOS 5.7). Управление охлаждением отсутствует - полный автомат..
Обновлять прошивку BMC необходимо перед обновлением BIOS. Intel поставляет обновления (более 8MB!) в виде программ под DOS (no HIMEM), что является издевательством, т.к. обычный DOS не в состоянии читать файлы с USB флешки. Прошивка BMC 1.14 ("run.bat 1", передёрнуть питание): доступ к BMC через оба сетевых интерфейса, IPMI over LAN (IOL) теперь работает, если сетевой кабель подсоединён после включения питания. Прошивка BIOS 1.15 ("run.bat 1", предлагается перезагрузиться и сбросить настройки BIOS): микрокоды, исправлена ошибка конфигурации QLogic, поддержка SLP (System Locked Pre-installation) для MS Windows. После прошивки BIOS обязательно обесточить плату (выдернуть её и плату ввода/вывода) - иначе скорость Ethernet будет 10 Мбит и будут проблемы с IPMI; дождаться пока сервер включится сам - если нажать кнопку питания, то не будет связи с BMC.
Сервер Intel SR2625URLX представляет собой двухпроцессорный сервер в стоечном исполнении на четырёхядерных CPU Intel XEON 55xx и шестиядерных 56xx. Формат материнской платы Intel Server Board S5520UR - SSI CEB-leveraged (12" x 13"). С использованием этой материнской платы собираются сервера на платформе SR2625URLX (2U, 8 SFF SAS дисков горячей замены), SR2600URBRP (2U, 6 LFF дисков горячей замены), SR2600URLX (2U, 6 LFF SAS дисков горячей замены), SR2600URSATA (2U, 6 LFF дисков горячей замены), SR1625UR (1U, 8 SFF дисков горячей замены), SR1625URSAS (1U, 8 SFF SAS дисков горячей замены), SR1600UR (1U, 3 фиксированных LFF), SR1600URHS (1U, 3 LFF SAS диска горячей замены). 2 блока питания (760 Вт) с резервированием N+1 и 3 вентилятора без резервирования для платформы 2U (BRP) или 6 вентиляторов с резервированием и горячей заменой (LX и SATA). 1 блок питания (600 Вт) без резервирования и 5 вентиляторов без резервирования для платформы SR1600UR или SR1600URHS. 2 блока питания (650 Вт) с резервированием N+1 и 5 вентиляторов без резервирования для платформы SR1625URSAS. Платформы 1U имеют глубину 69 см, платформы 2U - 70.5 см в глубину.
Процессоры: XEON X5560 Nehalem (4 ядра, 2.8GHz, QPI 1333, L3 8 MB, TDP 95W) и Intel X5680 (6 ядер, 3.33GHz, L3 12 MB, TDP 130W). FC-LGA 1366 socket B, встроенный 3-канальный контролер памяти, 2 QPI до 6.4 GT/s, до 95W TDP (материнская плата поддерживает до 130W), EVRD 11.1, SSE[234], HT, турбо-режим. Первый процессор - дальний слева, он должен быть, терминатор свободного сокета не нужен.
Чипсет Intel 5520 (X58), 24 линии PCI Express 2.0 (16+8), Intel I/O Acceleration Technology 2, Intel VT for Directed I/O 2. Между чипами PCI Express 1.0 x4 (port 0). Intel 82801Jx (ICH10R): PCI Express 1.0, PCI 2.3 (33 MHz), ACPI 3.0a, LPC, FWH, SPI, до 6 SATA устройств (RAID-0, RAID-1, RAID-10). Неиспользуемые разъёмы по левому борту (SATA0 внизу). Требуется ключ активации (RAID Activation Key) для программного RAID-5 от Intel. Требуется модуль AXX4SASMOD (RAID-5) или SROMBSASMR aka AXXROMBSASMR aka SRCSASLS4I (RAID-60) для поддержки SAS устройств.
Память - до 12 модулей DIMM DDR3 ECC REG или unbuffered [ECC] 800/1066/1333, высотой до 30.48 mm, по 3 канала на каждый процессор, по 2 модуля на канал (не должны быть одинаковы, но рекомендуется), до 96GB. Нельзя смешивать регистровую и небуферизованную память Начинать заполнение с каналов A (слот A1) и D (слот D1). Если процессор отсутствует, то память в его слоты вставлять нельзя. Можно не вставлять память в слоты одного из процессоров, но скорость будет снижена. Свободные слоты (головные в канале) должны быть заполнены заглушками. Возможно зеркалирование памяти между каналами (mirror, каналы C и F при этом не испольуются) и периодическое самотестирование, обычный режим называется "Channel Independent Mode".
PCI Express: переходник (Active Riser Card, 280-pin) на 3 полноразмерных и 2 низкопрофильных PCI Express 2.0 x8 (всего x24); 2 нестандартных разъёма для модулей расширения ввода-вывода PCIe 2.0 x4. В платформах 1U предусмотрен только 1 PCIe 2.0 x16 и 1 нестандартный разъём для модулей расширения ввода-вывода PCIe 2.0 x8.
Встроенный контроллер ServerEngines LLC Pilot II (32 или 64 МБ) обеспечивает графический контроллер (Matrox MGA G200e, 8 МБ под графику, PCI Express x1), IPMI 2.0, BMC (Baseboard Management Controller), LPC (Super I/O), 2 ethernet 10/100. Подключён к 5520 и ICH10R (PCI Express 1 x1). Основан на ARM9 (250 MHz). Разъёмы VGA на задней и передней панелях (работает только один). Разрешение 1600x1200 (таблица частот только до 1280x1024). USB интерфейс с основным чипсетом (виртуальная клавиатура, мышь и диск).
PCI Express 1.0 x4 (порты от 1 до 4, bridge-board connector Midplane2) для подключения промежуточной платы (midplane). bridge-board представляет собой механический переходник для передачи сигналов от основной платы к промежуточной (3 USB, видео, I2C, управление вентиляторами, PCI Express x4).
Активная промежуточная плата (midplane) содержит RAID контроллер (PCIe 1.0 x4), кеш, ключ активации RAID, соединяет основную плату и backplane с дисковыми разъёмами.
Набортный SAS/SATA RAID контроллер - AXXROMBSASMR aka SRCSASLS4I aka LSI SAS ROC (RAID On-a-Chip, Power PC 533 MHz) 1078 для 8 SAS/SATA устройств (4 порта, требуется SATA 2?), интерфейс - Fusion MPT. Опция: DDR2-667 Mini DIMM, от 128 MB ECC DDR2 667 MHz. Поддерживает RAID-0, RAID-1 и RAID-10. При установленном ключе активации поддерживает RAID-5, RAID-6, RAID-50 и RAID-60. Доступ к настройке: при загрузке нажать ^G (или ^E?) или RAID Command Line Tool 2 Utility (пакеты CmdTool2-5.00.14-1.i386.rpm и Lib_Utils-1.00-01.noarch.rpm, документация по "-?", журнал в MegaSAS.log, modprobe megaraid_sas (ищет megaraid_sas_ioctl в /proc/devices, c253), mknod /dev/megaraid_sas_ioctl_node c 253 0); не находит megaraid_swr_ioctl в /proc/devices; не находит megaraid_sas в /sys/class/scsi_host/host*/proc_name - вместо него mptsas) или MegaCli64 от LSI (аналогично находит контроллер) или megactl (то же самое). Расширение (добавление диска) и смена уровня RAID (ограниченный набор) без остановки работы, перемещение дисков и виртуальных дисков, замена контроллера (требуется сбросить конфигурацию перед подключением дисков), резервные диски (локальные и общие, автоматическое назначение нового диска резервным), до 64 виртуальных дисков. Фоновая проверка носителей и тестирование массивов. Звучка нет. Индикатор неисправности (оранжевый). SES2. Физические диски объединяются в массив, из которого нарезаются виртуальные диски. Физический диск может быт в одном из состояний: не конфигурирован, в работе, резервный, конфигурирован и сбоит, перестраивается, не конфигурирован и сбоит, отсутствует, отключён. Состояния виртуального диска: оптимальное, деградированное, отключён. Тип кеширования и размер полоски (stripe) настраиваются на уровне виртуального диска. Автоматическое перестроение и продолжение перестроения и инициализация после перезагрузки. Конфигурация хранится на дисках и в NVRAM.
В некоторых полученных серверах оказался SRCSASBB8I (LSI Logic MegaRAID SAS 1078), утилита CmdTool2 работает.
В некоторых полученных серверах оказался LSI SAS 1078, но с совершенно другим интерфейсом (ALMP2 ; нажать ^C при загрузке), что он умеет надо выяснять опытным путём. Поддерживает массивы (они же логические диски): RAID-0, RAID-1, RAID-5 (со своими собственными названиями). Никаких точных настроек нет. Позволяет пропускать отдельные диски насквозь. Создание массива идёт то ли в фоновом режиме, то ли по потребности (?). Распараллеливания при чтении RAID-1 нет. При записи при заполнении кеша устраивает длительные паузы. Модули: mptbase (Fusion MPT base driver; параметры: mpt_msi_enable, mpt_channel_mapping), mptsas (Fusion MPT SAS Host driver), mptscsih (Fusion MPT SCSI Host driver), mptspi, mptfc, mptscsi, mptctl. Переменные в /proc: /proc/mpt/summary, /proc/mpt/ioc0/info. Вместо описанных в документации утилит нужно использовать lsiutil (кстати, LSI не признаётся, что она делала такие устройства - в списке для загрузки их нет): есть менюшный интерфейс (можно создать и удалить том, посмотреть состояние синхронизации, но запустить её можно только из BIOS). Физические диски доступны по "smartctl /dev/sgX" или "smartctl -d sat /dev/sdX". Информация о состоянии: mpt-status (для сборки требуются заголовки от драйвера lsi в incl/).
# mpt-status -i 1 ioc0 vol_id 1 type IM, 2 phy, 231 GB, state OPTIMAL, flags ENABLED ioc0 phy 0 scsi_id 2 ATA WDC WD2500BJKT-7 1A11, 232 GB, state ONLINE, flags NONE ioc0 phy 1 scsi_id 11 ATA WDC WD2500BJKT-7 1A11, 232 GB, state ONLINE, flags NONE # mpt-status -i 1 -n -s vol_id:1 DEGRADED phys_id:1 ONLINE phys_id:0 ONLINE scsi_id:1 46% # % завершения, синхронизация запускается автоматически при вставке диска scsi_id:0 46% # но можно вручную (lsiutil, RAID) перевести в offline и обратно # lsiutil (выбрать RAID actions) 1 volume is active, 2 physical disks are active Volume 0 is Bus 0 Target 1, Type IM (Integrated Mirroring) Volume Name: Volume WWID: 05f4bf81b5e854b7 Volume State: degraded, enabled, resync in progress Volume Settings: write caching enabled, auto configure Volume draws from Hot Spare Pools: 0 Volume Size 305175 MB, 2 Members Primary is PhysDisk 0 (Bus 0 Target 11) Secondary is PhysDisk 1 (Bus 0 Target 2) 1 volume is active, 2 physical disks are active PhysDisk 0 is Bus 0 Target 11 PhysDisk State: online PhysDisk Size 305245 MB, Inquiry Data: ATA ST9320423AS SDM1 Path 0 is Bus 0 Target 11, online Path 1 is Bus 255 Target 255, invalid PhysDisk 1 is Bus 0 Target 2 PhysDisk State: online PhysDisk Size 305245 MB, Inquiry Data: ATA ST9320423AS SDM1 Path 0 is Bus 0 Target 2, online Path 1 is Bus 255 Target 255, invalid Volume 0 State: degraded, enabled, resync in progress Resync Progress: total blocks 624998400, blocks remaining 607865912, 97%
Возможно установить батарейку (AXXRSBBU3) на плату: Li-Ion, 72 часа для 128MB, 46 часов для 256 MB, 23 часа для 512 MB, 1050 mAH,время заряда - от 6 до 10 часов, 500 циклов, рекомендуется ежегодная замена, использовать 20-pin кабель 20 дюймов, получение информации (I2C) об уровне заряда, тепературе и пр., автоматическая и ручная калибровка (relearn).
backplane для 8 SAS/SATA дисков SFF (2.5") с горячей заменой, индикатор статуса и ошибки на каждом поддоне. SATA разъёмы для slim DVD-RW Optiarc (жёстко закрепляется) - конвертор из USB (для системы виден как USB устройство!). 2 внутренних отсека для SATA SFF (2.5") дисков или одного 3.5" НМЛ (требуется закупка дополнительного набора). USB для переднего порта от midplane. Включает датчик температуры (LM75) и контроллер корзины Vitesse VSC410 (SAF-TE, SES, I2C, IPMI).
Встроенная сеть Intel Dual Gigabit 82575EB (PCI Express x4 от 5520) - 2 RJ-45 на задней панели (NIC1 слева, NIC2 справа).
Порты PS/2 для клавиатуры и мышки.
Легкозаменяемые вентиляторные модули (3 блока по 2 штуки), горячее бескабельное подключение вентиляторов (10-pin) в блоке. Индикатор сбоя на каждом вентиляторе Отстанов всего блока приводит к отключению сервера.
2 блока питания (верхний - основной) с возможностью горячей замены (справа вверху и внизу) по 750W (860W в пике), КПД - 89% при 50% загрузке. Индикация на блоке (зелёный (мигает - сон) и оранжевый (мигает - предупреждение)). По 2 вентилятора, не резервированные. Общий модуль распределения.
Последовательный порт на задней панели (RJ-45, по умолчанию - /dev/ttyS0, COM1, A) и разъём на плате для подключения COM2 (B).
До 12 (10?) портов USB 2.0 (6 UHCI и 2 EHCI): 4 порта на задней панели, 1 порт на передней (USB 1.1?) и 2 порта на плате, низкопрофильный порт для подключения USB SSD
Кнопка включения питания с индикатором включения и наличия дежурного питания (?). Кнопка идентификации с индикатором (диблирована сзади). Кнопка сброса. Кнопка NMI. Индикаторы на передней панели: состояние сервера (дублирован сзади; зелёный - всё хорошо, жёлтый - проблемы, красный - критические проблемы; при отключении одного из блоков питания на одном из серверов замигала зелёная лампочка, на другом ничего не произошло вовсе), активность диска, активность NIC1 (eth0) и NIC2 (eth1). Индикаторы сбоев памяти и вентиляторов на самой плате.
Возможна замена стандартной панели управления на панель с ЖК экраном (Local Control Panel) - индикация сбоев вентилятора, памяти, CPU, POST.
Индикатор POST диагностики сзади.
Возможен модуль удалённого управления RMM3 - KVM и виртуальный диск, ethernet, веб-интерфейс, удалённое включение и выключение питания
Переключатели: настройки последовательного интерфейса, BMC Force Update, сброс настроек BIOS, сброс пароля BIOS, восстановление BIOS (с образа на USB или CD-ROM с помощью UEFI Shell).
Вход в настройки BIOS/UEFI - F2 при загрузке.
Набор для обновления BIOS/BMC для EFI Shell (System Firmware Update) содержит полный комплект утилит и прошивок для обновления BMC, BIOS, ME, FRU и SDR (управляющий файл master.cfg):
Тест PCT (Platform Confidence Test package), загружаемый с USB диска (EFI Shell).
Встроенный BMC (возможна доустановка RMM3 для KVM over LAN с аппаратным сжатием и шифрованием; виртуальных USB носители, веб-интерфейс) обеспечивает IPMI 2.0. Канал 0 - IPMB (I2C), канал 1 - совмещённый с NIC1 (NIC2) сетевой интерфейс, канал 3 - выделенный сетевой интерфейс (при наличии RMM3), канал 4 - последовательный порт, канал 6 - IPMB (I2C), канал 7 - KCS. BMC обеспечивает доступ к данным FRU (Field Replacement Unit), SEL (System event log) и SDR (Sensor device record), SMASH CLP (сетевой доступ по ssh). Извещения по SMTP. Управление включением питания и сбросом ("ipmitool -I lan -H адрес -U root power status").
Платформа (Server System) Intel H2000JF для HPC предоставляет на выбор несколько видов шасси высотой 2U, в которые помещается 4 вычислительных узла (нумерация слева направо и снизу вверх). Рабочая температура - от +10 до +35 (55?)градусов (не более 10 градусов в час). Шум - 7.4BA.
Шасси H2312XXJR включает корпус (H2000), салазки AXXELVRAIL, переднюю панель (FH2000FPANEL, на ушках), блок распределения питания FXXCRPSPDB, 2 блока питания (нижний - первый, верхний - второй) с горячим подключением, объединительную плату FH2K12X35HSBP для горячего подключения 12 SAS/SATA LFF дисков (по 3 диска на каждую материнскую плату, корзинка FXX35HSADPB, позволяет устанавливать SFF диски). Объединительная плата общается с вычислительными узлами по SGPIO SFF-8485 и 4 SMBUS каналам: SMBUS R1 для температурного датчика и FRU шасси, SMBUS R5 для контроллера и разделяемого мониторинга 12V, SMBUS R7 для PMBus (см. ниже), IPMB для OEM. Каждый диск получает индикаторы состояния (оранжевый, сбой или перестроение) и активности (мигает при активности, горит при наличии SAS устройства), общий на всех звучок. Диски приписываются узлам согласно геометрической близости в верхнем и нижнем рядах, в средней ряду верхнему узлу принадлежит левый диск, а нижнему узлу правый; нумерация дисков с нуля - слева направо и снизу вверх (сверху вниз). Имеются варианты с 16 SFF дисками (H2216XXJR, по 4 диска на каждую материнскую плату, диски приписываются узлам согласно геометрической близости, нумеруются с нуля слева направо и сверху вниз). Размер - 438x771x87.9 мм (LFF) или 438x733x87.9 (SFF). Вес - до 38 кг (до 32 кг).
Блоки питания в стандарте CRPS (Common Redundant Power Supply) с поддержкой PMBus 1.1 (для управления) - DELTA DPS-1200TB (FXX1200PCRPS), 1200 Вт, IEC320 C14, 80Plus Platinum, пиковая нагрузка - 1600 Вт (20 секунд до извещения по SMB), отключение при нагрузке 1680-2040 Вт. Нижний - нумеруется 1, верхний - 2. Имеется сдвоенный вентилятор без резерва и без возможности замены. При поломке одного БП вместо него необходимо вставить заглушку. Управляющим для PMBus является BMC узла 1. Через PMBus можно получать информацию о нагрузке каждого БП (в ватах и процентах, точность - 2%) и потреблении каждого узла. Имеются варианты с БП по 1600 Вт (H2312XXKR, FXX1600PCRPS) размер такой же, так же IEC320 C14, пиковая нагрузка - 2100 Вт, отключение при нагрузке 2160-2400 Вт. Поддержка режима холодного резерва (при нагрузке менее 40% один БП может быть отключён). Индикаторы: зелёный - OK, мигает зелёный - спячка или холодный резерв, мигает зелёный 2 Гц - идёт заливка прошивки (см.ниже), оранжевый - нет энергии или критическая проблема (остановился вентилятор, сбой, замыкание), мигает оранжевый - проблема (перегрев, перегруз).
Вычислительный узел HNS2600JF включает модуль питания FH2000NPB (Node Docking Board? Power Docking Board?), переходную плату FHWJFWPBGB для доступа от 4 портов SATA/SAS (AHCI/SCU) к дискам шасси и от порта 6Gb SATA AHCI к DOM (7 pin) и порт USB2 type A и SGPIO SFF-8485 (имеет mini-SAS порт для подключения дополнительного RAID контроллера), переходную плату для установки PCIe3 x16 платы FHW1U16RISER, 3 сдвоенных вентилятора FXX4056DRFAN (потребляют до 75 Вт, датчики и управление скоростью вращения, продолжают вращаться и при выключении модуля, до 21000 RPM? резерва нет!), 2 радиатора (FXXEA91X91HS для переднего ЦП и FXXCA91X91HS для заднего ЦП), экран управления воздушными потоками, корпус и материнскую плату половинной ширины BBS2600JF (S2600JFQ с Infiniband QDR, S2600JFF с Infiniband FDR). Вычислительный узел выдвигается из шасси назад целиком. На передней панели для каждого узла имеются кнопки включения питания (с индикатором) и идентификации (с индикатором, мигает по удалённой команде), прорезь кнопки сброса (?), индикаторы состояния (мигает зелёным - проблема, мигает оранжевым - большая проблема, горит оранжевым - совсем плохо) и сетевой активности. Позволяет измерять потребление энергии (минимум, максимум, среденее, текущее).
Материнская плата S2600JF имеет размеры 153мм x 453мм, позволяет установить 2 ЦП серии E5-2600 (Sandy Bridge-EP, до 135W TDP - в другом месте сказано 130W, первый ЦП -сзади, 2 QPI канала по 8GT/s между ЦП) или E5-2600v2 и 8 регистровых модулей памяти DDR3 с ECC (для E5-2600v2 модули до 32ГБ при QRx4 1066 1.5V, до 16ГБ при DRx4 1600 или QRx8 1066, SR или DR или QR, ширина x4 или x8, 4 канала на каждом ЦП, по 1 модулю на канал) или с пониженным напряжением 1.35V или пониженной нагрузки LRDIMM (QR, x4 или x8; для E5-2600v2 до 32GB при QRx4 1866 1.5V; до 64GB при 8Rx4 1066), имеет 3 слота PCIe3 (обычный LP (MD2) x16 от ЦП1, нестандартный rIOM x8 от ЦП1, перекрытый переходной платой от ЦП2), 2 порта SATA 6 Gbps от AHCI C600-A (один на переходную плату к DOM, другой на плате) и 4 SATA 6 Gbps (иногда написано 3 Gbps) от SCU C600-A (к дискам шасси), 2 USB порта к iBMC (USB 1.1 и USB2), 2 порта USB2.0 сзади и 1 на плате, последовательный порт на плате (от iBMC), встроенное видео (DB-15, VGA, MGA G200e - Pilot ServerEngines (SEP1), 128 MB DDR2), 2 порта Ethernet (1000Base-T, I350, нумерация слева, соединён с iBMC по NC-SI (RMII), MAC адрес первого напечатан, MAC адрес второго на 1 больше, подключены к PCIe x4 на C600, требуются экранированные кабели!), модуль управления Pilot ServerEngines LLC Pilot III (Integrated BMC, iBMC, PCIe1 x1 от C600, RMII от 2 каналов I350, 2 отдельных MAC с RMII/RGMII на 10/100/1000, COM1 (внутренний разъём), аналоговое видео на задней панели, 1600x1200 16bpp (32bpp?) 60Hz и RAMDAC 24 bit (Matrox), KVMS с использованием LPC для KCS, SMIC и BT (удалённый USB 2.0 для CD/DVD и USB 1.1 для удалённой клавиатуры и мыши), ARM 926-EJ с MMU на 400 MHz, 16 тахометров, 8 контроллеров PWM, мониторинг напряжений и температур, 16 MB флеш, сопроцессор SSP для шифрования, сжатия и перенаправления видео). Весь ввод/вывод повешен на ЦП1. Используется периферийная микросхема C600-A (X79): интерфейс к ЦП1 - ESI GEN2 x4 4GB/s (DMI2, PCIe2 x4), ACPI 4.0a. В настройках BIOS можно выбрать 2 варианта работы SCU контроллера (4 диска шасси): Intel Rapid Storage Technology (RSTe, isci, C600 SAS Controller Driver) - проброс диска, RAID-0, RAID-1, RAID-5 (только для SATA), RAID-10 (псевдо RAID); Intel Embedded Server RAID Technology 2 (ESRT2 на базе LSI MegaRAID) - RAID-0, RAID-1, RAID-10 (псевдо RAID). Память может быть (смешивать нельзя, рекомендуется свериться с таблицей в TPS!): небуферизованная (SR x8, SR x16, DR x8) и регистровая (SR и DR и QR, x4 и x8) и LRDIMM (QR x4 и QR x8, до 1333 MT/s), 1.5V (до 1867 MT/s - в другом месте сказано 1600) или 1.35V (до 1600 MT/s - в другом месте сказано 1333). Возможность зеркалирования памяти, lockstep (128-битный доступ), запасной памяти, коррекции ошибок целой микросхемы (x4 для обычного режима, x8 для lockstep). Сзади имеются индикаторы POST, состояния и идентификации. Отдельно можно купить ключ активации расширенного модуля удалённого доступа RMM4 Lite (AXXRMM4Lite, добавляет функции KVM ) и ключ, превращающий SATA котроллер SCU C600 в псевдоRAID и/или SAS контроллер (например, RKSAS4 активирует 4 SAS порта; обрабатывается ME). Имеются варианты с напаянным Infiniband QDR (S2600JFQ) или FDR (S2600JFT) от Mellanox CX3 (PCIe3 x8 от ЦП1), 1 порт. Имеются модули с нестандартным интерфейсом (фактически PCIe x8): полноценный (с отдельным портов Ethernet, Dedicated Server Management NIC, 1Gbps, отдельный MAC) модуль удалённого доступа RMM4 (AXXRMM4IOM , требует AXXRMM4Lite), модуль с 2 портами 10 GbE SFP+ (Intel 82599), модуль с 2 портами 10GBASE-T (Intel X540), модуль с 4 портами 1GbE (Intel I350), модуль с 1 или 2 портами Infiniband QDR или FDR (Mellanox CX3) Переключатели:
Доступ к встроеннному BMC (Integrated BMC, ServerEngines Pilot III Baseboard Management Controller) осуществляется через разделяемые Ethernet порты материнской платы (Integrated BMC channel 1, BMC channel 2). RMM4 Lite (фактически 1M SPI Flash) и RMM4 обеспечивают KVM и перенаправление устройств. RMM4 (состоит из RMM4 Lite и RMM4 DMN - Dedicated Server Management NIC; AXXRMM4IOM не содержит RMM4 Lite, зато содержит rIOM riser) обеспечивает дополнительный независимый от материнской платы канал доступа (Integrated BMC channel 3). К iBMC можно подключить 3 сетевых порта по Network Controller Sideband Interface (NC-SI, физически это RMII) на скорости 100 Mbps (10 Mbps при выключенном питании, 1000 Mbps для RMM4). Заявлено, что связь между хостом и BMC по Ethernet невозможна (однако, в этой версии пингуется и пакеты просматриваются). MAC адреса iBMC на 2 и 3 больше MAC адреса первого сетевого интерфейса, MAC адрес дополнительного Ethernet порта - ещё на 1 больше. Прошивка - Linux. iBMC обеспечивает IPMI 2.0:
Дополнительно к IPMI iBMC обеспечивает
iBMC имеет встроенный веб-сервер (http и https, можно принудить к безопасности настройками): поддерживает до 2 сессий (время бездействия по умолчанию - 30 минут); требует IE 8 и Firefox 3.0 (Firefox 10 под MS Windows); анонимный пользователь (пользователь с пустым именем) не имеет доступа к веб интерфейсу
iBMC общается с ME (RTOS) по вторичной IPMB (SMLink0, 400 kHz) и с БП по PMBus (SMLink1, 100 kHz): чтение датчиков, совместное управление потреблением энергии, обновление прошивки ME, доступ к ME по сети, сообщает ME внешнюю температуру. Поддерживаются коммуникации: SMS посредством KCS (keyboard controller style), SMM посредством KCS, IPMB, IPMI over LAN (до 4 сессий). Каждому интерфейсу присваивается номер канала IPMI: 0 - первичный IPMB, 1 - LAN1, 2 - LAN2, 3 - LAN RMM4, 5 - USB, 6 - вторичный, 7 - SMM, 15 - SMS. До 15 пользователей, привязываемых к каналам: 1 - пустое имя (Admin без доступа к веб-серверу), 2 - root (всегда с административными привилегиями). Первоначальная настройка (сетевые параметры и настройки пользователей; по умолчанию сеть отключена и все пользователи заблокированы) возможна с помощью настроек BIOS, IDA (см. ниже), утилиты syscfg) и команд IPMI.
После окончательной сборки необходимо запустить утилиту FRUSDR для заполнения SDR, иначе датчики будут недоступны (и список датчиков будет странен).
Доступ к программе настройки BIOS при загрузке - F2.
Набор для обновления BIOS/BMC для UEFI Shell (System Firmware Update) содержит полный комплект утилит и прошивок для обновления BMC, BIOS, ME, FRU и SDR (управляющий файл master.cfg):
Изменения:
IDA 5.0 (Intel Deployment Assistant) позволяет обновлять прошивки (BIOS, BMC, ME, FRUSDR) по сети или с флешки, настраивать параметры BIOS, конфигурировать RAID, устанавливать драйверы MS Windows и Linux. Имеются режимы клонирования (все действия по установке первого сервера записываются в config.ini и создаётся загружаемый образ для USB флешки или обеспечивается загрузка по PXE) и предварительной настройки для OEM. Выполнен в виде загружаемого образа ISO (Linux).
E5_Linux включает (распаковывает прямо в текущий каталог, требуются libstdc++.i686 и ncurses-libs.i686):
CPU2 is detected. Power supply 1 is detected. Model Number: DPS-1200TB A Power supply 2 is detected. Model Number: DPS-1200TB A Redundant Power Supply Configuration Hot-swap HDD backplane is detected. HSBP PSOC is detected. Power Docking Board is detected. Intel(R) Server Chassis - H2312. IB De-pop SKU
E5_EFI включает (UEFI Shell умеет работать с USB флешками в формате FAT32)
При запуске HPL (linpack) каждый узел потребляет от 510 до 540 Вт, процессор в глубине нагревается на 15 градусов больше, срабатывает тротлинг и потребляемая мощность падает до 450 Вт. После форсирования вентиляторов минимальное потребление модуля увеличивается с 70 Вт до 150 Вт, максимальное - до 570 Вт:
syscfg /bcs "System Acoustic and Performance Configuration" "Fan PWM Offset" 100 Physical id 0: +85.0°C (high = +85.0°C, crit = +95.0°C) Physical id 1: +75.0°C (high = +85.0°C, crit = +95.0°C) System Airflow | 40 CFM | ok BB Inlet Temp | 26 degrees C | ok HSBP Temp | 16 degrees C | ok SSB Temp | 60 degrees C | ok BB BMC Temp | 49 degrees C | ok P1 VR Temp | 42 degrees C | ok IB QDR Temp | 39 degrees C | ok Exit Air Temp | 47 degrees C | ok HSBP PSOC | 29 degrees C | ok LAN NIC Temp | 63 degrees C | ok Sys Fan 1A | 20252 RPM | ok Sys Fan 1B | 20640 RPM | ok Sys Fan 2A | 20252 RPM | ok Sys Fan 2B | 20210 RPM | ok Sys Fan 3A | 20003 RPM | ok Sys Fan 3B | 21070 RPM | ok PS1 Status | 0x01 | ok PS2 Status | 0x01 | ok PS1 Input Power | 1134 Watts | ok PS2 Input Power | 1106 Watts | ok PS1 Curr Out % | 86 unspecified | ok PS2 Curr Out % | 83 unspecified | ok PS1 Temperature | 32 degrees C | ok PS2 Temperature | 29 degrees C | ok syscfg /bcs "System Acoustic and Performance Configuration" "Fan PWM Offset" 50 # Перегрева нет, на холостом ходу 112 Вт и 16000 RPM syscfg /bcs "System Acoustic and Performance Configuration" "Fan PWM Offset" 30 # Перегрева нет, на холостом ходу 93 Вт и 13000 RPM syscfg /bcs "System Acoustic and Performance Configuration" "Fan PWM Offset" 20 # Перегрев очень редко, на холостом ходу 88 Вт и 11000 RPM, 150 Вт экономии на 24 вентиляторах Sys Fan 1A | 18011 RPM | ok Sys Fan 1B | 18576 RPM | ok Sys Fan 2A | 18592 RPM | ok Sys Fan 2B | 18060 RPM | ok Sys Fan 3A | 18011 RPM | ok Sys Fan 3B | 18576 RPM | ok PS1 Status | 0x01 | ok PS2 Status | 0x01 | ok PS1 Input Power | 1057 Watts | ok PS2 Input Power | 1029 Watts | ok PS1 Curr Out % | 82 unspecified | ok PS2 Curr Out % | 79 unspecified | ok PS1 Temperature | 34 degrees C | ok PS2 Temperature | 31 degrees C | ok
Платформа (Server System) Intel H2000G для HPC предоставляет на выбор несколько видов шасси высотой 2U, в которые помещается 4 вычислительных узла (нумерация от 1 слева направо и снизу вверх). Рабочая температура - от +10 до +35 градусов (ограничения конфигурации при 27 и выше; изменение не более 10 градусов в час). Шум - 7.0 BA. При запуске memtest86+ 5.01 каждый узел потребляет в параллельном режиме 226 Вт (в одноядерном - 153 Вт) и 267 Вт.
Шасси H2216XXKR2 (ширина корпуса без ушек - 438 мм, глубина 733 мм, вес 20.5 кг, 40-209 (20-152?) CFM) включает
Шасси H2224XXLR2 (ширина корпуса без ушек - 438 мм, глубина 733 мм, вес 20.64 кг, 28-140 CFM) включает
Блоки питания (нижний - первый, верхний - второй) с горячим подключением на 1600 Вт (FXX1600PCRPS) и 2130 Вт (FXX2130PCRPS) в стандарте CRPS (Common Redundant Power Supply), 80 Plus Platinum (82% при 10% нагрузки, 90% при 20% нагрузки, 94% при 50% нагрузки, 91% при 100% нагрузки), 12V и 12Vsb, PFC (0.8 при 10% нагрузки, 0.9 при 20% нагрузки, 0.95 при 100% нагрузки), PMBus 1.1 (для управления), 5459 BTU/hr и 7268 BTU/hr, IEC320 C14, сдвоенный встроенный вентилятор 40x56 мм без резерва незаменяемый, входное напряжение от 180 до 264 В, допускает перерывы до 12 мс (12Vsb - до 70 мс). Активное разделение нагрузки (10%). Выключатель отсутствует. Пиковая нагрузка - 2100 Вт и 2552 (?) Вт, 20 секунд до извещения по SMB; отключение при нагрузке 2160 Вт и 2510 (2761?) Вт. Управляющим для PMBus является BMC узла 1 (PDB), при отсутствии проводится голосование. Вычислительные узлы 3 и 4 мониторят перегрузку и перегрев БП - при включённой в настройках BIOS Shutdown Policy узел выключается. Через PMBus можно получать информацию о нагрузке каждого БП (в ватах и процентах, точность - 2%, 500 RPM, 3°C) и потреблении каждого узла. Поддержка режима холодного резерва (при нагрузке менее 40% один БП может быть отключён). Индикаторы: зелёный - OK, мигает зелёный - спячка или холодный резерв, мигает зелёный 2 Гц - идёт заливка прошивки (см.ниже), оранжевый - нет энергии или критическая проблема (остановился вентилятор, сбой, замыкание) с питанием от соседнего БП, мигает оранжевый - проблема (перегрев, перегруз, медленный вентилятор). При недостаточном входном напряжении выдаёт SMBAlert, по которому ME пытается понизить потребляемую ЦП и вентиляторами мощность (горит оранжевый индикатор сбоя, вентиляторы останавливаются и разгоняются опять), производится запись в SEL.
Объединительная плата общается с вычислительными узлами по 4 интерфейсам SGPIO SFF-8485 (SMBUS R1 для температурного датчика и FRU шасси, SMBUS R5 для 2 контроллеров, SMBUS R7 для 2 PMBus); содержит преобразователи из 12В в 5В и из 12В дежурного питания в 5В дежурного. Также пропускает сквозь себя сигналы от вычислительных узлов к передним панелям (кнопка сброса предусмотрена). Также раздаёт питание от PDB вычислительным узлам. Каждый диск получает индикаторы состояния (оранжевый, сбой или перестроение (1 Hz) или идентификация (2 Hz), не горит для PCIe) и активности (управляется самим устройством - мигает при активности, горит при наличии SAS/PCIe устройства).
На передней панели для каждого узла имеются кнопки включения питания (с индикатором) и идентификации (с индикатором, мигает по удалённой команде IPMI Chassis Identify), индикаторы состояния (мигает зелёным - проблема (температура, питание, охлаждение, память, батарейка, диск), мигает оранжевым - большая проблема, горит оранжевым - совсем плохо) и сетевой активности. Индикаторы состояния и идентификации продублированы на плате сзади. Ещё эти индикаторы забавно перемигиваются (3 Hz, 6 Hz) при загрузке и обновлении прошивки. Кнопка включения питания управляется BMC (и все кнопки и индикаторы тоже) - дайте ему 20 секунд на загрузку!
Охлаждение обеспечивается вентиляторами вычислительных узлов и БП (и тот и другой не горячей замены). Необходимо использовать заглушки при отсутствии БП, узла или диска.
Вычислительный узел выдвигается из шасси назад целиком, рельсы полного выдвижения не нужны.
Вычислительный узел HNS2600TPR (поддержка) состоит из
Вычислительный узел HNS2600TP24SR (поддержка) состоит из
Материнская плата BBSS2600TPR (имеется версия S2600TPFR с добавлением 1 порта InfiniBand FDR, плата Connect-IB, PCIe3 x8 от ЦП1 Port 1 (A и B)) для 2 ЦП Intel Xeon E5-26xx v3 и v4 (Socket-R3, LGA 2011-3, до 160 Вт TDP по ограничениям материнской платы и 145 Вт DTP по ограничениям модуля, первый ЦП -сзади, 2 QPI канала по 9.6GT/s между ЦП, по 40 PCIe 8.0 GT/s на ЦП, физическое адресное пространство - 46 бит, логическое - 48 бит), 16 модулей памяти DDR4 от 1600 до 2400 MT/s, по 2 модуля на канал контроллера памяти (процесор содержит 2 контроллера памяти IMC, каждый из которых обслуживает по 2 канала и 3 модуля памяти (8 видимых ранков) на канал), заполнять с дальних слотов (синие). Обязательно использование SPD, ECC и датчика температуры TSOD, только 1.2 В. Память может быть (MT/s приводится для модулей DDR4-2400; смешивать нельзя; рекомендуется свериться с таблицей в TPS!) регистровая RDIMM (SR до 16GB и DR до 32GB; x4 и x8; 1 модуль на канал - 2400 MT/s, 2 модуля на канал - 2133 MT/s), LRDIMM (QRx4; 32GB или 64GB; 1 или 2 модуля на канал - 2400 MT/s) или LRDIMM 3DS (8Rx4; 64GB или 128GB; 1 или 2 модуля на канал - 2400 MT/s). Возможность зеркалирования памяти (включая внутримодульное), lockstep (128-битный доступ, требуется идентичное заполнение слотов A и B и т.п.), запасной памяти (map out), коррекции ошибок целой микросхемы (SDDC x4 для обычного режима, SDDC x8 для lockstep), перемешивание битов команд и адресов, проверка чётности команд и адресов с автоматическим повторением, патрульное чтение и исправление ошибок, изоляция неисправных модулей.
Имеет 4 слота PCIe 3.0 для переходников в горизонталь (riser card, нестандартные!):
Имеются модули с нестандартным интерфейсом IOM (фактически PCIe x8):
Используется периферийная микросхема C612 (X99?): интерфейс к ЦП1 - ESI GEN2 x4 4GB/s (DMI2, PCIe2 x4), ACPI 4.0a (или 2.0 в отчёте?) (DMI2 от ЦП2 никуда не подключён). C612 имеет SATA контроллер 1 (выдаёт на переходную плату 4 SATA 6 Gbps и SATA DOM, выдаёт на SATA DOM на материнскую плату, режимы AHCI и RSTe 4.0 (программный RAID-0, RAID-1, RAID-10, RAID-5; настройки в BIOS по ^I) и ESRT2 (LSI MegaRAID, программный RAID-0, RAID-1, RAID-10). SATA контроллер 2 (sSATA, secondary SATA) выдаёт на материнскую плату (порты 0, 1, 2 и 3), режимы AHCI и RSTe 4.0 (программный RAID-0, RAID-1, RAID-10, RAID-5; настройки в BIOS по ^I) и ESRT2 (LSI MegaRAID, программный - mdraid - RAID-0, RAID-1, RAID-10). Отдельно можно купить ключ (Storage Upgrade Key, C600 Upgrade Key, 1x4 pin) RKSATA4R5, добавляющий поддержку RAID-5 в режиме ESRT2; обрабатывается ME. Переходная плата на 12 Gb/s имеет встроенный LSI SAS 3008 (режим IMR: программный RAID-0/1/10 для SAS/SATA) и подключается к riser слоту 3 (x8?). Переходная плата на 12 Gb/s с поддержкой PCIe имеет встроенный LSI SAS 3008 (режим IT (без RAID), до 6 12Gb SAS, называет себя RS3PC, прошивка 9.00.00.00-IT), поддерживает 2 PCIe 3.0 x4 SFF, подключается к riser слоту 3 (x16?), отдельная настройка в BIOS (^C, Avago MPT SAS3 BIOS 8.21.00.00 (2015.05.11)) и в настройке загрузчика в BIOS (En01:Slt00:модель). 2 порта Ethernet 10BASE-T/100BASE-T/1000BASE-T (I350, нумерация слева от 1, ), MAC адрес первого напечатан, MAC адрес второго на 1 больше, подключены к PCIe 2.0 x4 на C612), индикаторы скорости (зелёный - 1000, жёлтый - 100) и активности, только порт 1 соединён с iBMC по NC-SI - RMII (MAC+2 и MAC+3, IPMI каналы 1 и 2). 2 порта USB2.0 сзади (порты 0 и 1) и 2 на материнской плате (порты 6 и 7) и 1 на переходной плате (порт 10), 2 USB порта к iBMC (USB 1.1 и USB2).
Потребляемая мощность доступна через ACPI (Intel(R) Node Manager, "sensors power_meter-acpi-0", /sys/class/hwmon/hwmon1/device/power1_average)
Встроенный модуль управления Emulex Pilot III (Integrated BMC, iBMC, PCIe1 x1 от C612, RMII (100Mb?) от 2 каналов I350, выделенный сетевой разъём RJ-45 1Gbps RMM4 (напаян на борт, ранее продавался отдельно) с адресом MAC+4 (IPMI канал 3) по RGMII; AXXRMM4LITE (AXXRMM4LITE2 для любителей ROHS) обеспечивает KVM и перенаправление носителей (содержит 1MB флеш по SPI); COM1 (внутренний разъём DH-10), аналоговое видео на задней панели (DB-15, VGA, PCIe v1 x1, 16 MB из 128 MB DDR3 системной памяти), только 2D и BLIT 1920x1200x60 при 8bpp/16bpp и 1440x900x60/1280x1024x60 при 24bpp/32bpp, 24-bit RAMDAC, KVMS с использованием LPC для KCS, SMIC и BT (удалённый USB 2.0 для CD/DVD и USB 1.1 для удалённой клавиатуры и мыши), ARM 926-EJ с MMU на 400 MHz, 16 тахометров, 8 контроллеров PWM, мониторинг напряжений и температур, 16 MB флеш, сопроцессор SSP для шифрования, сжатия и перенаправления видео).
RS3PC (LSI SAS 3008, IT), lsiutil и CmdTool2 и storcli не подходят, подходит sas3ircu:
mpt3sas version 15.100.00.00 loaded
mpt3sas_cm0: 64 BIT PCI BUS DMA ADDRESSING SUPPORTED, total mem (...
mpt3sas_cm0: MSI-X vectors supported: 96, no of cores: 16, max_msix_vectors: -1
mpt3sas 0000:82:00.0: irq 50 for MSI/MSI-X
mpt3sas0-msix0: PCI-MSI-X enabled: IRQ 50
... ещё 15
mpt3sas_cm0: iomem(0x00000000c8040000), mapped(0xffffc90018fa0000), size(65536)
mpt3sas_cm0: ioport(0x0000000000008000), size(256)
mpt3sas_cm0: sending message unit reset !!
mpt3sas_cm0: message unit reset: SUCCESS
mpt3sas_cm0: Allocated physical memory: size(18611 kB)
mpt3sas_cm0: Current Controller Queue Depth(9984),Max Controller Queue Depth(10112)
mpt3sas_cm0: Scatter Gather Elements per IO(128)
mpt3sas_cm0: LSISAS3008: FWVersion(09.00.00.00), ChipRevision(0x02), BiosVersion(10.00.00.00)
mpt3sas_cm0: Intel(R) Controller: Subsystem ID: 0x3527
mpt3sas_cm0: Protocol=(Initiator,Target), Capabilities=(TLR,EEDP,Snapshot Buffer,Diag Trace Buffer,Task Set Full,NCQ)
scsi host0: Fusion MPT SAS Host
mpt3sas_cm0: sending port enable !!
mpt3sas_cm0: host_add: handle(0x0001), sas_addr(0x5a4bf01188f82000), phys(8)
mpt3sas_cm0: port enable: SUCCESS
# slot - логический номер слота для этого сервера, phy - физический номер слота SAS в общей корзинке с нуля
scsi 0:0:0:0: Direct-Access HITACHI HUC109030CSS600 A5B0 PQ: 0 ANSI: 6
scsi 0:0:0:0: SSP: handle(0x0009), sas_addr(0x5000cca06e4cf945), phy(4), device_name(0x5000cca06e4cf947)
scsi 0:0:0:0: SSP: enclosure_logical_id(0x5a4bf01188f82000), slot(0)
scsi 0:0:0:0: SSP: enclosure level(0x0000), connector name( )
scsi 0:0:0:0: qdepth(254), tagged(1), simple(0), ordered(0), scsi_level(7), cmd_que(1)
scsi 0:0:1:0: Direct-Access HITACHI HUC109030CSS600 A5B0 PQ: 0 ANSI: 6
scsi 0:0:1:0: SSP: handle(0x000a), sas_addr(0x5000cca06e4d8569), phy(5), device_name(0x5000cca06e4d856b)
scsi 0:0:1:0: SSP: enclosure_logical_id(0x5a4bf01188f82000), slot(1)
scsi 0:0:1:0: SSP: enclosure level(0x0000), connector name( )
scsi 0:0:1:0: qdepth(254), tagged(1), simple(0), ordered(0), scsi_level(7), cmd_que(1)
/usr/local/sbin/sas3ircu LIST
Adapter Vendor Device SubSys SubSys
Index Type ID ID Pci Address Ven ID Dev ID
----- ------------ ------ ------ ----------------- ------ ------
0 SAS3008 1000h 97h 00h:82h:00h:00h 8086h 3527h
/usr/local/sbin/sas3ircu 0 DISPLAY
Controller information
------------------------------------------------------------------------
Controller type : SAS3008
BIOS version : 8.21.00.00
Firmware version : 9.00.00.00
Channel description : 1 Serial Attached SCSI
Initiator ID : 0
Maximum physical devices : 1023
Concurrent commands supported : 10112
Slot : 51
Segment : 0
Bus : 130
Device : 0
Function : 0
RAID Support : No
Physical device information
------------------------------------------------------------------------
Initiator at ID #0
Device is a Hard disk
Enclosure # : 1
Slot # : 0
SAS Address : 5000cca-0-6e4c-f945
State : Ready (RDY)
Size (in MB)/(in sectors) : 286168/586072367
Manufacturer : HITACHI
Model Number : HUC109030CSS600
Firmware Revision : A5B0
Serial No : W5HBA9VG
Unit Serial No(VPD) : W5HBA9VG
GUID : 5000cca06e4cf944
Protocol : SAS
Drive Type : SAS_HDD
Device is a Hard disk
Enclosure # : 1
Slot # : 1
SAS Address : 5000cca-0-6e4d-8569
State : Ready (RDY)
Size (in MB)/(in sectors) : 286168/586072367
Manufacturer : HITACHI
Model Number : HUC109030CSS600
Firmware Revision : A5B0
Serial No : W5HBMN5G
Unit Serial No(VPD) : W5HBMN5G
GUID : 5000cca06e4d8568
Protocol : SAS
Drive Type : SAS_HDD
------------------------------------------------------------------------
Enclosure information
------------------------------------------------------------------------
Enclosure# : 1
Logical ID : 5a4bf011:88f82000
Numslots : 8
StartSlot : 0
------------------------------------------------------------------------
/usr/local/sbin/sas3ircu 0 LOCATE 1:0 ON
Горячие клавиши при загрузке (дождаться бибиканья после инициализации USB контроллера):
Сзади имеются индикаторы POST (8 светодиодов в 2 ряда в глубину!), состояния и идентификации (голубой). Если при загрузке обнаружны проблемы, то на экран по возможности выдаётся сообщение с кодом ошибки POST (4 цифры, приложение E). Если проблемы обнаружены до инициализации видео, то код передаётся звуковыми сигналами (приложение E).
Переключатели на плате:
Набор для обновления BIOS/BMC для UEFI Shell (System Firmware Update, SFU) содержит полный комплект утилит и прошивок для обновления BMC (HSBP FW 01.27, PSU FW), BIOS (включая прошивки и UEFI драйверы сетевых контроллеров, SATA и sSATA), ME (Manageability Engine), FD (Flash Descriptor), FRU и SDR (управляющий файл master.cfg):
Изменения:
Обновление можно производить прямо из Linux с помощью OFU (Intel One Boot Flash Update utility, flashupdt), но я с прошлого раза ей не доверяю. В любом случае придётся перезагружаться.
Утилита selview (System event log viewer) позволяет смотреть, сохранять и очищать журнал (SEL), записываемый BMC; требуется JRE и графика; альтернатива - ipmitool.
Утилита syscfg (Save and restore system configuration utility) позволяет сохранить настройки BIOS и BMC в файл и восстановить из файла или командной строки (после изменения настроек необходимо перезагрузиться). Описана выше, надеюсь, что ничего не изменилось.
Монструозный Intel® Server Management Toolkit for Intel® Server Systems and Intel® Server Boards Based on the Intel® Xeon® Processor E5-2600 v3 and v4 Product Family (5 R!) размером 800 МБ под CentOS 7.
Немного (300 МБ) меньше размером и с одной R Intel® Active System Console тоже под CentOS 7.
iBMC обеспечивает IPMI 2.0 (документация по RMM4 не обновлялась с 2014 года):
Дополнительно к IPMI iBMC обеспечивает
iBMC имеет встроенный веб-сервер (http и https, US English или Chinese, можно принудить к безопасности настройками): поддерживает до 2 сессий (время бездействия по умолчанию - 30 минут); требует IE 9/10 и Firefox 24/25; анонимный пользователь (пользователь с пустым именем) не имеет доступа к веб интерфейсу
iBMC общается с ME (RTOS) по вторичной IPMB (SMLink0, 400 kHz) и с БП по PMBus (SMLink1, 100 kHz): чтение датчиков, совместное управление потреблением энергии, обновление прошивки ME, доступ к ME по сети, сообщает ME внешнюю температуру. Поддерживаются коммуникации: SMS посредством KCS (keyboard controller style), SMM посредством KCS, IPMB, IPMI over LAN (до 4 сессий). Каждому интерфейсу присваивается номер канала IPMI: 0 - первичный IPMB, 1 - LAN1, 2 - LAN2, 3 - LAN RMM4, 5 - USB, 6 - вторичный, 7 - SMM, 15 - SMS. До 15 пользователей, привязываемых к каналам: 1 - пустое имя (Admin без доступа к веб-серверу), 2 - root (всегда с административными привилегиями). Первоначальная настройка (сетевые параметры и настройки пользователей; по умолчанию сеть отключена и все пользователи заблокированы) возможна с помощью настроек BIOS, утилиты syscfg) и команд IPMI.
Репозиторий SDR заполняется автоматически, при неудаче необходимо запустить утилиту FRUSDR.
Платформа (Server System) Intel H2000P для HPC предоставляет на выбор несколько видов шасси высотой 2U, в которые помещается 4 вычислительных узла (нумерация от 1 слева направо и снизу вверх, взгляд спереди). Модификации с индексом R на конце адаптированы на заводе для Xeon Scalable версии 2. Позволяет использовать ЦП с TDP до 140 Вт (в конфигураторе: до 165 Вт при использовании жидкостного охлаждения или корпуса H2204XXLRE; в новой таблице: до 165 Вт в любом корпусе). Рабочая температура (ASHRAE Class A2) - от +10 до +35 градусов (ограничения конфигурации при 27 и выше; изменение не более 10 градусов в час). Шум - 7.0 BA. При запуске memtest86+ 9.3 каждый узел (2 Xeon 6226) потребляет в параллельном режиме в среднем 290 Вт (1300 Вт в сумме по данным БП).
Шасси H2312XXLR3 (ширина корпуса без ушек - 438 мм, глубина 771 мм, вес 21.5 кг без модулей) включает
Шасси H2224XXLR3 (ширина корпуса без ушек - 438 мм, глубина 733 мм, вес 20.6 кг без модулей; воздушный поток - 38-211 CFM ) включает
Шасси H2204XXLRE (ширина корпуса без ушек - 438 мм, глубина 733 мм (подозрительно), вес 18.64 кг без модулей) включает
Блоки питания (нижний - первый, верхний - второй) с горячим подключением на 2130 Вт при 240 В (FXX2130PCRPS) в стандарте CRPS (Common Redundant Power Supply, только одинаковые БП), 80 Plus Platinum (82% при 10% нагрузки, 90% при 20% нагрузки, 94% при 50% нагрузки, 91% при 100% нагрузки), 12V и 12Vsb, PFC (0.8 при 10% нагрузки, 0.9 при 20% и 50% нагрузки, 0.95 при 100% нагрузки), PMBus 1.1 (для управления), 7268 BTU/hr, IEC320 C14, сдвоенный встроенный вентилятор 40x56 мм без резерва незаменяемый, входное напряжение от 180 до 264 В, допускает перерывы до 12 мс (12Vsb - до 70 мс). Активное разделение нагрузки (10%). Выключатель отсутствует. Пиковая нагрузка - 2520 Вт, 20 секунд до извещения по SMB; отключение при нагрузке 3000 Вт (25 мс). Управляющим для PMBus является BMC узла 1, при отсутствии проводится голосование. Адреса: PSMC БП1 - 0xB0, PSU FRU БП1 - 0xA0, PSMC БП2 - 0XB2, PSU FRU БП2 - 0xA2, PDB FRU (подключается к BMC всех вычислительных узлов) - 0xAC. Вычислительные узлы 3 и 4 мониторят перегрузку и перегрев БП - при включённой в настройках BIOS Shutdown Policy узел 3 или 4 выключается, при выключенной - все узлы тормозятся. Через PMBus можно получать информацию о нагрузке каждого БП (в ватах и процентах, точность - 2%, 500 RPM, 3°C) и потреблении каждого узла. Поддержка режима холодного резерва (при нагрузке менее 30% один БП может быть отключён, обратно при 40%). Защита от превышения тока нагрузки, напряжения нагрузки, перегрева. Индикаторы: зелёный - OK, мигает зелёный 1 Гц - спячка или холодный резерв, мигает зелёный 2 Гц - идёт заливка прошивки (см.ниже), оранжевый - нет энергии или критическая проблема (остановился вентилятор, сбой, замыкание) с питанием от соседнего БП, мигает оранжевый - проблема (перегрев, перегруз, медленный вентилятор). При недостаточном входном напряжении выдаёт SMBAlert, по которому ME пытается понизить потребляемую ЦП и вентиляторами мощность (горит оранжевый индикатор сбоя, вентиляторы останавливаются и разгоняются опять), производится запись в SEL.
Объединительная плата с помощью 4 PSoC (Programmable System On Chip) общается с контроллерами горячей замены (HSC - hot-swap controller) на вычислительных узлах по 4 интерфейсам SGPIO SFF-8485 (SMBUS R1 для температурного датчика и FRU шасси, SMBUS R5 для 2 контроллеров HSBP, SMBUS R7 для 2 PMBus БП с CRPS). Содержит датчики присутствия устройств хранеия. Содержит преобразователи из 12В в 5В и из 12В дежурного питания в 5В дежурного. Также пропускает сквозь себя сигналы от вычислительных узлов к передним панелям (сигнал сброса предусмотрен). Также раздаёт питание от PDB вычислительным узлам. Каждый диск получает индикаторы состояния (оранжевый, сбой или перестроение (1 Hz) или идентификация (2 Hz), не горит для PCIe) и активности (управляется самим устройством - мигает при активности, горит при наличии SAS/PCIe устройства).
На передней панели (ручках) для каждого узла имеются кнопки включения питания (с индикатором, мигает - сон S1) и идентификации (с индикатором, мигает по удалённой команде IPMI Chassis Identify), индикаторы состояния (зелёный и жёлтый - загружается BMC, горит зелёным - всё хорошо, мигает зелёным - загружается BMC или проблема (температура, питание, охлаждение, память, батарейка, диск), мигает оранжевым - большая проблема, горит оранжевым - совсем плохо, система остановлена) и сетевой активности. Индикаторы состояния и идентификации продублированы на плате сзади. Ещё эти индикаторы забавно перемигиваются (3 Hz, 6 Hz) при загрузке и обновлении прошивки. Кнопка включения питания управляется BMC (и все кнопки и индикаторы тоже) - не нажимайте пока не загрузится BMC (20 секунд после подачи питания). Кнопка сброса отсутствует (сигнал имеется).
Охлаждение обеспечивается вентиляторами вычислительных узлов и БП (и тот и другой не горячей замены). Необходимо использовать заглушки при отсутствии БП, узла или диска.
Вычислительный узел выдвигается из шасси назад целиком, рельсы полного выдвижения не нужны.
Вычислительный узел HNS2600BPBR (варианты HNS2600BPSR, HNS2600BPQR) для шасси H2312XXLR3 или H2204XXLRE состоит из (собственный вес 4.3кг)
Вычислительный узел HNS2600BPB24R (варианты HNS2600BPS24R, HNS2600BPQ24R) для шасси H2224XXLR3 состоит из (собственный вес 4.3кг)
Имеются варианты узлов с водяным охлаждением HNS2600BPBRCT и HNS2600BPLCR и HNS2600BPBLC24R.
Переходные платы на 4 порта (специальный разъём на системной плате и riser 3):
Переходные платы на 6 портов (специальный разъём на системной плате и riser 3 для SAS (требуется ЦП2!), передаёт 2 PCIe 3.0 x4 на объединительную плату корпуса, содержит PCIe retimer):
Материнская плата S2600BPBR с 2 портами 10GBase-T на чипсете C621 (имеется версия S2600BPSR с 2 портами SFP+ (чипсет C622) и S2600BPQR с QAT и 2 портами 10GBase-T (чипсет C628)) для 2 ЦП Intel Xeon Scalable v1 и v2 (Socket P, FCLGA3647-0, до 165 Вт TDP по ограничениям материнской платы и 140 Вт DTP по ограничениям модуля (165 Вт TDP при использовании жидкостного охлаждения или корпуса H2204XXLRE), первый ЦП - сзади, только 2 UPI канала по 10.4GT/s между ЦП, по 48 PCIe 8.0 GT/s на ЦП, физическое адресное пространство - ?46 бит, логическое - ?48 бит), 16 модулей памяти ECC DDR4 RDIMM SR/DR x4/x8 (до 64GB) или LRDIMM QRx4 (до 128 GB) или RDIMM/LRDIMM 3DS, по 1 (2933 MT/s) или 2 модуля (2666 MT/s) на канал контроллера памяти (процесор содержит 2 контроллера памяти IMC, каждый из которых обслуживает по 3 канала, до 2 модулей памяти (до 8 логических ранков, до 10 физических) на канал, оптимальное расслоение при 4 ранках на канал), заполнять с дальних слотов (синие) - 4 канала обслуживают по 2 модуля памяти, оставшиеся 8 каналов обслуживают по 1 модулю памяти. Несбалансированная конфигурация 2:1:1:2:1:1 даёт 35% пропускной способности памяти (STREAM Triad).. Например, Intel Xeon Scalable 6226 (12 ядер/24 потока, 2.7GHz/3.7GHz, 6 каналов памяти DDR4-2933, 48 линий PCIe 3.0, 3UPI, TDP 125W). Использовать разные ЦП или модули памяти - плохая идея. При наличии одного ЦП часть возможностей системы недоступна. Обязательно использование SPD, ECC и датчика температуры TSOD, только 1.2 В. Память может быть (смешивать нельзя; рекомендуется свериться с таблицей в TPS!) регистровая RDIMM (DRx4 до 64GB), LRDIMM (QRx4). Возможность (Gold и Platinum) зеркалирования памяти (включая внутримодульное) - независимые модули, 1LM, 2LM (только DCPMM). Холодный запас - Rank Sparing. Режим ADDDC (Adaptive Double Device Data Correction, только для x4, исправление двойных ошибок?). Проверка чётности команд и адресов с автоматическим повторением и журнализацией. Патрульное чтение и исправление ошибок. Изоляция неисправных модулей. Обслуживание запасных ячеек.
Имеет 4 слота для переходников в горизонталь (riser card, нестандартные! не вставлять платы PCIe!):
Используется периферийная микросхема C621/C622/C628: интерфейс к ЦП1 (DMI3 IOU2) - DMI 3.0 x4 (16GB/s), ?ACPI 4.0a (или 2.0 в отчёте?), DMI3 от ЦП2 никуда не подключён. C621/C622 имеет SATA контроллер 1 (выдаёт (кроме S2600BPQ) на системную плату 4 SATA 6 Gbps порта 0-3 в формате SFF-8643 (mini-SAS HD), режимы AHCI и Enhanced (?RSTe 4.0 (программный RAID-0, RAID-1, RAID-10, RAID-5; настройки в BIOS по ^I)) и ESRT2 1.60 (Embedded Server RAID Technology 2, на базе LSI MegaRAID, программный RAID-0, RAID-1, RAID-10, RAID-5 с ключом RKSATA4R5)) и VROC 6.0 (RAID-0, RAID-1, RAID-5, RAID-10; настройки в BIOS по ^I). На переходную плату выдаётся 4 SATA 6 Gbps порта 4-7, порт USB 2.0 номер 4 и порт 0 от контроллера sSATA. Разъём M.2 42 mm поддерживает SATA (контроллер sSATA, порты 2-5) и PCIe x4 (от C62x). Ключ VROCSTANMOD позволяет определять RAID-0, RAID-1 и RAID-10 для NVMe SSD, а также горячую замену и индикацию. 2 порта Ethernet 100BASE-T/1000BASE-T/10GBASE-T (Intel X550 к ЦП1 PE1 IOU2, нумерация слева от 1), MAC адрес первого напечатан, MAC адрес второго на 1 больше, подключены к PCIe 3.0 x4 на ЦП1), индикаторы скорости (зелёный - 10000, жёлтый - 1000) и активности, X550 соединён с AST2500 по NC-SI - RMII порт B (MAC+2 и MAC+3, ?IPMI каналы 1 и 2). В версии S2600BPS порты SFP+ и AST2500 подключены к C622 (дополнительные PCIe x8 от ЦП1). 2 порта USB3.0 сзади (порты 0 и 1) и 1 USB 2.0 на материнской плате (порт 5, 5 pin) и 1 на переходной плате (порт 4), 2 USB порта к iBMC (USB 1.1 номер 7 и USB2 номер 8). Внутренний разъём DH-10 для последовательного порта. Разъёмы вентиляторов: 1 управляемый 2x7, 3 управляемых 1x8 и 2 неуправляемых 1x4.
Потребляемая мощность доступна через ACPI (Intel(R) Node Manager, "sensors power_meter-acpi-0", /sys/class/hwmon/hwmon2/device/power1_average).
Встроенный модуль управления Aspeed AST2500 (Integrated BMC, iBMC, IPMI 1.5 и IPMI 2.0, PCIe 2.0 x1 от C621 (соответственно ЦП1), NC-SI - RMII порт B (100Mb в режиме ожидания) от X550 с адресами MAC+2 и MAC+3 (IPMI каналы 1 и 2), выделенный сетевой разъём RJ-45 1Gbps RMM4 - RGMII порт A (напаян на борт, ранее продавался отдельно) с адресом MAC+4 (IPMI канал 3) с индикаторами активности и скорости (зелёный - 1 Гб, жёлтый - 100 Мб); работает от резервного питания (дополнительные модули не поддерживают горячую замену); AXXRMM4LITE2 (AXXRMM4LITE с соблюдением RoHS) обеспечивает KVM и перенаправление носителей (содержит 32MB (16MB?) флеш по SPI); аналоговое видео через переходник (1x12 pin) к планке на задней панели (DB-15, VGA, PCIe v1 x1, 512 MB DDR4 (128MB DDR3?) совместно видео (16MB) и BMC), только 2D и BLIT 1920x1200x60 при 8bpp/16bpp и 1440x900x60/1280x1024x60 при 24bpp/32bpp, 24-bit RAMDAC, KVMS с использованием LPC для KCS, SMIC и BT (удалённый USB 2.0 для CD/DVD и USB 1.1 для удалённой клавиатуры и мыши), ?ARM 926-EJ с MMU на 400 MHz, 16 тахометров, 8 контроллеров PWM, мониторинг напряжений и температур, 16 MB флеш, ?сопроцессор SSP для шифрования, сжатия и перенаправления видео).
RS3PC (LSI SAS 3008, IT): lsiutil и CmdTool2 и storcli не подходят, подходит sas3ircu (SAS3IRCU_P15.zip): "LIST", "0 DISPLAY".
Модуль TPM 2.0, кроме Китая (а мы не Китай? TPM отсутствует).
Intel ME поддерживает Intel NM 4.0 (Intel Power Node Manager), которая позволяет запрашивать текущее потребление энергии (ЦП, память, общее) и задавать политики реакции на превышение заданного уровня (по умолчанию - предупреждение при превышении потребления от номинальной мощности одного БП).
Горячие клавиши при загрузке (дождаться бибиканья после инициализации USB контроллера):
Сзади имеются индикаторы POST, диагностики (8 светодиодов в 2 ряда в глубину!, приложение B), состояния (горит зелёный - ОК; мигает зелёный - деградация; мигает оранжевый - критическое состояние; горит оранжевый - система остановлена) и идентификации (голубой; горит - по нажатию кнопки, мигает - по команде IPMI, мигает часто - грузится BMC). Проблемы BMC: горит голубой и оранжевый - ошибки памяти, мигает голубой и горит оранжевый - проблемы образа загрузки BMC, мигает голубой и зелёный - микрозагрузчик BMC не может загрузить Linux, горит голубой и зелёный - BMC загружает Linux Если при загрузке обнаружны проблемы, то на экран по возможности выдаётся сообщение с кодом ошибки POST (4 цифры, TPS приложение C). Если проблемы обнаружены до инициализации видео, то код передаётся звуковыми/световыми сигналами (TPS приложение B и C). Проблемы BMC передаются тем же индикатором состояния азбукой морзе (SG приложение E).
Переключатели на плате:
Набор для обновления BIOS/BMC/ME для UEFI Shell (System Update Package, SUP) содержит полный комплект утилит и прошивок для обновления BMC (HSBP FW, PSU FW), BIOS (включая прошивки и UEFI драйверы сетевых контроллеров, SATA и sSATA), ME (Manageability Engine), FD (Flash Descriptor), FRU и SDR (?управляющий файл master.cfg):
BIOS SE5C610.86B.01.01.0022.062820171903, BMC, SDR [ 0.000000] efi: EFI v2.60 by EDK II BIOS ID:SE5C620.86B.02.01.0014.082620210524 [ 0.000000] efi: SMBIOS=0x66bd4000 ACPI=0x67907000 ACPI 2.0=0x67907014 MOKvar=0x66b68000 [ 0.000000] SMBIOS 2.8 present. [ 0.000000] DMI: Intel Corporation S2600BPB/S2600BPB, BIOS SE5C620.86B.02.01.0014.082620210524 08/26/2021
Обновление можно производить прямо из Linux с помощью OFU (Intel One Boot Flash Update utility, flashupdt), но я с прошлого раза ей не доверяю. В любом случае придётся перезагружаться. ?
Утилита selview (System event log viewer) позволяет смотреть, сохранять и очищать журнал (SEL), записываемый BMC; требуется JRE и графика; альтернатива - ipmitool. ?
Утилита syscfg (Save and restore system configuration utility) позволяет сохранить настройки BIOS и BMC в файл и восстановить из файла или командной строки (после изменения настроек необходимо перезагрузиться). Описана выше, надеюсь, что ничего не изменилось. ?
Монструозный Intel® Server Management Toolkit for Intel® Server Systems and Intel® Server Boards Based on the Intel® Xeon® Processor E5-2600 v3 and v4 Product Family (5 R!) размером 800 МБ под CentOS 7. ?
Немного (300 МБ) меньше размером и с одной R Intel® Active System Console тоже под CentOS 7.
iBMC обеспечивает IPMI 2.0:
AXXRMM4LITE2 - ключ для включения функций KVM и перенаправления носителей. AXXRMM4 - дополнительная плата с выделенным Ethernet портом для BMC и AXXRMM4LITE2, используется для систем, не имеющих встроенного выделенного порта для BMC.
Дополнительно к IPMI iBMC обеспечивает
iBMC имеет встроенный веб-сервер (http и https, US English или Chinese, можно принудить к безопасности настройками): поддерживает до 2 сессий (время бездействия по умолчанию - 30 минут, экран не менее 1280x1024); требует новых версий браузеров (после использования KVM HTML5 Firefox 68 начал тупить на TLS); анонимный пользователь (пользователь с пустым именем) не имеет доступа к веб интерфейсу
Настройка:
iBMC общается с ME (RTOS) по вторичной IPMB (SMLink0, 400 kHz) и с БП по PMBus (SMLink1, 100 kHz): чтение датчиков, совместное управление потреблением энергии, обновление прошивки ME, доступ к ME по сети, сообщает ME внешнюю температуру. Поддерживаются коммуникации: SMS посредством KCS (keyboard controller style), SMM посредством KCS, IPMB, IPMI over LAN (до 4 сессий). Каждому интерфейсу присваивается номер канала IPMI: 0 - первичный IPMB, 1 - LAN1, 2 - LAN2, 3 - LAN RMM4, 5 - USB, 6 - вторичный, 7 - SMM, 15 - SMS. До 15 пользователей, привязываемых к каналам: 1 - пустое имя. Первоначальная настройка (сетевые параметры (кроме VLAN) и настройки пользователей; по умолчанию сеть отключена и все пользователи заблокированы) возможна с помощью настроек BIOS, утилиты syscfg) и команд IPMI. ?
Репозиторий SDR заполняется автоматически, при неудаче необходимо запустить утилиту FRUSDR.
Платформа (Server System) Intel R1000WF/R2000WF/R2000WFTF предоставляет на выбор несколько видов шасси высотой 1U (R1000WF) или 2U (R2000WF) с материнской платой S2600WF. Включает системную плату семейства S2600WF и шасси семейства R1000WF (1U) или R2000WF (2U, глубина - 712мм ящик, 769мм от ушек до ручек). R2000WFTF -специфическая система для процессоров H поколения 1 (RFID). "R" на конце - готовность к Xeon Scalable v2 (обновлённая прошивка). Можно закупать отдельные компоненты или систему в сборе: L6 (шасси с платой) или L9 (шасси с платой, ЦП и память). Шасси 2U и системные платы поддерживают ЦП с TDP 205 Вт (входящий воздух - 15°C) или 165 Вт (27°C, NVMe до 600GB). Рабочая температура - от +10 до +35 градусов (не более 10 градусов в час). Шум - 7.0BA.
Шасси 2U имеют варианты без дисков (R2000WFxxx), 8 дисков SAS3/SATA LFF (R2308WFxxx), 12 дисков SAS3/SATA LFF (R2312WFxxx, индикаторы, кнопки и USB 2.0 на ручках, 2 слота поддерживают NVMe?), 8 дисков SAS3/SATA/NVMe SFF (R2208WFxxx, A2U8X25S3PHS), 16 дисков SAS3/SATA/NVMe SFF (R2208WFxxx и дополнительный отсек A2U8X25S3PHS), 24 диска SAS3/SATA/NVMe SFF (R2224WFxxx, 3 отсека A2U8X25S3PHS и 24 корзинки FXX25HSCAR3, индикаторы, кнопки и USB 2.0 на ручках A2UHANDLKIT; 17.5 кг). Нумерация устройств хранения определяется контроллерами и разводкой кабелей. Индикаторы FXX25HSCAR3: зелёный активности управляется устройством (SAS/NVMe: горит при наличии, мигает при обработке команд, выключен при засыпании; SATA: мигает при обработке команд), оранжевый состояния (NVMe: горит при ошибке, мигает 4 Гц при идентификации, мигает 1 Гц при пересборке; SAS/SATA: горит при ошибке, мигает 2 Гц при идентификации, мигает 1 Гц при пересборке). В корзинках FXX25HSCAR3 цветом не выделяется ни тип устройств, ни кнопка освобождения. Каждая дисковая полка A2U8X25S3PHS имеет на входе 2 mini-SAS HD (SFF-8643, включает SGPIO SFF-8485) для 8 портов SAS3/SATA и 8 OCuLink (SFF-8611) для NVMe (PCIe 3.0 x4), а на выходе 8 U.2 (SFF-8639) для SATA/SAS/NVMe; питание (12V: 5V для устройств и 3.3V контроллеру) получает с разъёма HSBP power; контроллер Cypress CY8C22545-24AXI (3.3V) детектирует горячее подключение устройств и управляет индикаторами (подключение I2C цепочкой к BMC по SMBus или SGPIO); нумерация дисков внутри корзины с 0 до 7 при правильном подключении. Также имеется вариант дисковой полки A2U8X25S3DPDK2 для двухпортовых SAS и несколько типов SAS экспандеров. Для подключения NVMe устройств свыше 4 предусмотренных OCuLink (SFF-8611) на системной плате предлагаются платы коммутаторов (AXXP3SWX08040 - LP MD2, PCIe x8 на 4 порта x4 OCuLink (SFF-8611); AXXP3SWX08080 - полной высоты MD2, PCIe x8 на 8 портов x4 OCuLink (SFF-8611), ретаймер AXXP3RTX16040 (LP MD2, PCI x16 в 4 OCuLink, нужен кабель A2U4PRTCXCXK) и сборки кабелей A2U8PSWCXCXK1/A2U8PSWCXCXK2/A2U8PSWCXCXK3. Шасси имеет 2 гнезда (первый слева) для БП в стандарте CRPS (Common Redundant Power Supply, только одинаковые БП), место под отсек для 2 дисков SFF с горячей заменой (A2UREARHSDK2, 2 SATA SSD не более 4 Вт при 35°C, 2 кабеля SATA от системной платы, кабель питания (12V, 5V и 3.3V) в разъём Peripheral PWR, I2C и SGPIO, индикаторы активности и состояния), место под 2 фиксированных SSD (не более 6.2 Вт при 35°C; набор кабелей A2UCBLSSD; общий разъём питания Peripheral PWR и разъёмы SATA c A2UREARHSDK2). Имеется вытяжной язычок для наклеивания меток инвентаризации. Варианты рельсов: AXX2POSTBRCKT (жёсткое крепление), AXXELVRAIL (с выездом 424 мм), AXXFULLRAIL (с полным выездом 800 мм), AXXSHRTRAIL (с выездом 788 мм).
Варианты БП: AXX1300TCRPS (1300 Вт, Titanium; 1440 Вт в течении 20 секунд до извещения по SMB; 1560 Вт - 10 мс до отключения) или AXX1100PCRPS (1100 Вт, Platinum). Автоматический выбор режима с резервированием питания (1+1) или без (2+0). БП имеет собственный блок вентиляторов 2x40мм, выдерживает 10 мс без питания при нагрузке до 70% (70 мс для резервного питания), выключатель отсутствует, PMBus 1.1 (для управления), IEC320 C14, входное напряжение от 180 до 264 В. ? Адреса: PSMC БП1 - 0xB0, PSU FRU БП1 - 0xA0, PSMC БП2 - 0XB2, PSU FRU БП2 - 0xA2, PDB FRU (подключается к BMC всех вычислительных узлов) - 0xAC. Через PMBus можно получать информацию о нагрузке каждого БП (в ватах и процентах, точность - 2%, 500 RPM, 3°C) и потреблении каждого узла. Поддержка режима холодного резерва (программируется: при нагрузке менее 30% один БП может быть отключён, обратно при 40%). Защита от превышения тока нагрузки, напряжения нагрузки, перегрева. Индикаторы: зелёный - OK, мигает зелёный 1 Гц - спячка или холодный резерв, мигает зелёный 2 Гц - идёт заливка прошивки, оранжевый - нет энергии или критическая проблема (остановился вентилятор, сбой, замыкание) с питанием от соседнего БП, мигает оранжевый - проблема (перегрев, перегруз, медленный вентилятор). При недостаточном входном напряжении выдаёт SMBAlert, по которому ME пытается понизить потребляемую ЦП и вентиляторами мощность (горит оранжевый индикатор сбоя, вентиляторы останавливаются и разгоняются опять), производится запись в SEL.
Была опробована сборка R2224WFTZSR (S2600WFTR, 3 отсека A2U8X25S3PHS по 8 SAS/SATA/NVMe с корзинками FXX25HSCAR3, 1 БП AXX1300TCRPS, райзеры A2UL8RISER2 (2 шт) и A2UX8X4RISER, воздушный лоток H90554-xxx, ручки с индикаторами A2UHANDLKIT, 6 вентиляторов FR2UFAN60HSW (60x38 мм), 2 радиатора ЦП FXXCA78X108HS/H38569-xxx, кабели (в частности mini-SAS AXXCBL730HDHD и AXXCBL875HDHD), крепёж) с дополнениями: второй БП, A2UREARHSDK2, AXXRMM4LITE2, 2 Intel Xeon Gold 6234, 12 RDIMM DDR4 32GB, AXXELVRAIL, 2 системных диска SAMSUNG MZ7L31T9HBNA, система хранения - 3 PCIe 3.0 коммутатора AXXP3SWX08080 (PCIe x8 на 8 PCIe x4), кабели на 8 портов OCuLink (SFF-8611) A2U8PSWCXCXK1, A2U8PSWCXCXK2 и A2U8PSWCXCXK3, 24 SSD NVMe SFF 2.5" 6.4ТБ KIOXIA KCM61VUL6T40, Intel XL710-QDA2.
На передней панели (ручках для варианта системы хранения) имеются кнопки включения питания (с индикатором) и идентификации (с индикатором, мигает по удалённой команде IPMI Chassis Identify), индикаторы состояния (горит зелёным - всё хорошо, мигает зелёным - проблема (температура, питание, охлаждение, память, батарейка, диск), мигает зелёным вместе с голубым - начальная загрузка BMC (6 секунд ничего не трогать), мигает зелёным и горит голубым - загрузка Linux в BMC (20 секунд после подачи питания ничего не трогать), мигает оранжевым - большая проблема, горит оранжевым - совсем плохо, система остановлена), дисковой и сетевой активности (4 штуки). Индикаторы состояния и идентификации продублированы на плате сзади. ?Ещё эти индикаторы забавно перемигиваются (3 Hz, 6 Hz) при загрузке и обновлении прошивки. Кнопка сброса и кнопка NMI, USB 2.0 для варианта системы хранения или 2 USB 3.0 для прочих. Кнопка включения питания управляется BMC (и все кнопки и индикаторы тоже).
Охлаждение обеспечивается 6 вентиляторами корпуса FR2UFAN60HSW (60x38 мм) (горячей замены без инструментов "не глядя", отслеживается, индикатор неисправности, резервирование 2 штуки, датчик частоты вращения, PWM) и БП (не горячей замены, 40 мм, неисправность вентилятора отключает БП). Необходимо использовать заглушки при отсутствии БП, диска, модуля памяти. BMC отслеживает наличие резерва вентиляторов (Fan Redundancy), при отсутствии резерва все вентиляторы домена охлаждения включаются на повышенных оборотах (значение программируется).
Материнская плата S2600WFTR с 2 портами 10GBase-T на чипсете C624 (имеется версия S2600WFQR с QAT без 10GBase-T (чипсет C628) и S2600WF0R (чипсет C624) без 10GBase-T) для 2 ЦП Intel Xeon Scalable v1 и v2 (Socket P, FCLGA3647-0, до 205 Вт TDP), первый ЦП - слева при взгляде спереди, только 2 UPI канала по 10.4GT/s (x16) между ЦП, по 48 PCIe 8.0 GT/s на ЦП), 24 модуля памяти ECC DDR4 RDIMM SR/DR x4/x8 (до 64GB) или LRDIMM QRx4 (до 128 GB) или RDIMM/LRDIMM 3DS (256GB), по 1 (2933 MT/s) или 2 модуля (2666 MT/s) на канал контроллера памяти (процесор содержит 2 контроллера памяти IMC, каждый из которых обслуживает по 3 канала, до 2 модулей памяти (до 8 логических ранков, до 10 физических) на канал, оптимальное расслоение при 4 ранках на канал), заполнять с дальних слотов (синие). Несбалансированная конфигурация 2:1:1:2:1:1 даёт 35% пропускной способности памяти (STREAM Triad).. Например, Intel Xeon Scalable 6234 (8 ядер/16 потоков, 3.3GHz/4.0GHz, 6 каналов памяти DDR4-2933, 48 линий PCIe 3.0, 3UPI, TDP 125W). Использовать разные ЦП или модули памяти - плохая идея. При наличии одного ЦП часть возможностей системы недоступна. Обязательно использование SPD, ECC и датчика температуры TSOD, только 1.2 В. Память может быть (смешивать нельзя; рекомендуется свериться с таблицей в TPS!) регистровая RDIMM (DRx4 до 64GB), LRDIMM (QRx4). Возможность (Gold и Platinum) зеркалирования памяти (включая внутримодульное) - независимые модули, 1LM, 2LM (только DCPMM). Холодный запас - Rank Sparing. Режим SDDC (Single Device Data Correction) и SDDC1 (Single Device Data Correction + 1 bit) для модулей ширины x8. Режим ADC (Adaptive Data Correction, SR) и ADDDC (Adaptive Double Device Data Correction, MR - исправление двойных ошибок?) для модулей ширины x4. Проверка чётности команд и адресов с автоматическим повторением и журнализацией. Патрульное чтение и исправление ошибок при ошибках чтения. Изоляция неисправных модулей. Обслуживание запасных ячеек (PPR, Post Package Repair).
Имеет 3 слота для переходников в горизонталь (riser card, до 75 Вт; нестандартные! не вставлять платы PCIe!) и разъём OCP (разделяют PCIe ?.0 x? от C624 с X557-AT2: X557-T2, X527-DA2, X527-DA4, I357-T4) и разъём для мезанинного модуля SAS (PCIe 3.0 x8 от ЦП1 (Port 3A и 3B); до 16 портов с подключением батарейки - LSI/Avago/Broadcom SAS3108, SAS3008, SAS3216, SAS3316, SAS3516, SAS3508)ж нумерация переходников справа налево (взгляд сзади), нумерация карт в переходнике сверху вниз:
Используется периферийная микросхема C624/C628: интерфейс к ЦП1 - DMI 3.0 8 GT/s x4 и PCIe 3.0 x16 (порты 2A, 2B, 2C и 2D), ACPI 4.0a (или 2.0 в отчёте?), DMI3 x4 от ЦП2 подключён к райзер 3! C624/C628 имеет SATA контроллер 1 (выдаёт (кроме S2600WFQR) на системную плату 8 SATA 6 Gbps порта 0-3 и 4-7 в формате SFF-8643 (mini-SAS HD), режимы AHCI и ESRT2 1.60 (Embedded Server RAID Technology 2, до 6 устройств! на базе LSI MegaRAID, программный RAID-0, RAID-1, RAID-10, RAID-5 с ключом RKSATA4R5)) и VROC 6.0 (RAID-0, RAID-1, RAID-5, RAID-10; настройки в BIOS по ^I). 2 разъёма M.2 80 mm поддерживают SATA (контроллер sSATA, порт 1 и 2) и PCIe x4 и x2 (от C62x). 2 отдельных разъёма SATA от контроллера sSATA (порт 4 и 5) позволяют подключить диски заднего отсека. Ни VROC ни ESRT2 не поддерживают RAID для M.2 в режиме NVMe. На системной плате имеется 4 (на S2600WFQR действуют только 2 первых) разъёма OCuLink (SFF-8611) для подключения NVMe (PCIe v3 x4), порты 0 и 1 - PCIe 3.0 x8 от ЦП1 (IOU3: Port 3C и Port 3D), порты 2 и 3 - PCIe 3.0 x8 от ЦП2 (IOU3: Port 3A и 3B). Ключ VROCSTANMOD позволяет определять RAID-0, RAID-1 и RAID-10 для NVMe SSD, а также горячую замену и индикацию. Ключ VROCPREMMOD дополнительно позволяет работать с RAID-5 (кто считает?) и обеспечивает запись из кеша при пропадании питания (разве конденсаторы на серверных SSD не спасают?). Ключи RKSATA4R5 и VROCSTANMOD предназначены в 1 разъём. 2 порта Ethernet 100BASE-T/1000BASE-T/10GBASE-T (встроенный в C624 контроллер X722 и PHY Intel X557-AT2) к C62x (PCIe v? x?)), нумерация слева от 1), MAC адрес первого напечатан, MAC адрес второго на 1 больше), индикаторы скорости (зелёный - 10000, жёлтый - 1000) и активности, X557-AT2 (контроллер X722) соединён с AST2500 по NC-SI - RMII порт B (MAC+2 и MAC+3, IPMI каналы 1 и 2). 3 порта USB3.0 сзади (порты ? и ? и ?) и 2 USB3.0 (порты 1 и 2) или 1 USB2.0 (порты 5 и 6) спереди (в зависимости от типа корпуса) и 1 USB 2.0 на материнской плате (?порт 5, 5 pin) и 1 внутренний разъём для передних портов 2 USB 3.0 и 1 внутренний разъём для 2 USB 2.0, 2 USB порта к iBMC (USB 1.1 номер 7? и USB2 номер 8?). Внутренний разъём DH-10 для последовательного порта B и внешний разъём RJ-45 для последовательного порта A. Разъёмы вентиляторов: 6 управляемых в форматах с горячей заменой для 2U или кабельное соединение для 1U.
Потребляемая мощность доступна через ACPI (Intel(R) Node Manager, "sensors power_meter-acpi-0", /sys/class/hwmon/hwmon2/device/power1_average). Нагрузить более 700 Вт не получилось (16 openssl, 12 numademo, 24 badblocks).
Встроенный модуль управления Aspeed AST2500 (Integrated BMC, iBMC, IPMI 1.5 и IPMI 2.0, PCIe 2.0 x1 от C624, NC-SI - RMII порт B (100Mb в режиме ожидания) от X722/X557-AT2 с адресами MAC+2 и MAC+3 (IPMI каналы 1 и 2) недоступны при отсутствии соединения с сетью, выделенный сетевой разъём RJ-45 1Gbps RMM4 - RGMII порт A (напаян на борт, ранее продавался отдельно) с адресом MAC+4 (IPMI канал 3) с индикаторами активности и скорости (зелёный - 1 Гб, жёлтый - 100 Мб); работает от резервного питания; AXXRMM4LITE2 (AXXRMM4LITE с соблюдением RoHS) обеспечивает KVM и перенаправление носителей (содержит 64MB (32MB? 16MB?) флеш по SPI); аналоговое видео к планке на задней панели (DB-15, VGA, PCIe v1 x1, 512 MB DDR4 (128MB DDR3?) совместно видео (16MB) и BMC), только 2D и BLIT 1920x1200x60 при 8bpp/16bpp и 1440x900x60/1280x1024x60 при 24bpp/32bpp, 24-bit RAMDAC, KVMS с использованием LPC для KCS, SMIC и BT (удалённый USB 2.0 для CD/DVD и USB 1.1 для удалённой клавиатуры и мыши), ?ARM 926-EJ с MMU на 400 MHz, 16 тахометров, 8 контроллеров PWM, мониторинг напряжений и температур, 16 MB флеш, ?сопроцессор SSP для шифрования, сжатия и перенаправления видео).
Модуль TPM 2.0 AXXTPMENC8 или AXXTPMCHNE8 для Китая.
Intel ME поддерживает Intel NM 4.0 (Intel Power Node Manager), которая позволяет запрашивать текущее потребление энергии (ЦП, память, общее) и задавать политики реакции на превышение заданного уровня (по умолчанию - предупреждение при превышении потребления от номинальной мощности одного БП).
Горячие клавиши при загрузке (дождаться бибиканья после инициализации USB контроллера):
Сзади имеются индикаторы POST, диагностики (8 светодиодов, приложение B), состояния (горит зелёный - ОК; мигает зелёный - деградация; мигает оранжевый - критическое состояние; горит оранжевый - система остановлена) и идентификации (голубой; горит - по нажатию кнопки, мигает - по команде IPMI, мигает часто - грузится BMC). Индикаторы проблем с ЦП1 и ЦП2 и каждым модулем памяти, индикатор дежурного питания, 6 индикаторов вентиляторов. Проблемы BMC: горит голубой и оранжевый - ошибки памяти, мигает голубой и горит оранжевый - проблемы образа загрузки BMC, мигает голубой и зелёный - микрозагрузчик BMC не может загрузить Linux, горит голубой и зелёный - BMC загружает Linux Если при загрузке обнаружны проблемы, то на экран по возможности выдаётся сообщение с кодом ошибки POST (4 цифры, TPS приложение C). Если проблемы обнаружены до инициализации видео, то код передаётся звуковыми/световыми сигналами (TPS приложение C). Проблемы BMC передаются тем же индикатором состояния азбукой морзе (SG приложение E?).
Переключатели на плате:
Набор для обновления BIOS/BMC/ME для UEFI Shell (System Update Package, SUP) содержит полный комплект утилит и прошивок для обновления BMC (HSBP FW, PSU FW), BIOS (включая прошивки и UEFI драйверы сетевых контроллеров, SATA и sSATA), ME (Manageability Engine), FD (Flash Descriptor), FRU и SDR (?управляющий файл master.cfg):
[ 0.000000] efi: EFI v2.60 by EDK II BIOS ID:SE5C620.86B.02.01.0014.082620210524 [ 0.000000] efi: SMBIOS=0x66bd4000 ACPI=0x67907000 ACPI 2.0=0x67907014 MOKvar=0x66b61000 [ 0.000000] SMBIOS 2.8 present. [ 0.000000] DMI: Intel Corporation S2600WFT/S2600WFT, BIOS SE5C620.86B.02.01.0014.082620210524 08/26/2021
Обновление можно производить прямо из Linux с помощью OFU (Intel One Boot Flash Update utility, flashupdt), но я с прошлого раза ей не доверяю. В любом случае придётся перезагружаться. ?
Утилита selview (System event log viewer) позволяет смотреть, сохранять и очищать журнал (SEL), записываемый BMC; требуется JRE и графика; альтернатива - ipmitool. ?
Утилита syscfg (Save and restore system configuration utility) позволяет сохранить настройки BIOS и BMC в файл и восстановить из файла или командной строки (после изменения настроек необходимо перезагрузиться). Описана выше, надеюсь, что ничего не изменилось. ?
Монструозный Intel® Server Management Toolkit for Intel® Server Systems and Intel® Server Boards Based on the Intel® Xeon® Processor E5-2600 v3 and v4 Product Family (5 R!) размером 800 МБ под CentOS 7. ?
Немного (300 МБ) меньше размером и с одной R Intel® Active System Console тоже под CentOS 7.
BMC аналогичен, установленному в Intel H2000P.
Платформа (Server System) Intel R2000GZ предоставляет на выбор несколько видов шасси высотой 2U с материнской платой S2600GZ (GL). Имеются модификации со встроенной 10-гигабитной сетью и встроенным SAS контроллером. Рабочая температура - от +10 до +45 градусов (не более 10 градусов в час?). Шум - 7.4BA.?
Шасси ? включает корпус (?), салазки AXXELVRAIL, переднюю панель (FFPANEL), блок распределения питания ?, 2 блока питания 750 Вт в модели R2208GZ4GC (левый - первый, правый - второй) с горячим подключением, объединительную плату ? для горячего подключения 8 SAS/SATA SFF дисков. Имеются модификации на 8 (R2208GZ, 2 кабеля SFF-8087 от SCU к HSBP), 16 (R2216GZ) или 24 (R2224GZ) дисков SFF, 8 (R2308GZ) или 12 (R2312GZ) дисков LFF. Модификации на 16 дисков включают SAS экспандер на 24 порта RES2CV240. Модификации на 24 диска включают SAS экспандер на 36 портов RES2CV360. Имеются модификации с 1 блоком питания 750 Вт или 460 Вт. ?Каждый диск получает индикаторы состояния (оранжевый, сбор или перестроение) и активности (мигает при активности, горит при наличии SAS устройства), общий на всех звучок. Нумерация дисков с нуля - слева направо. Внутри имеется место под 2 SSD (подключаются к AHCP C600). 5 сдвоенных вентиляторов ? (датчики и управление скоростью вращения, продолжают вращаться и при выключении модуля, до 21000 RPM? резерва нет!), ? 2 радиатора (? для переднего ЦП и ? для заднего ЦП), экран управления воздушными потоками, корпус и материнскую плату Размер - ? (LFF) или ? (SFF). Вес - до ? кг (до ? кг). ? На передней панели для каждого узла имеются кнопки включения питания (с индикатором) ? и идентификации (с индикатором, мигает по удалённой команде), прорезь кнопки сброса (?), ? индикаторы состояния (мигает зелёным - проблема, мигает оранжевым - большая проблема, горит оранжевым - совсем плохо) и сетевой активности. Позволяет измерять потребление энергии (минимум, максимум, среденее, текущее).
Блоки питания в стандарте CRPS (Common Redundant Power Supply) с поддержкой PMBus 1.1 (для управления) - DELTA DPS-750XB (? E98791-007), 750 Вт, IEC320 C14, 80Plus Platinum, пиковая нагрузка - ? Вт (20 секунд до извещения по SMB), отключение при нагрузке ? Вт. ? Имеется сдвоенный вентилятор без резерва и без возможности замены. ? При поломке одного БП вместо него необходимо вставить заглушку. ? Поддержка режима холодного резерва (при нагрузке менее 40% один БП может быть отключён). ? Индикаторы: зелёный - OK, мигает зелёный - спячка или холодный резерв, оранжевый - нет энергии или критическая проблема (остановился вентилятор, сбой, замыкание), мигает оранжевый - проблема (перегрев, перегруз).
Материнская плата имеет размеры ?, позволяет установить 2 ЦП серии E5-2600v2 (до 135W TDP - в другом месте сказано 130W, первый ЦП - ?, 2 QPI канала по 8GT/s между ЦП) и 24 модуля памяти DDR3 с ECC (модули до 32ГБ, 4 канала на каждом ЦП, по 3 модуля на канал), 2 переходные платы PCIe3 на 24 линии (первая получает 16 линий от ЦП1 и 8 линий от ЦП2, вторая - все 24 линии от ЦП2; режимы работы переходных плат - 8+8+8 или 16+8; оставшиеся 8 линий от ЦП1 используются опциональным SAS контроллером или нестандартным модулем IO), 2 порта SATA 6 Gbps от AHCI C600-A для подключения внутренних SSD и 2 порта SFF-? по 4 SAS/SATA 3 Gbps от SCU C600-A к дискам шасси), ? 2 USB порта к iBMC (USB 1.1 и USB2), 2 порта USB2.0 сзади и 1 на плате, последовательный порт на плате (от iBMC), ? в строенное видео (DB-15, VGA, MGA G200e - Pilot ServerEngines (SEP1), 128 MB DDR2), 4 порта Ethernet (1000Base-T, I350, нумерация слева, соединён с iBMC по NC-SI (RMII), MAC адрес первого напечатан, MAC адрес второго на 1 больше, подключены к PCIe x4 на C600, требуются экранированные кабели!), модуль управления Pilot ServerEngines LLC Pilot III (Integrated BMC, iBMC, PCIe1 x1 от C600, RMII от 2 каналов I350, 2 отдельных MAC с RMII/RGMII на 10/100/1000, COM1 (внутренний разъём), аналоговое видео на задней и передней (не работает) панели, 1600x1200 16bpp (32bpp?) 60Hz и RAMDAC 24 bit (Matrox), KVMS с использованием LPC для KCS, SMIC и BT (удалённый USB 2.0 для CD/DVD и USB 1.1 для удалённой клавиатуры и мыши), ARM 926-EJ с MMU на 400 MHz, 16 тахометров, 8 контроллеров PWM, мониторинг напряжений и температур, 16 MB флеш, сопроцессор SSP для шифрования, сжатия и перенаправления видео). Весь ввод/вывод повешен на ЦП1. Используется периферийная микросхема C600-A (X79): интерфейс к ЦП1 - ESI GEN2 x4 4GB/s (DMI2, PCIe2 x4), ACPI 4.0a. SCU подключён отдельно к ЦП1 по PCIe1 x4 (800 МБ/сек). В настройках BIOS можно выбрать 2 варианта работы SCU контроллера (8 дисков шасси): Intel Rapid Storage Technology (RSTe, isci, C600 SAS Controller Driver) - проброс диска, RAID-0, RAID-1, RAID-5 (только для SATA), RAID-10 (псевдо RAID); Intel Embedded Server RAID Technology 2 (ESRT2 на базе LSI MegaRAID) - RAID-0, RAID-1, RAID-10 (псевдо RAID). Память может быть (смешивать нельзя, рекомендуется свериться с таблицей в TPS!): небуферизованная (SR x8, SR x16, DR x8) и регистровая (SR и DR и QR, x4 и x8) и LRDIMM (QR x4 и QR x8, до 1333 MT/s), 1.5V (до 1867 MT/s - в другом месте сказано 1600) или 1.35V (до 1600 MT/s - в другом месте сказано 1333). Возможность зеркалирования памяти, lockstep (128-битный доступ), запасной памяти, коррекции ошибок целой микросхемы (x4 для обычного режима, x8 для lockstep). Имеется модификация GL с 2 модулями памяти на канал вместо 3 у GZ. Сзади имеются индикаторы POST, состояния и идентификации. Отдельно можно купить ключ активации расширенного модуля удалённого доступа RMM4 Lite (AXXRMM4Lite, добавляет функции KVM ) и ключ, превращающий SATA котроллер SCU C600 в псевдоRAID и/или SAS контроллер (например, RKSAS4 активирует 4 SAS порта; обрабатывается ME). Имеются модули с нестандартным интерфейсом (фактически PCIe x8): полноценный (с отдельным портов Ethernet, Dedicated Server Management NIC, 1Gbps, отдельный MAC) модуль удалённого доступа RMM4 (AXXRMM4IOM , требует AXXRMM4Lite), модуль с 2 портами 10 GbE SFP+ (Intel 82599), модуль с 2 портами 10GBASE-T (Intel X540), модуль с 4 портами 1GbE (Intel I350), модуль с 1 или 2 портами Infiniband QDR или FDR (Mellanox CX3) Переключатели:
Сервер HP ProLiant DL320 Generation 5p представляет собой однопроцессорный сервер в стоечном исполнение (1U, полноразмерный - 70.5 см в глубину) на двух/четырёхядерных CPU . Нестандартный формат материнской платы и блоков питания.
Процессоры: Intel Xeon 30xx/31xx/32xx/33xx (до 95 Вт) или Core 2 E4600.
Чипсет Intel 3210 (82801I, ICH9R, контроллер SATA 1.5Gbps, 4 порта/6 каналов), мост PCI-X (Broadcom EPB).
Память Unbuffered ECC DDR2 1.8V PC2-6400 800MHz (4 слота, до 8ГБ)
PCI Express - полноразмерный слот для PCI Express x8 и низкопрофильный половинной длины слот для PCI Express x8 (интерфейс x1).
ATI Technologies Inc ES1000 (32МБ). Разъём VGA на задней панели. Разрешение 1600x1200 для 16-битного цвета, 1280x1024 для 32-битного цвета и удалённой консоли.
Корзина для 4 SAS/SATA дисков 3.5" с горячей заменой. Каждая кроватка имеет индикаторы - активность (зелёный, если мигает с частотой 1Гц, то не трогать, т.к. идёт восстановление или миграция), сбой (оранжевый; если мигает с частотой 1Гц, то готов вылететь), идентификация (голубой, для поиска устройства). Нумерация с единицы слева.
Опциональный DVD-ROM (9.5 мм для 4 дискового варианта).
Блок питания 400W PFC. Индикация на блоке?.
Вентиляторные модули (4 блока по 2 штуки).
Встроенная сеть - Broadcom NetXtreme BCM5715, aka HP NC326i (драйвер tg3: eth0 внизу, eth1 вверху)?. Аппаратная поддержка TCP/IP. Возможна загрузка по PXE (только с первого порта). Нижний сетевой порт разделяется с iLO2.
Порты PS/2 для клавиатуры и мышки.
Последовательный порт на задней панели (по умолчанию /dev/ttyS1 - COM2; COM1 отдан под виртуальный последовательный порт, доступный через iLO2). Может быть использован для доступа к настройкам BIOS (VT100 или ANSI), в том числе в режиме автоматического определения. Нажатие функциональных клавиш вида F1 производится вводом "Esc 1" (F10 - "Esc 0", F11 - "Esc!", F12 - "Esc @", Home - "Esc h", End - "Esc k", Insert - "Esc +", Delete - "Esc -", PageUp - "Esc ?", PageDown - "Esc /", Reset - "Esc R Esc r Esc R").
4 порта USB 2.0: 2 порта на задней панели, 2 порта на передней панели (один из портов совмещён с внутренним портом).
Кнопка включения питания с индикацией включения и наличия дежурного питания.
Кнопка и подсветка идентификации есть спереди и сзади. Нажав кнопку можно узнать удалённо на каком именно сервере она была нажата. Подсветку идентификации можно включить удалённо, чтобы обнаружить нужный сервер.
Индикаторы на передней панели: состояние сервера (зелёный - всё хорошо, жёлтый - проблемы, красный - критические проблемы), активность eth0 и eth1, активность дисковой подсиситемы (встроенного SATA контроллера).
Выдвижная платка, на которой можно записать серийный номер.
iLO2 - маленький компьютер (BMC, IPMI), который следит за состоянием сервера. и доступен по сетевому каналу, совмещённому с NIC1 (eth0, нижний).
Переключатель на материнской плате (System maintenance switch): отключение безопасности iLO 2, блокировка настроек, резерв, резерв, не требовать введения пароля при включении питания, очистить настройки в CMOS и NVRAM.
Индикаторы на плате (оранжевые и красные): сбой процессора, сбой преобразователя питания (PPM), сбой вентилятора (отдельно для каждой пары), перегрев, сбой модуля памяти (отдельно для каждого модуля).
Для входа в RBSU (ROM-Based Setup Utility, аналог Setup BIOS) нажать F9 (при использовании последовательного порта или виртуального последовательного порта iLO2 - "Esc 9"; при этом вместо меню используются команды; не все настройки доступны в командном режиме, например, оказалось невозможно выбрать нужное PXE устройство - всегда выбиралось первое подходящее). В частности, позволяет изменить серийный номер (требуется при замене материнской платы). Изменения сохраняются немедленно (нет кнопки SAVE)! Для загрузки с помощью PXE - нажать F12.
Поддержка IPMI 2.0.
Поддержка RHEL и SLES.
Настройки и программные средства описаны в главе о HP ProLiant DL365 Generation 5.
Сервер HP ProLiant DL365 Generation 5 представляет собой двухпроцессорный сервер в стоечном исполнение (1U, полноразмерный - 70.5 см в глубину) на четырёхядерных CPU AMD Opteron. Нестандартный формат материнской платы и блоков питания.
Процессоры: AMD Opteron 2300 (2384 - 2.7GHz, 2382, 2378, 2356 - 2.3GHz, 2354, 2352). Первый процессор - справа, он должен быть.
Чипсет Serverworks HT-2100 [Broadcom BCM5785?] (PCI/PCI-X, South, IDE, LPC, USB). ACPI 1.0b.
Память Unbuffered ECC DDR2 1.8V PC2-5300 667MHZ или PC2-6400 800MHz (8 слотов, до 32ГБ) в зависимости от процессора (2356 - 667MHz). В комплекте идёт 4x1GB. 4 слота справа нумеруются справа налево: 1A, 2A, 3B, 4B. 4 слота слева нумеруются слева направо: 5C, 6C, 7D, 8D. Модули памяти должны устанавливаться парами (модули в паре должны быть идентичными). Поддерживается режим Advanced ECC: обнаружение и исправление корректируемых ошибок (одиночные неправильные биты и множественные неправильные биты, если они все на одной микросхеме), извещение о превышении уровня исправимых ошибок свыше установленного. Возможно зеркалирование модулей памяти и назначение запасного модуля для горячей замены (сбойный модуль вынимается позднее в запланированное время).
PCI Express - полноразмерный слот для PCI Express x8 (в центре, HP NC360T, PXE, e1000: eth3, eth2), низкопрофильный половинной длины слот для PCI Express x4 (слева, HP NC360T, e1000: eth4, eth5).
PCI-X (133MHZ, 3.3V) - совмещён с PCI Express x8.
ATI Technologies Inc ES1000 (32МБ). Разъёмы VGA на задней и передней панелях. Разрешение 1600x1200 для 16-битного цвета, 1280x1024 для 32-битного цвета и удалённой консоли.
SAS контроллер - Smart Array E200i (64MB без батарейки или 128MB с батарейкой) или P400i (256MB без батарейки или 512MB с батарейкой или 256MB с батарейкой).
Корзина для 6 SAS/SATA дисков SFF (2.5") с горячей заменой. Для доступа к пятому и шестому требуется контроллер P400i и дополнительный кабель Mini-SAS 4i от контроллера к корзине. Каждая кроватка имеет индикаторы - активность (зелёный, если мигает с частотой 1Гц, то не трогать, т.к. идёт восстановление или миграция), сбой (оранжевый; если мигает с частотой 1Гц, то готов вылететь), идентификация (голубой, для поиска устройства). Нумерация с единицы слева направо снизу вверх.
Снимаемый отсек (кнопка выброса) для CD/DVD (PATA, TSSTcorp CDW/DVD TS-L462D HG01, запись CD-R/RW, чтение DVD-ROM).
Встроенная сеть - Broadcom NetXtremeII BCM5708, aka HP NC373i (bnx2: eth0, eth1). Аппаратная поддержка TCP/IP и iSCSI (требуется докупить лицензию). Возможна загрузка по PXE и iSCSI.
Порты PS/2 для клавиатуры и мышки.
Легкозаменяемые вентиляторные модули (3 блока по 3 штуки). Отстанов всего блока приводит к отключению сервера.
2 блока питания с возможностью горячей замены (справа и в центре) по 700W. Индикация на блоке.
iLO2 - маленький компьютер, который следит за состоянием сервера. и доступен с сервера и по выделенному сетевому каналу (разъём на задней панели вверху слева, адрес задаётся по DHCP или вручную, есть даже поддержка тегированных VLAN). Каналы: 7 (0x60? KCS), 14 и 15 (System Interface, KCS), а где сетевой?. Позволяет включить, выключить, перезагрузить сервер, получать извещения о проблемах, получать информацию о состоянии сервера и его подсистем. Виден серверу как PCI устройства: HP iLO2 Controller, HP iLO2 Processor, HP iLO2 UHCI Virtual Media, HP iLO2 UHCI Health Interface. Виртуальный последовательный порт (задаётся в RBSU - см. ниже) позволяет обеспечить удалённый доступ через iLO2 к последовательной порту (номер порта задаётся в настройках), в том числе к настройкам BIOS (по умолчанию, COM1/9600). Простейший способ использования - зайти с помощью ssh на адрес iLO2 нужного сервера и выдать команду VSP (выход по "ESC(", нажатие функциональных клавиш вида F1 производится вводом "Esc 1" и т.п.). Возможен проброс запросов RDP, приходящих на IP iLO2, на сервер (требуется установка ПО на сервер). Начальную настройку (IP адрес, DHCP/DNS, пользователи) можно сделать при загрузке сервера (вовремя нажать F8 или "Esc 8" при использовании последовательного порта). Имеется виртуальное хранилище, которое позволяет обойтись без записи драйверов на НГМД при установке ОС. iLO2 может использоваться администраторами и другими подсистемами для доступа к информации мониторинга, в т.ч. через HTTP, HTTPS (есть управление сертификатами), SSH (есть управление ключами, ключ д.б. в формате OpenSSH, в конце д.б. имя пользователя, не login), telnet, SNMP, IPMI интерфейс, DTMF Web Services for Management, health driver (iLO 2 Advanced Server Management Controller Driver), iLO 2 Management Interface Driver, скрипты (на языке RIBCL - основан на XML; настройка локального iLO2 - утилита hponcfg (XML файл)). ssh и telnet (DMTF SMASH CLP): управление питанием, управление индикацией, генерация NMI, виртуальный последовательный порт, объектный доступ (XML внутри?) к настройкам (create, delete, show, set, reset, start, stop, cd). Например, узнать температуру процессора: ssh имя@адрес "show /system1/sensor4" (fan1, fan2 и fan3 - состояние вентиляторных модулей; sensor1 и sensor2 - VRM; sensor3 - окружающая температура; sensor4 и sensor5 - температура процессоров; sensor6 и sensor7 - температура материнской платы; sensor8 - температура БП; powersupply1, powersupply2 и powersupply3 - состояние соответствующего БП). Узнать список пользователей: ssh имя@адрес "show /map1/accounts1" (здесь же журнал - map1/log1/recordXYZ). Поставляется модуль ядра hp_ilo (пакет hp-ilo, /etc/init.d/hp-ilo), используется для доступа к iLO2 с локального сервера, требуется для hp-snmp-agents. В стандартном ядре поставляется модуль hpilo (/dev/hpilo). Закупив дополнительную лицензию можно перевести iLO2 в режим Advanced, который позволяет конфигурировать и мониторить сервер удалённо в графическом режиме через веб-интерфейс или скриптами, монтировать ISO образы в виде виртуального CD/DVD-ROM, аутентифицироваться с помощью AD или карточек (удаление лицензии: delete /map1/license). Обновление прошивки можно делать через HTTP-интерфейс или загрузившись с диска с обновлением прошивок BIOS (Firmware Maintenance CD-ROM). Версия 1.77: улучшенное управление питанием (High Efficiency Mode - HEM). Версия 1.75: лицензирование дополнительных функций, температура дисков. По умолчанию открыты порты: 22 (SSH), 80 (HTTP), 443 (HTTPS), 17988 (Virtual Media Port), 17990 (Console Replay Port). HTTP интерфейс (поддерживается IE6SP1 и Firefox 2.0):
Последовательный порт на задней панели (по умолчанию /dev/ttyS1 - COM2; COM1 отдан под виртуальный последовательный порт, доступный через iLO2). Может быть использован для доступа к настройкам BIOS (VT100 или ANSI), в том числе в режиме автоматического определения. Нажатие функциональных клавиш вида F1 производится вводом "Esc 1" (F10 - "Esc 0", F11 - "Esc!", F12 - "Esc @", Home - "Esc h", End - "Esc k", Insert - "Esc +", Delete - "Esc -", PageUp - "Esc ?", PageDown - "Esc /", Reset - "Esc R Esc r Esc R"). При включении виртуального порта утилиты настройки начинают работать как по модему на скорости 1200
4 порта USB 2.0: 2 порта на задней панели, 1 порт на передней и 1 порт на плате (для загрузки с флеша, загрузку с остальных USB портов можно отключить). При загрузке USB клавиатура воспринимается, а KVM Aten - нет.
Кнопка включения питания с индикацией включения и наличия дежурного питания.
Кнопка и подсветка идентификации есть спереди и сзади. Нажав кнопку можно узнать удалённо на каком именно сервере она была нажата. Подсветку идентификации можно включить удалённо, чтобы обнаружить нужный сервер.
Индикаторы на передней панели: состояние сервера (зелёный - всё хорошо, жёлтый - проблемы, красный - критические проблемы), состояние блоков питания (зелёный - всё хорошо, жёлтый - один из блоков питания не работает), активность eth0 и eth1.
Выдвижной поворачивающийся дисплей с индикаторами ошибок (Slide-out System Insight Display): состояние каждого блока питания, состояние каждого модуля памяти (жёлтый - слишком много исправлений ECC, красный - надо заменять), неплотно вставлена плата (INTERLOCK), преобразователи DC-DC (PPM1 и PPM2), состояние каждого процессора (жёлтый - прединфарктное состояние, красный - надо заменять), - вставить таблицу из всехперегрев (жёлтый - предупреждение, красный - критическая температура), состояние каждого вентиляторного модуля (жёлтый - один из вентиляторов сбоит, красный - слишком много неработающих вентиляторов).
Выдвижная платка, на которой можно записать серийный номер.
Переключатель на материнской плате (System maintenance switch): отключение безопасности iLO 2, блокировка настроек, резерв, резерв, не требовать введения пароля при включении питания, очистить настройки в CMOS и NVRAM.
Для входа в RBSU (ROM-Based Setup Utility, аналог Setup BIOS) нажать F9 (при использовании последовательного порта или виртуального последовательного порта iLO2 - "Esc 9"; при этом вместо меню используются команды; не все настройки доступны в командном режиме, например, оказалось невозможно выбрать нужное PXE устройство - всегда выбиралось первое подходящее). В частности, позволяет изменить серийный номер (требуется при замене материнской платы). Изменения сохраняются немедленно (нет кнопки SAVE)! Для загрузки с помощью PXE - нажать F12. Возможно настроить улучшенную обработку ошибок памяти с зеркалированием или горячим резервом. ROM делится на 2 независимые половины, что позволяет восстанавливаться при неудачном обновлении прошивки (взвести в переключателе 1-5-6 и включить питание, дождаться двух гудков). Если обе половины дефективны, то сервер переходит в режим восстановления. Журнал (IML, Integrated Management Log) может хранить несколько сотен сообщений, доступен из SIM (Systems Insight Manager), с помощью специальной утилиты IML Viewer, через iLO2, из утилиты командной строки hpasmcli (пакет hp-health) или hplog. Утилита hpasmcli позволяет посмотреть и изменить некоторые настройки. Некоторые команды командного режима (рекомендуется пробежаться по всем настройкам):
Для доступа к меню обслуживания и диагностики - нажать F10 (при использовании последовательного порта или виртуального последовательного порта iLO2 - "Esc 0"; при этом вместо меню используются команды). Некоторые команды командного режима:
ASR (Automatic Server Recovery) - автоматический перезапуск сервера. Загружается специальный модуль Health Driver (служба hp-asrd из пакета hp-health), который включает сторожевой таймер и периодически "отмечается" о том, что всё хорошо. Если ОС "зависает", то отметки прекращаются и система перезапускается. При этом система запоминает о наличии проблемы и количестве перезагрузок, необходимо очистить запись в журнале (repaire, но не clean!) и SNMP:
snmpset -v1 -c пароль 127.0.0.1 .1.3.6.1.4.1.232.6.2.5.7.0 i 4 # изначально было 2, но его установить не получится snmpset -v1 -c пароль 127.0.0.1 .1.3.6.1.4.1.232.6.2.5.10.0 i 0 [остановить сервисы hp-snmp-agents, snmpd и hp-health; запустить в обратном порядке]
Обещана поддержка RHEL 4.3 и 5.1 (RHEL 6 нет; для запуска cmanicd требуется создать ссылки /usr/lib64/libnetsnmpmibs.so.10, /usr/lib64/libnetsnmpagent.so.10, /usr/lib64/libnetsnmphelpers.so.10, /usr/lib64/libnetsnmp.so.10, /usr/lib64/librpm-4.4.so, /usr/lib64/librpmio-4.4.so, /usr/lib64/libsensors.so.3 на новые версии и /usr/lib64/libperl.so на /usr/lib64/perl5/CORE/libperl.so (?!); остальные сервисы всё равно не запускаются и к snmpd не пристёгиваются). Можно взять из пакета для RHEL6 от DL360G7 (hp-health пытается загрузить ipmi_si, функции которого встроены в ядро, - отредактировать /etc/init.d/hp-health). Можно загрузить с сайта диск SmartStart, содержащий набор драйверов и утилит для соответствующей версии Linux (версия 10.10 не заработала ни автоновно ни внутрисистемно, ни в автоматическом, ни в ручном режиме), или отдельные файлы с драйверами и утилитами. Есть средства для написания своих скриптов для массовой установки - SmartStart Scripting Toolkit (включает утилиту conrep, позволяющую копировать настройки RBSU) и "зачистки".
Модуль hp-OpenIPMI для доступа к IPMI. Можно использовать менее эффективную штатную реализацию OpenIPMI (модули ipmi_msghandler, ipmi_si, ipmi_devintf; устройства - /dev/ipmi0 и /dev/ipmi1).
Модуль hp-ilo для доступа к iLO2. Можно использовать штатный модуль hpilo (устройства - /dev/hpilo/d0ccb?).
Утилиты командной строки и сервис hp-health из пакета hp-health:
Пакет hp-snmp-agents для доступа собранным данным о состоянии сервера, сетевых устройств и устройств хранения данных по SNMP. Сервисы snmpd и hp-snmp-agents. Настройки лежат в файле /opt/hp/hp-snmp-agents/cma.conf. Вместо описания MIB какой-то мусор (реальный MIB ищется на сайте по "Insight Management MIB" в виде 30-мегабайтного архива всех известных HP MIB-ов; например, cpqhlth.mib содержит информацию о текущем состоянии; предварительно загрузить cpqhost.mib, cpqsinfo.mib, cpqstdeq.mib, cpqida.mib, cpqstsys.mib, cpqsm2.mib, cpqthrsh.mib, cpqide.mib, cpqfca.mib, cpqnic.mib). Утилита hpsnmpconfig позволяет предварительно настроить SNMP стек, ответив на несколько вопросов. При этом она "забывает" добавить возможность хотя бы прочитать имеющиеся переменные, добавить в /etc/snmp/snmpd.conf (вычеркнуть всё ею добавленное, кроме dlmod?):
view systemview included .1.3.6.1.4
В прошлом пакет hpasm (hp System Health Application and Insight Management Agents) включал в себя агенты из hp-snmp-agents.
Пакет hpsmh - HTTP-сервер для доступа к данным управления (HTTPS, 2381, root/пароль).
Пакет hp-smh-templates - набор страниц для hpsmh для доступа к SNMP данным через HTTP.
Insight Diagnostics (пакет hpdiag) является дополнительным агентом для hpsmh и позволяет собрать информацию о конфигурации.
Сервер HP ProLiant DL360 Generation 6 представляет собой двухпроцессорный сервер в стоечном исполнение (1U, полноразмерный - 70 см в глубину, 18 кг) на четырёхядерных CPU Intel Xeon. Нестандартный формат материнской платы и блоков питания.
Процессоры: Intel Xeon 55xx (X5570 - 2.93GHz, 95W, L2 - 1MB на каждого, L3 - 8MB на всех, HT, Turbo 2/2/3/3). Первый - справа, второй - слева.
Чипсет Intel 5520 IOH + ICH10: 2 QPI (6.4GT/s, 18 бит и 2 CRC бит), 2 PCIe 2.0 x16 (каждый конфигурируется как 1 x16, 2 x8 или 4 x4), 1 PCIe 2.0 x4 (конфигурируется как 1 x4, 2 x2), PCIe 1.0 на ICH10.
Память RDIMM DDR3 PC3-10600R (18 слотов, 3 модуля на 3 канала на 2 ЦП, до 192ГБ) или UDIMM PC3-10600 (12 слотов, до 24ГБ). 2 модуля (2 rank) на канал работают на скорости 1333MHz (1066MHz?), 3 модуля - 800 MHz (UDIMM использовать нельзя). Нумерация слотов цифровая (от процессора наружу) и буквенная (от A до G по порядку заполнения). Поддерживается режим Advanced ECC: обнаружение и исправление корректируемых ошибок (одиночные неправильные биты и множественные неправильные биты, если они все на одной микросхеме), извещение о превышении уровня исправимых ошибок свыше установленного. Возможно зеркалирование модулей памяти (можно использовать только 2 канала) и назначение запасного модуля для горячей замены (сбойный модуль вынимается позднее в запланированное время). Режим Lockstep (можно использовать только 2 канала, скорость ниже).
Полноразмерный полной высоты слот PCI Express 2.0 x16 (8 GBps в каждом направлении, можно заменить на PCI-X, 133MHz, 64-bit, 3.3V) и половинной высоты слот PCI Express 2.0 x8.
ATI ES1000 (32МБ) в составе iLO2 (отдельная шина PCI). Разъёмы VGA на задней и передней панелях. Разрешение 1600x1200 для 16-битного цвета, 1280x1024 для 32-битного цвета и удалённой консоли.
Встроенный SAS RAID контроллер Smart Array P410i/512MB с BBWC на отдельной PCI Express 1.0 x8 (SAS - 6Gb/s, SATA - 3Gb/s).
Корзина для 4 (8) SAS/SATA дисков SFF (2.5") с горячей заменой. Каждая кроватка имеет индикаторы - активность (зелёный, если мигает с частотой 1Гц, то не трогать, т.к. идёт восстановление или миграция), сбой (оранжевый; если мигает с частотой 1Гц, то готов вылететь), идентификация (голубой, для поиска устройства). Нумерация с единицы слева направо снизу вверх.
Снимаемый отсек (кнопка выброса) для DVD-ROM (SATA, TEAC DV-28S-V). Несовместим с корзиной на 8 дисков.
Встроенная сеть - Broadcom NetXtremeII BCM5709, aka HP NC382i (bnx2: eth0 слева, eth1 рядом) на отдельной PCI Express 2.0 x4. Аппаратная поддержка TCP/IP и iSCSI (требуется докупить лицензию). Возможна загрузка по PXE и iSCSI.
Порты PS/2 для клавиатуры и мышки.
Легкозаменяемые вентиляторные модули, 4 модуля по 4 вентилятора, нумерация слева направо. При останове одного вентилятора остальные надрываются от усердия. Отстанов 2 вентиляторов приводит к отключению сервера.
2 блока питания с возможностью горячей замены 460W, 750W или 1200W (1 - справа, 2 - слева). Индикация наличия питания.
iLO2 (справа перед блоком питания).
Последовательный порт на задней панели (по умолчанию /dev/ttyS1 - COM2 (?); COM1 отдан под виртуальный последовательный порт, доступный через iLO2). Может быть использован для доступа к настройкам BIOS (VT100 или ANSI), в том числе в режиме автоматического определения. Нажатие функциональных клавиш вида F1 производится вводом "Esc 1" (F10 - "Esc 0", F11 - "Esc!", F12 - "Esc @", Home - "Esc h", End - "Esc k", Insert - "Esc +", Delete - "Esc -", PageUp - "Esc ?", PageDown - "Esc /", Reset - "Esc R Esc r Esc R").
4 порта USB 2.0: 2 порта на задней панели, 1 порт на передней и 1 порт на плате (для загрузки с флеша, загрузку с остальных USB портов можно отключить).
SD слот (для загрузки предустановленного гипервизора).
Кнопка включения питания с индикацией включения и наличия дежурного питания.
Кнопка и подсветка идентификации есть спереди и сзади. Нажав кнопку можно узнать удалённо на каком именно сервере она была нажата. Подсветку идентификации можно включить удалённо, чтобы обнаружить нужный сервер.
Индикаторы на передней панели: состояние сервера (зелёный - всё хорошо, жёлтый - проблемы, красный - критические проблемы), активность eth0 и eth1.
Дисплей с индикаторами ошибок: состояние каждого блока питания, превышение нагрузки (Power Cap), состояние каждого модуля памяти (жёлтый - слишком много исправлений ECC, красный - надо заменять), неплотно вставлена плата PCI Express Riser (INTERLOCK), состояние каждого процессора (жёлтый - прединфарктное состояние, красный - надо заменять), перегрев (жёлтый - предупреждение, красный - критическая температура), состояние каждого вентиляторного модуля (жёлтый - один из вентиляторов сбоит, красный - слишком много неработающих вентиляторов).
Переключатель на материнской плате (System maintenance switch): отключение безопасности iLO 2, блокировка настроек, резерв, резерв, не требовать введения пароля при включении питания, очистить настройки в CMOS и NVRAM. Кнопка NMI (внутри корпуса).
ASR (Automatic Server Recovery) - автоматический перезапуск сервера. Загружается специальный модуль Health Driver (пакет ?), который включает сторожевой таймер и периодически "отмечается" о том, что всё хорошо. Если ОС "зависает", то отметки прекращаются и система перезапускается.
Обещана поддержка RHEL (при загрузке есть выбор для CentOS), SLES. Можно загрузить с сайта диск SmartStart, содержащий набор драйверов и утилит для соответствующей версии Linux, или отдельные файлы с драйверами и утилитами. Есть средства для написания своих скриптов для массовой установки (включает утилиту CONREP, позволяющую копировать настройки RBSU) и "зачистки".
Модуль hp-OpenIPMI для доступа к IPMI. Можно использовать менее эффективную штатную реализацию OpenIPMI (модули ipmi_msghandler, ipmi_si, ipmi_devintf; устройства - /dev/ipmi0 и /dev/ipmi1).
Модуль hp-ilo для доступа к iLO2. Можно использовать штатный модуль hpilo (устройства - /dev/hpilo/d0ccb?).
Утилиты командной строки и сервис hp-health.
Пакет hp-snmp-agents.
Пакет hpsmh - HTTP-сервер для доступа к данным управления (HTTPS, 2381, root/пароль).
Пакет hp-smh-templates - набор страниц для hpsmh для доступа к SNMP данным через HTTP.
Insight Diagnostics (пакет hpdiag) является дополнительным агентом для hpsmh и позволяет собрать информацию о конфигурации.
Сервер HP ProLiant DL585 Generation 6 представляет собой четырёхпроцессорный сервер в стоечном исполнение (4U, полноразмерный - 67.5 см в глубину, 43 кг) на шестиядерных CPU AMD Opteron. Нестандартный формат материнской платы и блоков питания.
Процессоры: AMD Opteron 8xxx (8439SE - 2.8GHz, 105W, L2 - 512MB на каждого, L3 - 6MB на всех, 3 HT3). Первый - справа вверху, второй - слева вверху, третий - справа внизу.
Чипсет nVidia NForce Professional 2200 MCP (1 PCIe x4 в слот 9 и 2 PCIe x8 в слоты 7 и 8, сюда же PCI (видео и iLO), LPC, USB, PATA) через HT-туннель AMD-8132 (напрямую к CPU1 по HT, 16 Gbps?) nVidia NForce 2050 (3 PCIe x4 в слоты 3/4/6 и 1 PCIe x8 в слот 5) через HT-туннель AMD-8132 (к CPU 2, сюда же PCI-X и оба Ethernet, 16 Gbps?).
Память Reg DDR2 ?V PC2-6400 800MHz (32 слота, до 256ГБ). 2 или 4 модуля на процессор работают на скорости 800 MHz, 6 модулей - 667 MHz, 8 - модулей - 533 MHz. Модули памяти должны устанавливаться парами (модули в паре должны быть идентичными). Нумеруются последовательно по узлам (см. нумерацию процессоров), внутри узла снаружи внутрь. Поддерживается режим Advanced ECC: обнаружение и исправление корректируемых ошибок (одиночные неправильные биты и множественные неправильные биты, если они все на одной микросхеме), извещение о превышении уровня исправимых ошибок свыше установленного.
Блок, содержащий процессоры и память выдвигается вперёд и вынимается.
3 полноразмерных слота PCI Express x8, 4 полноразмерных слота PCI Express x4. Все слоты удвоенной механической ширины (т.е. x16 и x8). При использовании следует распределять нагрузку равномерно по двум HT.
2 слота PCI-X на одной шине (100MHZ, ?V, через AMD-8132), один полной длины, второй - половинной.
ATI Technologies Inc RN-50 (32МБ, DDR1). Разъёмы VGA на задней и передней панелях. Разрешение 1600x1200 для 16-битного цвета, 1280x1024 для 32-битного цвета и удалённой консоли.
SAS RAID контроллер в высокопроизводительном комплекте - Smart Array P410/512MB с BBWC на PCI Express x8 (SAS - 6Gb/s, SATA - 3Gb/s).
Корзина для 8 SAS/SATA дисков SFF (2.5") с горячей заменой. Каждая кроватка имеет индикаторы - активность (зелёный, если мигает с частотой 1Гц, то не трогать, т.к. идёт восстановление или миграция), сбой (оранжевый; если мигает с частотой 1Гц, то готов вылететь), идентификация (голубой, для поиска устройства). Нумерация с единицы слева направо.
Снимаемый отсек (кнопка выброса) для DVD-ROM (PATA).
Снимаемый отсек для НГМД.
Встроенная сеть - Broadcom NetXtremeII BCM5706i, aka HP NC371i (bnx2: eth0 в правом углу, eth1 рядом). Аппаратная поддержка TCP/IP и iSCSI (требуется докупить лицензию). Подключены через одну шину PCI-X (AMD-8132, HT-туннель). Возможна загрузка по PXE и iSCSI.
Порты PS/2 для клавиатуры и мышки.
Легкозаменяемые вентиляторные модули (6 штук). Каждый имеет индикаторы: зелёный - всё хорошо, жёлтый - сбой. При останове одного вентилятора остальные надрываются от усердия (слышно в соседней комнате). Отстанов 2 вентиляторов приводит к отключению сервера. Нумеруются спереди назад, слева направо.
2 блока питания с возможностью горячей замены по 1300W. Индикация питания и неисправности на блоке. Разъёмы для кабелей повышенной мощности (IEC 320-C14) и переходные кабели в комплекте (IEC320-C19).
Последовательный порт на задней панели (по умолчанию /dev/ttyS1 - COM2 (?); COM1 отдан под виртуальный последовательный порт, доступный через iLO2). Может быть использован для доступа к настройкам BIOS (VT100 или ANSI), в том числе в режиме автоматического определения. Нажатие функциональных клавиш вида F1 производится вводом "Esc 1" (F10 - "Esc 0", F11 - "Esc!", F12 - "Esc @", Home - "Esc h", End - "Esc k", Insert - "Esc +", Delete - "Esc -", PageUp - "Esc ?", PageDown - "Esc /", Reset - "Esc R Esc r Esc R").
5 портов USB 2.0: 2 порта на задней панели, 2 порта на передней и 1 порт на плате (для загрузки с флеша, загрузку с остальных USB портов можно отключить).
Кнопка включения питания с индикацией включения и наличия дежурного питания.
Кнопка и подсветка идентификации есть спереди и сзади. Нажав кнопку можно узнать удалённо на каком именно сервере она была нажата. Подсветку идентификации можно включить удалённо, чтобы обнаружить нужный сервер.
Индикаторы на передней панели: внутреннее состояние сервера (зелёный - всё хорошо, жёлтый - проблемы, красный - критические проблемы), внешнее состояние сервера (зелёный - всё хорошо, жёлтый - один из блоков питания не работает, красный - совсем плохо), активность eth0 и eth1.
Дисплей с индикаторами ошибок (внутри ящика ;): состояние каждого блока питания, состояние питания процессорной платы, состояние питания платы ввода/вывода, состояние блока питания DC-DC (PPM) каждого процессора, кнопка NMI (ещё раз - это внутри ;), состояние каждого модуля памяти (жёлтый - слишком много исправлений ECC, красный - надо заменять), неплотно вставлена плата (INTERLOCK), состояние каждого процессора (жёлтый - прединфарктное состояние, красный - надо заменять), перегрев (жёлтый - предупреждение, красный - критическая температура), состояние каждого вентиляторного модуля (жёлтый - один из вентиляторов сбоит, красный - слишком много неработающих вентиляторов).
Дисплей кодов загрузки (тоже внутри).
Переключатель на материнской плате (System maintenance switch): отключение безопасности iLO 2, блокировка настроек, резерв, резерв, не требовать введения пароля при включении питания, очистить настройки в CMOS и NVRAM.
ASR (Automatic Server Recovery) - автоматический перезапуск сервера. Загружается специальный модуль Health Driver (пакет ?), который включает сторожевой таймер и периодически "отмечается" о том, что всё хорошо. Если ОС "зависает", то отметки прекращаются и система перезапускается.
Обещана поддержка RHEL (при загрузке есть выбор для CentOS), SLES. Можно загрузить с сайта диск SmartStart, содержащий набор драйверов и утилит для соответствующей версии Linux, или отдельные файлы с драйверами и утилитами. Есть средства для написания своих скриптов для массовой установки (включает утилиту CONREP, позволяющую копировать настройки RBSU) и "зачистки".
Модуль hp-OpenIPMI для доступа к IPMI. Можно использовать менее эффективную штатную реализацию OpenIPMI (модули ipmi_msghandler, ipmi_si, ipmi_devintf; устройства - /dev/ipmi0 и /dev/ipmi1).
Модуль hp-ilo для доступа к iLO2. Можно использовать штатный модуль hpilo (устройства - /dev/hpilo/d0ccb?).
Утилиты командной строки и сервис hp-health.
Пакет hp-snmp-agents.
Пакет hpsmh - HTTP-сервер для доступа к данным управления (HTTPS, 2381, root/пароль).
Пакет hp-smh-templates - набор страниц для hpsmh для доступа к SNMP данным через HTTP.
Insight Diagnostics (пакет hpdiag) является дополнительным агентом для hpsmh и позволяет собрать информацию о конфигурации.
Сервер Sun Fire V40z представляет собой четырёхпроцессорный сервер в стоечном исполнение (3U, полноразмерный - 71 см в глубину, 34 кг) на одно- и двухядерных CPU AMD Opteron (версия PN 380-1206). Нестандартный формат двух материнских плат и блоков питания. Материнские платы доступны через переднюю дверцу без съёма верхней крышки.
Процессоры: AMD Opteron Dual Core 8xx (Opteron DC 875 E1 - 2.2GHz, ?W, L2 - 1024MB на каждого, ? HT). Съёмные VRM. Число процессоров должно быть чётным. CPU0 - слева на основной плате, CPU1 - справа на основной плате, CPU2 - слева на дополнительной плате, CPU3 - справа на дополнительной плате.
Чипсет AMD-8111/AMD-8131.
Память Reg ECC DDR 2.6V PC-3200 400MHz (16 слотов, по 4 на ЦП, до 64ГБ, CAS: 2, 2.5 или 3). 4 съёмных VRM. Модули памяти должны устанавливаться парами, модули в сервере должны быть одной частоты, модули в паре должны быть одной ёмкости и производителя.
4 слота PCI-X полной длины (133MHZ, только 3V, через AMD-8131, PCI4-PCI7), 1 слот PCI-X полной длины (100MHz, только 3V, через AMD-8131, PCI3), 1 слот PCI-X половинной длины (100MHz, только 3V, через AMD-8131, PCI2), горизонтальный слот половинной длины (66MHz, только 3V, ёлочка под блоком питания, PCI1).
Trident Blade 3D AGP (8 МБ). Разъём VGA на задней панели. Разрешение 1280x1024 для 32-битного цвета и удалённой консоли.
Dual Ultra320 SCSI контроллер (LSI Logic / Symbios Logic 53c1030 PCI-X Fusion-MPT). Доступ к утилите настройки при загрузке - ^C. Если случайно отключили её совсем в настройках, то нажать ^A или ^E сразу после инициализации памяти. Позволяет настроить порядок загрузки. При проблемах с диском ожидает вмешательства оператора при загрузке (отключаемо). Позволяет (отключаемо) делать посекторный RAID-1 (IM, integrated mirroring) из 2 дисков (возможно преобразование одиночного диска в зеркало, не работает с LVM) или "улучшенный" RAID-1 (IME, Integrated-Mirroring Enhanced) из нескольких дисков (заявлен, но не работает с LVM, надо изменить тип раздела). Только один RAID-1 может быть активен. Имется, но не поддерживается (?!) возможность создания RAID-0 (IS, integrated striping). Возможно назначение диска для горячей замены (Hot Spare). Утилита настройки в Linux - lsiutil (megarc и megamgr не находят HBA), проверка состояния дисков и RAID - mpt-status. Процессор SAF-TE - GEM318P. Для хранения конфигурации используются последние 32 сектора диска. Собранные в RAID диски видны как /dev/sgX, т.е. можно использовать в smartctl.
Корзина для 5 U320 SCSI дисков LFF (3.5") с горячей заменой. Нумерация с нуля сверху вниз слева направо. Загрузка с устройства с наименьшим номером. Каждая кроватка имеет индикаторы - активность (зелёный), сбой (оранжевый; если мигает с частотой 1Гц, то не трогать, т.к. идёт восстановление),
Снимаемый отсек для DVD-ROM (PATA, MATSHITA DVD-ROM SR-8178) и НГМД, можно заменить на 6-й диск.
Встроенная сеть - сдвоенный гигабитный Ethernet. Broadcom NetXtreme BCM5704 (модуль bcm5700). eth0 в правом нижнем углу, eth1 - над ним). Подключены через одну шину PCI-X (AMD-8131, HT-туннель).
Порты PS/2 для клавиатуры и мышки.
Вентиляторы (12 штук) - передняя сборка (с 9 по 12 слева направо) и задняя сборка (с 1 по 8 спереди назад и слева направо). Воздушный поток спереди назад. Один вентилятор можно быстро заменить не останавливая сервер. При изъятии целой сборки сервер выключается. Каждый имеет индикаторы: зелёный - всё хорошо.
2 блока питания с возможностью горячей замены по ?W (входное напряжение от 100 до 240 VAC).
Последовательный порт на задней панели (по умолчанию /dev/ttyS0 - COM1; может быть переназначен для сервисного процессора). Может быть использован для доступа к настройкам BIOS (VT100 или ANSI), в том числе в режиме автоматического определения. Нажатие функциональных клавиш вида F1 производится вводом "Esc 1" (F10 - "Esc 0", F11 - "Esc!", F12 - "Esc @", Home - "Esc h", End - "Esc k", Insert - "Esc +", Delete - "Esc -", PageUp - "Esc ?", PageDown - "Esc /", Alt - "Esc ^A", CTRL - "Esc ^C" (?!)).
2 порта USB 2.0: 1 порт на задней панели, 1 порт на передней. USB клавиатура по умолчанию отключена в BIOS.
Кнопка включения питания с индикацией включения питания.
Кнопка и подсветка идентификации спереди и сзади. Нажав кнопку можно узнать удалённо на каком именно сервере она была нажата. Подсветку идентификации можно включить удалённо, чтобы обнаружить нужный сервер.
ЖК дисплей с кнопками для управления (Back/No, Select, Forward/Yes, Enter (Select+Yes), Cancel (No+Select)). Позволяет послать сигнал ОС на выключение или перезагрузку, посмотреть и очистить ошибки памяти, установить IP сервисного процессора, посмотреть значения сенсоров.
Индикатор системного сбоя: мигает в случае неисправимых ошибок памяти, чрезмерных исправимых ошибок памяти, проблем с ЦП. Для сброса необходимо удалить сообщение о критической ошибке из журнала событий или очистить журнал ("sp delete event -a").
Переключатель на материнской плате J125 позволяет очистить настройки CMOS.
Вход в настройки BIOS - F2, загрузка PXE - F12.
Обещана поддержка RHEL 3, SLES 8 и SLES 9.
Батарейка CR2032 под блоком питания.
Сервисный процессор (SP, IPMI v2.0) включает PowerPC (64 MHz), память (64 MB), флэш, 2 Ethernet порта (для подключения по цепочке, 10/100, сзади в середине внизу, возможно резервирование (требуется поддержка STP) с помощью использования 2 коммутаторов или кольца). IP адрес задаётся статически или с помощью DHCP. Доступ по SSH (есть полноценный скриптинг, доступ по ключу - формат openssh? необходимо положить файл в NSV), HTTPS (глюки навигации), SNMP. Используется Linux - есть полноценный shell (да! процессоры от AMD и IBM и ОС Linux на сервере Sun!). Основной сервер с точки зрения SP называется платформой (platform). Мониторит температуры, напряжения, скорость вращения вентиляторов ("sensor get --verbose"). Можно установить критические значения для выдачи предупреждений и отключения питания, посмотреть и установить лампочку идентификации. Можно посмотреть список оборудования и версий прошивок ("inventory get all -a -v"). Позволяет включить, выключить и "передёрнуть" питание ("platform set power state {on|off|cycle}"). Можно установить имя сервера, которое будет выводиться на операторскую консоль. Может рассылать сообщения по SMTP и SNMP (настраивается почтовый сервер и получатели). Хранит журнал сообщений об ошибках ("sp get events -d -v", "sp delete event номер"). Можно заводить пользователей (группы: monitor, admin, manager, service). Первоначально имеется пользователь setup без пароля, который удаляется после создание первого пользователя в группе manager. Создать суперпользователя: "sp set root on". Перейти в режим суперпользователя: "su -". Все настройки можно сбросить с операторской консоли. Сзади имеется кнопка перезагрузки SP. Питание поступает от обоих БП. Может использовать внешнюю файловую систему на NFS (network share volume, NSV), на которую может записываться журнал и результаты диагностики (на платформе выполняются тесты памяти, ethernet и SCSI; на SP проверяются флэш, LED, операторская панель, БП, температуры, работоспособность VRM и вентиляторов под различными нагрузками), на которой могут храниться обновления BIOS (да! BIOS обновляется с NFS!) и прошивки SP (на NFS сервере требуется запустить сервер обновления на Java 1.4.2 ;), драйверы и прочее (архив поставляется на CD-ROM). Для подключения к удалённой консоли необходимо зайти по SSH на сервисный процессор и выполнить команды (добиться доступа к grub и agetty не удалось):
platform set console -s sp -e -S 9600 # скорость должна совпадать с настройками в BIOS
platform get console # проверить
platform console # начать сеанс ('^Ec?' выдаёт список команд, команды начинаются с '^Ec')
|
Bog BOS: hardware: Серверы и платформы для сборки серверов |