|
|
Bog BOS: hardware: Краткое описание имеющихся материнских плат
|
Последнее изменение файла: 2025.02.27
Скопировано с www.bog.pp.ru: 2025.05.20
Bog BOS: hardware: Краткое описание имеющихся материнских плат
Краткое описание имеющихся материнских плат:
Материнская плата Intel SE7230NH1[LX]
(SE7230NH1-E,
версия LX - AAD13543-303, не LX - AAD18675-402), POST LED, чипсет E7230,
BIOS - NH72310J.86B.0674.2005.1011.1851 (LX) и NH72310J.86B.1297.2006.0823.1733 (не LX),
2 PCI 32 bit/33 MHz (отдельный сегмент PCI A совместно с 82541PI и ATI),
PCI-Express x4 (отдельный сегмент PCI C, скорость x1), PCI-Express x8 (отдельный сегмент PCI E),
PCI-X (только в версии LX, 64 bit/133 MHz, 6702 PXH-V-V PCI-X Hub, отдельный сегмент PCI D, PCI Express x4),
Super I/O: NS PC8374LOIBU, 4 порта USB EHCI, ACPI (S0, S1, S4, S5), flash 32 Mbits
Видео - PCI ATI ES1000, 16 MB, в режиме SVGA до 1600x1200x24 при 85 Hz.
Дисковая подсистема: 1 канал UATA100 и 4 канала SATA
(ICH7-R, в режиме AHCI, не задействованы, драйвер на CD-ROM).
4 сокета под DDR2, все модули должны быть одинаковы.
На плате LX имеются 2 RS-232 порта (ttyS0 и ttyS4), на обычной - один порт.
.
Ethernet Intel PRO/1000 82541PI (правый, PCI A 19)
)
и Ethernet Intel PRO/1000 82573E/V (левый, отдельный сегмент PCI B, PCI-Express x1), драйвер на CD-ROM
).
Часть конфигурации BIOS доступна только при установке специального джампера.
Мониторинг - Heceta и NS PC8374LOIBU.
Обновление BIOS
- записать настройки BIOS или сохранить их в пользовательских настройках
- развернуть SE7230NH1_BIOS_версия.zip в отдельный подкаталог
- развернуть извлечённый NH72310J*.IB.EXE (это самораспаковываемый zip-архив) в отдельный подкаталог
- развернуть извлечённый DISKIMG.EXE (это самораспаковываемый zip-архив -
третий уровень вложенности ;)
- скопировать disk.img на /dev/fd0
- смонтировать флоп (/media/floppy)
- скопировать AUTOEXEC.BAT, CONFIG.SYS, ERR_LEV.BAT, FDXXMS.SYS, FINDRAMD.EXE, TDSK.EXE, SW.EXE
- размонтировать флоп, загрузиться с него
Материнская плата Intel
SE7500CW2
- AAD???-???), снята с поддержки,
под 2 совершенно одинаковых Intel Xeon DP Socket604 FCPGA2 (32-bit, кеш 512KB),
FSB 400MHz (3.2GBps), чипсет Intel E7500, VRM 9.1 (по 65A на процессор), ATX12V или EPS12V,
размер SSI-EEB 3.0,
до 4 планок памяти registered ECC DDR200 или ECC DDR266 (2 канала по 1.6GBps,
от 256МБ до 4ГБ (часть адресного пространства резервируется BIOS), SPD, 2.5V),
BIOS - Phoenix (последняя версия - 1.28, P17, SE7500CW20.86B.034.P17.0522031027,
от 05/22/2003), APIC в ICH3 и P64H2.
Подходящий корпус - Intel SC5200.
3 шины PCI, сегменты B и C через отдельный хаб P64H2, подключаемый к MCH (1 GBps).
Сегмент A черз ICH3-S (256MBps): PCI 32 бит, 33MHz, 5В, встроенные устройства (ATI Rage XL,
2 Intel Fast Ethernet 10/100 82550PM, ATA-100 RAID Promise Technology PDC20267), 2 свободных разъёма.
Сегмент B: PCI 64 бит, 66MHz, 3.3В, 2 свободных разъёма.
Сегмент C: PCI 64 бит, 133MHz, 3.3В, 1 свободный разъём.
Видео - ATI Rage XL, 8MB отдельной памяти, в режиме SVGA до 1600x1200x24 при 85 Hz в 2D.
Сеть: 2 Intel Fast Ethernet 10/100 82550PM (NIC1 слева), отключаемы в BIOS,
поддержка Alert-on-LAN, UNDI ROM (PXE 2.1).
3 порта USB 1.1 на заднюю панель и один на плате, поддержка клавиатуры, мышки и загрузки.
ACPI: S0, S4 (на диск), S5, Wired For Management (WFM) Baseline Specification 2.0, SMBIOS 2.3.1, DMI.
Super I/O: Windbond 83627HF, ACPI (S0, S4 - на диск, S5 - soft off),
2 RS-232 порта (ttyS0 на задней панели и ttyS4? на плате), мониторинг, порты PS/2 взаимозаменяемы.
Флеш под BIOS - 8Mbit Intel N82802AC размером 1 MB.
Дисковая подсистема: 2 канала UATA100 через ICH3-S и 2 канала UATA100 через PDC20267.
Мониторинг: Windbond 83627HF, MAX6651 (вентиляторы CPU и задние вентиляторы).
Поддержка удалённой консоли (перенаправление видео и клавиатуры через последовательный порт).
Очистка CMOS: выключить питание, перенести перемычку, включить питание,
дождаться сигнала, выключить питание, вернуть перемычку.
Отдельная перемычка для сброса пароля.
Интересная особенность реакции на включение питания: кнопку "Power"
на передней панели надо удерживать менее 1 секунды или более 4.
При отключении питания менее чем на 3 секунды могут быть проблемы с загрузкой ОС.
Вход в BIOS по F2 (Esc для выбора загрузочного устройства во время POST).
Интересные опции:
- Advanced
- I/O Device
- [Serial Port A - Disable]
- [Serial Port B - Disable]
- [Parallel Port - Disable]
- [Floppy Disk - Disable]
- On Board Device
- RAID - Disable
- NIC1 - по потребности
- NIC2 - по потребности
- USB - по потребности
- silkscreen NIC1/2 (соответствие нумерации ethernet портов в ОС надписям)
- Installed OS - Red Hat MPS
- Boot-time Diagnostic Screen - Enable
- Large Disk Access Mode - Other
- Legacy USB Support - Disable
- PXE Support - по потребности
- HT - enable
- Power - Last State (нет "Stay on"!)
Материнская плата Asus P4P800-X
- формат - ATX (30.5 x 20.8 см)
- чипсет Intel 865PE (82865PE), PCI 2.3,
внутренние устройства на PCI0, AGP - на PCI1, наплатные и внешние на PCI2
- BIOS - AMI 080009 от 06/23/2005 (ASUS BIOS 1009), SM BIOS 2.3, DMI 2.0, WfM 2.0
- под процессор Intel P4 с сокетом 478 (FSB 400/533/800 MHz), поддержка HT
- 4 разъёма памяти DDR DIMM (PC3200/PC2700/PC2100 или DDR400/333/266, два канала при использовании
идентичных планок памяти) до 4 GB
-
- 2 канала ATA (4 устройства, UDMA100) и 2 канала SATA без поддержки горячего подключения (ICH5);
режимы настройки в BIOS:
- Legacy/Compatible: до 4 устройств (4 PATA, 2 PATA и 2 SATA) представляются как PATA устройства
- Native/Enhanced: необходимо задать какие устройства будут использоваться в этом режиме
(SATA, SATA+PATA, PATA)
- AGP (8X или 4X, 0.8V или 1.5V, в DMI заявлено 3.3V!)
-
- 4 разъёма на внешней PCI шине (33MHz, 32 бита)
- звук - AC97, ADI AD1888 Soundmax, 6 каналов (выведены на заднюю панель: LineIn/RearSpeakerOut (голубой),
LineOut/FrontSpeakerOut (лимонный), Microphone/BassCenter (розовый)),
S/PDIF out (медный) на задней панели и на плате, дополнительные 4-штырьковые входы CD-IN и AUX на плате,
разъёмы для вывода на переднюю панель корпуса LineOut и MIC2
- USB2 HS, 8 портов (4 на заднюю панель, 4 на плате)
- встроенная сеть 10/100 Mbps на внешней PCI шине, Ethernet Realtek Semiconductor Co., Ltd. RTL8100C
(RTL-8139/8139C/8139C+, rev 10), RJ-45 на задней панели
- мониторинг - w83627thf-isa
- последовательный и параллельный порты на задней панели, второй последовательный порт на плате
- интерфейс НГМД
- PS/2 порты клавиатуры и мышки
- питание ATX 12V, разъём 20 штырьков и разъём 4 штырька,
индикатор подачи напряжения +5SB
- 2 разъёма для подключения вентиляторов (3 pin, т.е. без управления, но с измерением числа оборотов)
- перемычка для сброса CMOS (отключить питание, переставить перемычку на 10 секунд, вернуть её на место,
включить питание, при загрузке нажать клавишу Del)
Материнская плата Asus P5K Deluxe
- формат - ATX (30.5 x 24.4 см)
- чипсет Intel P35 (ICH9R/82801I):
PCI-E x16 (шина 1),
встроенный Gigabit Ethernet (шина 2),
дополнительный SATA/IDE контроллер (шина 3),
PCI-E x4 (физически - x16, при использовании в режиме x4 отключается один из PCI-E x1, шина 4),
3 штуки PCI 2.2 33MHz, 32 бита (шина 5, на ней же встроенные IEEE 1394 и второй Gigabit Ethernet ;)
2 штуки PCI-E x1 (шина 0 вместе с USB, HDA, SMBus и SATA?),
- BIOS - AMI 8.12 от 06/26/2007 (ASUS BIOS 0501; имеется 0902 - новые CPU и планки памяти),
SM BIOS 2.4, DMI 2.0, WfM 2.0
- под процессор Intel Core 2 (05B/05A/06) с сокетом LGA775 (FSB 1333/1066/800 MHz)
- 4 разъёма памяти DDR2 DIMM (DDR2 1066/800/667), два канала при использовании
идентичных планок памяти (частично для неидентичных планках), до 8 GB, без ECC, небуфферизованные
-
- 6 внутренних каналов SATA-2 (2+2+1+1) от ICH9R (рекомендуется настроить AHCI в BIOS для hot-plug и NCQ)
- 1 канал PATA (2 устройства UDMA133)
и 2 канала External SATA-2 с поддержкой горячего подключения (JMicron JMB 20363,
рекомендуется настроить AHCI в BIOS для hot-plug и NCQ)
- основной встроенный контроллер Ethernet (отдельная шина PCI-E) - Marvell 88E8056 Gigabit,
RJ-45 с индикаторами на задней панели, PXE, WOL
- дополнительный встроенный контроллер Ethernet (коммунальная PCI) - Realtek RTL8110SC/8169SC Gigabit,
RJ-45 с индикаторами на задней панели
- Wi-Fi (IEEE 802.11g) станция на USB, но намертво припаянная - Realtek RTL8187,
отсоединяемая антенна RMA, индикатор активности
- звук - HDA, ADI AD1988B, 8 каналов (выведены на заднюю панель: LineIn/RearSpeakerOut (голубой),
LineOut/FrontSpeakerOut (лимонный), Microphone/BassCenter (розовый)),
S/PDIF out на задней панели (медный и оптический) и на плате (медный),
дополнительный 4-штырьковый вход CD-IN на плате,
разъёмы для вывода на переднюю панель корпуса LineOut и MIC2 (AC97) или HDA
(к Aurora не подошёл ни один)
- контроллер IEEE 1394a - Agere FW323; один - на задней панели,
один - на плате для вывода на переднюю панель
- USB2 HS, 12 портов (6 на заднюю панель, 4 на плате, 1 под Wi-Fi)
- мониторинг температуры и прочего - Winbond W83627DHG Super IO Sensors (w83627ehf)
- последовательный порт на плате
- интерфейс НГМД
- PS/2 порт клавиатуры (нет порта мышки)
- питание ATX 12V, разъём 24 штырька и 2 разъёма по 4 штырька (EATX12V),
индикатор подачи напряжения +5SB
- 1 разъём для подключения управляемого вентилятора (4 pin)
- 4 разъёма для подключения вентиляторов (24W, 3 pin, т.е. без управления, но с измерением числа оборотов)
- 1 разъём для подключения вентилятора блока питания
- перемычка для сброса CMOS (отключить питание, переставить перемычку на 10 секунд, вернуть её на место,
включить питание, при загрузке нажать клавишу Del)
- защита от чрезмерного разгона (не надо пугаться кратковременному выключению питания сразу после
включения)
- в комплект входит заглушка для вывода на заднюю панель разъёмов IEEE 1394a и USB
- дополнительный вентилятор на радиатор (использовать только с СВО!)
- обновление BIOS возможно с НГМД или USB диска (EZ Flash 2, нажать Alt-F2 при загрузке)
или из среды MS Windows (ASUS Update)
- запорченный BIOS можно восстановить автоматически (ASUS CrashFree BIOS 3)
с DVD-ROM, USB диска (не более 8ГБ, FAT, 1 раздел)
- запуск настройки BIOS по нажатию Delete при загрузке
- множество настроек для "разгона" системы как вручную, так и автоматически
(Q6600 разогнался с 2400MHz до 3300MHz без усилий с моей стороны),
можно сохранять профили локально или на USB диск
- BIOS может управлять скоростью вентиляторов в зависимости от нагрузки системы и требуемого режима
- в BIOS можно проверить состояние (разрывы, замыкания, ошибки полярности)
кабеля Ethernet к основному котроллеру
- драйверы под Linux на сайте и CD-ROM
Материнская плата Intel DQ965GF (AAD41676-305)
- формат - microATX (24см x 24см)
- чипсет Intel GMCH 82Q965, ICH8DO 82801HO; PCI 2.3; PCI Express 1.0a;
внутренние устройства на PCI0 (включая Ethernet 1Gb, SATA и PCI Express x1),
PCI-e x16 на PCI1, дополнительный ATA контроллер Marvel на PCI3,
дополнительный Firewire контроллер на PCI7 (вместе с платами PCI)
- BIOS - CO96510J.86A.5718.2007.0125.1615, ACPI, SMBIOS
- под процессор Intel Core 2 Duo с сокетом LGA775 (FSB 1066/800 MHz), поддержка HT, IVT,
двухядерности
- 4 разъёма памяти не-ECC DDR2 DIMM 1.8V (PC2 или DDR2 800/667/533, два канала при использовании
идентичных плат памяти (можно использовать различные платы одинаковой ёмкости, но различной
организации с потерей производительности;
имеется "flex mode", который позволяет использовать платы памяти разной ёмкости смешанном режиме);
до 4 GB DDR2 800 (только с SPD 5-5-5 или 6-6-6) и до 8 GB DDD2 667;
DIMM0 на канале A должен быть заполнен обязательно
-
- встроенная в 82Q965 графика Intel GMA 3000, VGA, 3D: 1600x1200x85, 2D: 2048x1536x75,
до 256MB системной ОП (отключена)
- 6 каналов SATA-II (ICH8); NCQ; горячее подключение;
поддержка RAID-0, RAID-1, RAID-10 (0+1), RAID-5;
- дополнительный ATA контроллер Marvel ATA-133 (Unknown device 6101 (rev b1)) на PCI3,
2 устройства PATA или ATAPI
- PCI Express x16 для подключения видеокарты на PCI1
-
- PCI Express x1 на PCI?
- 2 разъёма на PCI7 шине (33MHz, 32 бита), SMBus только на втором
- звук - HD Audio Controller (rev 02), 82801H (ICH8 Family),
SigmaTel STAC9227, 6 каналов (выведены на заднюю панель: LineIn/RearSpeakerOut (голубой),
LineOut/FrontSpeakerOut (лимонный), Microphone/BassCenter (розовый)),
разъёмы для вывода на переднюю панель корпуса (LineOut и MIC2) и HDA
- USB2 HS, 10 портов (6 на заднюю панель, 4 на плате)
- встроенная сеть 1000 Mbps на внутренней PCI шине, Intel 82566DM Gigabit,
RJ-45 на задней панели, PXE
- дополнительный контроллер FireWire (IEEE 1394): Texas Instruments TSB43AB22/A IEEE-1394a-2000
на заднюю панель и на плату
- мониторинг - неизвестен (встроен в ICH8?)
- последовательный и параллельный порты на плате (надо купить планку)
- интерфейс НГМД
- PS/2 порты клавиатуры и мышки
- питание ATX 12V, разъём 24 штырька и разъём 4 штырька
- 2 разъёма для подключения вентиляторов (3 pin, т.е. без управления, но с измерением числа оборотов)
и 1 разъём для подключения управляемого вентилятора (4 pin)
- перемычка для "продвинутой" настройки BIOS
- индикаторы дежурного питания и питания ОП
- спикер
- TPM 1.2 и Intel vPro/AMT (включать не пробовал)
Материнская плата Intel DP45SG (AAE27733-402)
- формат - ATX (29.4см x 24.4см)
- чипсет Intel P45 Express (82P45 MCH), ICH10R (Intel 82801JR); PCI 2.3;
PCI Express 2.0 и PCI Express 1.0a;
- BIOS (F2) - SGP4510H.86A.0083.2008.0819.1026 (есть версия 112), ACPI, SMBIOS, WfM;
обновление с помощью загружаемого CD-ROM (ISOLINUX)
- имеется серийный номер
- под процессор Intel Core 2 с сокетом LGA775 (FSB 1333/1066/800), поддержка HT?, IVT,
двухядерности и четырёхядерности
- 4 разъёма памяти (не-ECC, не-регистровая, не-буферизованная)
DDR3 DIMM 1.5V (PC3 или DDR3 1333/1066/800, два канала при использовании
идентичных модулей памяти (можно использовать различные платы одинаковой ёмкости, но различной
организации с потерей производительности;
имеется "flex mode", который позволяет использовать платы памяти разной ёмкости в смешанном режиме);
до 8 GB;
DIMM0 на канале A должен быть заполнен обязательно
-
- 6 независимых каналов SATA-II (ICH10R); NCQ; горячее подключение;
поддержка RAID-0, RAID-1, RAID-10 (0+1), RAID-5;
eSATA на задней панели
- 2 PCI Express 2.0 x16 для подключения видеокарты на PCI1 (через PCI Express hub к MCH);
если вставлены 2 карты, то обе работают в режиме x8 (вторая карта может быть x4 и x1)
-
- 2 PCI Express 1.1 x1 на PCI0
- 3 разъёма на PCI2 шине (33MHz, 32 бита), SMBus на всех разъёмах, все bus master
- звук - HD Audio Controller 82801JI (ICH10 Family),
IDT 92HD73E, независимые звуковые подсистемы на 8 каналов и 2 канала;
2 независимых S/PDIF (оптический на задней панели, 3-пиновый на плате для HDMI);
выведены на заднюю панель: LineIn/SideSurround (голубой),
LineOut (зелёный), Microphone (розовый), RearSurround (чёрный), Center/Subwoofer (оранжевый)),
разъёмы для вывода на переднюю панель корпуса AC'97 (LineOut и MIC2) и HDA;
HD Audio Link для HDMI
- USB2 HS, 12 портов (6 на заднюю панель, 6 на плате)
- встроенная сеть 1000 Mbps на внутренней PCI0 шине, Intel 82567LF-2,
RJ-45 на задней панели, PXE; индикаторы активности и скорости (зелёный - 100, жёлтый - 1000);
аппаратная поддержка подсчёта контрольных сумм (TCP, IP, UDP) и TCP сегментации
- дополнительный контроллер FireWire (IEEE 1394) на PCI2: Agere Systems FW323 (rev 70),
на заднюю панель и на плату
- мониторинг - неизвестен (отдельная ASIC)
- последовательный порт на плате (надо купить планку),
вместо второго последовательного порта - CIR (Consumer Infrared)
- питание ATX 12V, разъём 2x12 штырька, разъём 2x2 штырька
и 1x4 для требовательных PCI Express карт
- 2 разъёма для подключения вентиляторов (3 pin, т.е. без управления, но с измерением числа оборотов)
и 2 разъёма для подключения управляемых вентиляторов (4 pin)
- перемычка для "продвинутой" (в частности, позволяет сбросить пароль)
настройки BIOS и восстановления BIOS
(обязательно снять дежурное питание перед изменением перемычки)
- индикатор дежурного питания
- спикер
- нет интерфейса НГМД
- нет PS/2 портов для клавиатуры и мышки
- нет параллельного порта
Материнская плата SuperMicro PDSMi+ rev. 1.10
- формат - ATX (305x244mm)
- чипсет Intel 3000 MCH (также распознаётся как E7230), 82801G (ICH7R); PCI Express; PCI 2.2;
внутренние устройства на PCI0
(включая IDE, SATA (AHCI), USB (UHCI/EHCI), SMBus, LPC на Winbond 83627HG);
на отдельных шинах Intel Corporation 82573E Gigabit Ethernet Controller (левый разъём) и
Intel Corporation 82573L Gigabit Ethernet Controller (правый разъём)
- BIOS - Phoenix cME First BIOS Pro 6.00 от 30 октября 2006 (обновление 08/25/07); DMI 2.3;
SMBIOS 2.3; поддержка USB клавиатуры; вход в настройки по нажатию Del
- время в GMT
- PATA - Enable
- SATA - Enable, Serial ATA, Enhanced, no RAID, AHCI
- Quick Boot - Disabled
- Quiet Mode - Disabled
- ACPI - Yes
- Power Button - 4 sec Override
- Resume - Off
- Power Loss Control - Power On
- Large Disk Access - Other
- ECC - Multiple bit
- ECC Error Handler - SMI
- TM2 - Enabled
- IVT - Enabled (обязательно отключить питание)
- NoExecute - Enabled
- COM, LPT, FD - Disabled
- Fan Speed Control - 3-pin Server
- Console to COM - Disabled
- убрать OPROM в настройках PCI, если не нужна загрузка
с PXE
- Boot - убрать всё лишнее
- под процессор Intel Core 2 Duo (E6xxx), Xeon 3000 и пр. с сокетом LGA775 (FSB 1066/800/533 MHz),
поддержка HT, EMT64T, IVT, двухядерности, EIST
- 4 разъёма памяти ECC/не-ECC небуферизаванной DDR2 DIMM 1.8V
(PC2 или DDR2 667/533/400, два канала при использовании
идентичных плат памяти (можно использовать различные платы одинаковой ёмкости, но различной
организации с потерей производительности);
до 8 GB DDD2 553 и до 4 GB DDR2 667
- 4 канала SATA-II (ICH7R); NCQ; горячее подключение;
поддержка RAID-0, RAID-1, RAID-10 (0+1), RAID-5;
поддержка RAID включается в BIOS, имеется 2 возможности - режим (RAID Codebase)
Adaptec или Intel (под Linux только Adaptec);
настройка RAID - Ctrl-A или Ctrl-I при загрузке соответственно
- ATA/100 канал и специальный разъём под CF
- VGA на отдельной PCI шине - ATI ES1000 16MB
- разъём PCI-32 33MHz 3.3V (как в него что-то подключать в корпусе 1U?)
- на отдельнай шине PCI-X 133MHz (мост Intel 6702PXH, PXH-V, из PCI Express x4),
требуется riser card; физически совмещён с PCI Express x8
- USB2 HS, 6 портов (2 на заднюю панель, 4 на плате, из них 2 выведены на переднюю панель)
- 2 встроенных гигабитных контроллера, RJ-45 на заднюю панель (слева - eth0, справа - eth1)
- мониторинг W83793
- последовательный порт на задней панели,
последовательный (выведен на переднюю панель) и параллельный порты на плате
- интерфейс НГМД
- PS/2 порты клавиатуры и мышки
- IPMI 2.0
- питание ATX 12V, разъём 24 штырька и разъём 8 штырьков
- 6 разъёмов для подключения вентиляторов (4 pin, управление по PWM);
можно подключать нерегулируемые 3-пиновые вентиляторы, но не рекомендуется смешивать
- перемычки: сброс CMOS, подача SMB на PCI, использовать VGA, использовать LAN, watch dog,
подача питания без нажатия кнопки Power
- индикатор дежурного питания
- индикатор POST (2 светодиода)
- спикер (не слышу, замкнуть перемычку?)
dmidecode показывает отсутствие серийного номера и версии материнской
платы, шасси и компьютера.
Установка утилиты SuperoDoctor для мониторинга температуры и прочего
описана ниже.
Материнская плата SuperMicro X7SBi
- формат - ATX (305x244mm)
- BIOS - Phoenix от 3 апреля 2008 (1.1a); DMI 2.3;
SMBIOS 2.3; поддержка USB клавиатуры; вход в настройки по нажатию Del
- время в GMT
- нет НГМД
- PATA - Enable
- SATA - Enable, режим Serial ATA, Enhanced, no RAID, AHCI
- Quick Boot - Disabled
- Quiet Mode - Disabled
- POST - Enabled
- ACPI - Yes
- Power Button - 4 sec Override
- Resume - Off
- Power Loss Control - Power On
- Watchdog - Disabled
- Core-Multi-Processing - Enabled
- Machine Checking - Enabled
- TM2 - Enabled
- IVT - Enabled (обязательно отключить питание)
- NoExecute - Enabled
- EIST - Enabled
- High Precision Event Timer - Yes
- убрать OPROM в настройках PCI, если не нужна загрузка
с PXE
- COM, LPT, FD - Disabled
- Console to COM - Disabled
- Fan Speed Control - 3-pin Server
- Boot - убрать всё лишнее
- под процессор Intel Xeon 3300/3200 (4 ядра), Xeon 3100/3000 (2 ядра),
Core 2 Duo (E8000/E6000), Core Quad (Q9000/Q6000), Pentium E2000 (2 ядра),
Celeron 400 с сокетом LGA775 (FSB 1333/1066/800 MHz),
поддержка EMT64T, IVT, двух- и четырёхядерности, EIST
- чипсет Intel 3210 MCH, интерфейс DMI (ICH9R); 2 канала PCI Express x8
- 4 разъёма памяти ECC/не-ECC небуферизованной DDR2 DIMM 1.8V; до 8 GB;
DDR2 800/667; два канала при использовании идентичных плат памяти;
можно использовать различные платы одинаковой ёмкости, но различной
организации с потерей производительности
- ICH9R (82801I)
- внутренние устройства на PCI0 (включая IDE, SATA (AHCI), USB (UHCI/EHCI), SMBus, LPC)
- 6 каналов SATA-II (ICH9R); NCQ; горячее подключение;
поддержка RAID-0, RAID-1, RAID-10 (0+1), RAID-5;
поддержка RAID включается в BIOS, имеется 2 возможности - режим (RAID Codebase)
Adaptec или Intel (под Linux только Adaptec);
настройка RAID - Ctrl-A или Ctrl-I при загрузке соответственно
- ATA/100 канал (ITE), 2 устройства, отдельная шина PCI
- VGA на отдельной PCI шине - ATI ES1000 32MB
- разъём PCI-32 33MHz 3.3V (как в него что-то подключать в корпусе 1U?)
- на отдельной шине PCI-X 64-bit 133MHz (мост Intel 6702PXH, PXH-V, из PCI Express x8),
требуется специальная riser card; физически совмещён с PCI Express x8
- USB2 HS, 8 портов (2 на заднюю панель, 4 на плате, из них 2 выведены на переднюю панель)
- на отдельных шинах PCI-E (через ICH9R):
Intel Corporation 82573V (E) Gigabit Ethernet Controller (левый разъём) и
Intel Corporation 82573L Gigabit Ethernet Controller (правый разъём); драйвер - e1000e
- LPC Winbond 83627DHG
- мониторинг W83627DHF
- последовательный порт на задней панели (/dev/ttyS0),
последовательный (выведен на переднюю панель, /dev/ttyS1) и параллельный порты на плате
- интерфейс НГМД
- PS/2 порты клавиатуры и мышки
- IPMI 2.0, разъём SIMSO IPMI 2.0
- питание ATX 12V, разъём 24 штырька и разъём 8 штырьков,
разъём SMB
- 6 разъёмов для подключения вентиляторов (4 pin, управление по PWM);
можно подключать нерегулируемые 3-пиновые вентиляторы, но не рекомендуется смешивать
- перемычки: сброс CMOS, подача SMB на PCI, использовать VGA, использовать LAN, watch dog,
подача питания без нажатия кнопки Power
- индикатор дежурного питания
- ?индикатор POST (2 светодиода)
- спикер (не слышу, замкнуть перемычку?)
- разъёмы: внешний спикер, 2 индикатора Ethernet, индикатор перегрева или сбоя вентиляторов,
индикатор сбоя БП, стандартные (питание, сброс и т.д.)
dmidecode показывает отсутствие серийного номера и версии материнской
платы, шасси и компьютера.
Установка утилиты SuperoDoctor для мониторинга температуры и прочего
описана ниже.
Материнская плата SuperMicro X7DB8
- формат - E-ATX (305mmx332mm)
- чипсет Intel 5000P (Blackford MCH),
Intel 3100 (ESB2 - Enterprise South Bridge 2, 6321ESB),
PXH (подсоединён к ESB2 по PCIe x8), Winbond 83627HG (подключён к ESB2 по LPC);
- BIOS - Phoenix 6.00 от 14 ноября 2006 (имеются обновления от 13 августа 2007 без указания причин);
DMI 2.3;
SMBIOS 2.3; поддержка USB клавиатуры; вход в настройки по нажатию Del
- время в GMT
- PATA - Enable
- SATA - Enable, Serial ATA, Enhanced, no RAID, AHCI
- Quick Boot - Disabled
- Quiet Mode - Disabled
- ACPI - Yes
- Power Button - 4 sec Override
- Resume - Off
- Power Loss Control - Power On
- Discrete MTRR Allocation (ускоряет графику в Linux)
- убрать OPROM в настройках PCI, если не нужна загрузка
с PXE
- убрать OPROM в настройках SCSI, чтобы не загружаться со встроенной SCSI карты
- включить OPROM для PCI платы, с которой производится загрузка
- Large Disk Access - Other
- ECC - Multiple bit (в новой версии BIOS - SERR signal)
- ECC Error Handler - SMI
- TM2 - Enabled
- C1 Enhanced - Enabled
- IVT - Enabled (обязательно отключить питание перед перезагрузкой)
- NoExecute - Enabled
- EIST - Enabled
- Processor Power Management - включить нельзя)
- COM, LPT - Disabled
- Fan Speed Control - 3-pin Server (или Workstation для тишины)
- Console to COM - Disabled
- Boot - убрать всё лишнее
- под два процессора Intel Xeon 5100/5300 с сокетом LGA775 (FSB 1333/1066/667 MHz),
поддержка HT, EMT64T, IVT, двухядерности, EIST
- 8 разъёмов памяти ECC FB-DIMM DDR2-667/533 DIMM 1.8V
(ставить идентичными парами; до 32 GB; есть возможность зеркалирования)
- контроллер SCSI Ultra320 Adaptec AIC-7902 (отключаемый перемычкой), 2 канала на плате,
подключается к PXH (порт PCI-X 133A)
- 6 каналов SATA-II (ESB2); NCQ; горячее подключение;
поддержка RAID-0, RAID-1, RAID-10 (0+1), RAID-5;
поддержка RAID включается в BIOS, имеется 2 возможности - режим (RAID Codebase)
Adaptec или Intel (под Linux только Adaptec);
настройка RAID - Ctrl-A или Ctrl-I при загрузке соответственно
- ATA/100 канал (голубой) и специальный белый разъём под CF (ESB2), разъём подачи питания CF
(ATA канал всего один, выбор master/slave для CF задаётся перемычкой)
- VGA на отдельной PCI шине - ATI ES1000 16MB (отключаемый перемычкой), подключается
к ESB2 по PCI32/33MHz
- PCI (-X и Express по очереди от края платы вверх):
- PCI-X 64 бит 100MHz 3.3V (подключается через AIC-7902 и
предназначен для Adaptec Zero Channer RAID)
- PCI-X 64 бит 133 MHz 3.3V (подключается к PXH)
- PCI-X 64 бит 133 MHz 3.3V (подключается к ESB2)
- PCIe x4 (к ESB2)
- PCIe x8 (к MCH)
- PCIe x8 (к MCH
- SIM Low Profile IPMI 2.0
- встроенный двухпортовый гигабитный контроллер (ESB2/Glgal, 82563EB, 80003ES2LAN),
2 RJ-45 на заднюю панель (отключаемые перемычкой), подключён к ESB2 специфическим
интерфейсом, индикатор не горит на 10Mb
- мониторинг - Winbond 83793, HECETA
- последовательный порт и параллельный порт на задней панели,
последовательный порт на плате
- интерфейс НГМД
- PS/2 порты клавиатуры и мышки
- питание ATX 12V, разъём 24 штырька и разъём 8 штырьков
- 8 разъёмов для подключения вентиляторов (4 pin, управление по PWM);
можно подключать нерегулируемые 3-пиновые вентиляторы, но не рекомендуется смешивать
- перемычки: сброс CMOS, подача I2C на PCI, использовать VGA, использовать LAN, watch dog,
использовать AIC-7902, SCSI терминаторы, подача питания без нажатия кнопки Power
- индикатор дежурного питания, индикатор работы SCSI каналов
- спикер (не слышу, замкнуть перемычку?)
dmidecode показывает отсутствие серийного номера и версии материнской
платы, шасси и компьютера.
На сайте изготовителя иногда бывает утилита мониторинга
Supero Doctor под Linux
(SD2_2.36.175_071024.tar.gz), работает только на материнских платах SuperMicro.
Текстовый вариант (sdt или sdt.x86_64) требует наличия ucd-snmp, mail и модулей ядра i2c-core,
i2c-dev, i2c-piix4, i2c-i801, i2c-dev, ipmi.
Графический вариант (superodoctor.x86 или superodoctor.x86) также требует наличия Gnome.
Загрузка ipmi_si не прошла (может в BIOS что-то поправить?). dmidecode сообщает странное:
Handle 0x002A, DMI type 38, 18 bytes.
IPMI Device Information
Interface Type: Unknown
Specification Version: 1.0
I2C Slave Address: 0x00
NV Storage Device: Not Present
Base Address: 0x0000000000000000 (Memory-mapped)
Register Spacing: Successive Byte Boundaries
Пришлось устанавливать текстовую часть вручную
- качаем и разворачиваем архив
- копируем AllSuperD.ini в /etc/
- копируем sdt.x86_64 в /usr/local/sbin/sdt
- загружаем модули [ipmi_msghandler, ipmi_devintf,] i2c_i801
(для чего производитель требует загрузки модулей ipmi_* я не понял)
- запускам sdt и получаем температуры, напряжения, обороты и пр.
- может потребоваться создать /dev/i2c-0 ("mknod -m 600 /dev/i2c-0 c 89 0")
- добавляем загрузку i2c-i801, i2c-isa, i2c-dev в /etc/rc.local
(иначе sdt не запускается из cron)
Материнская плата SuperMicro X9DRH-iTF
- формат - E-ATX (12" x 13", 304.8mm x 330mm)
- под два процессора Intel Xeon E5-2600 Series (Socket R, LGA 2011) с 2 QPI 1.1 (8 GT/s) до 135 Вт каждый
(в другом месте написано до 150 Вт); CPU1 снизу (спереди); DMI2 (4GB/s) от CPU1
- чипсет Intel C602
- BIOS: AMI R 1.0a от 06/05/2012 (ACPI 4.0 (3.0?), UEFI, PECI 2.0),
имеется версия R 3.726 (требуется IPMI версии 2.0 или выше,
утилита для DOS; описание изменений отсутствует); вход в настройки по нажатию Del
- 16 разъёмов памяти ECC Registered (SR или DR) DDR3-1600 1.5V (1.35V) или LRDIMM DDR3-1333
(ставить идентичными парами на канал; до 512 GB (по 32GB); есть возможность зеркалирования и резервирования) или
UDIMM (до 128 GB, ECC и non ECC)
- 2 порта SATA3 от Intel C602 (group 1, AHCI, NCQ, горячее подключение)
- 4 порта SATA2 от Intel C602 (group 3, AHCI, NCQ, горячее подключение)
- 4 порта SATA2 от SAS контроллера из Intel C602 (group 2, SCU SATA)
- VGA на PCI от C602 - Matrox (Nuvoton BMC) G200eW WPCM450 ?MB (отключаемый перемычкой)
- Intel X540 Dual port 10GBase-T
- PCI Express (по очереди от края платы вверх (направо)):
- PCIe 3.0 x8 (к CPU1)
- PCIe 3.0 x8 (к CPU1)
- PCIe 3.0 x8 (к CPU1)
- PCIe 3.0 x16 (к CPU2)
- PCIe 3.0 x8 (к CPU2)
- PCIe 3.0 x8 (к CPU2)
- PCIe 3.0 x8 (к CPU2)
- встроенный двухпортовый 10-гигабитный контроллер (Intel X540 Dual port 10GBase-T),
2 RJ-45 на заднюю панель, PCIe x8 к CPU1; индикаторы скорости соединения и активности
- встроенный IPMI 2.0 и KVM с отдельным Ethernet портом (Realtek RTL8201N),
индикаторы скорости соединения (зелёный - 100 Mbit) и активности;
при отсутствии соединения по выделенному порту IPMI работает по системному
(для возврата требуется сброс - "ipmitool mc reset cold")
- 4 USB 2.0 на задней панели, 2 USB 2.0 внутри и 1 Type A
- последовательный порт на задней панели (родной DB-9), последовательный порт на плате - через BMC
- питание SSI EPS 12V, разъём 24 штырька (ATX12V 2) и 2 разъёма по 8 штырьков
(1-4: земля, 5-8: +12V) с поддержкой PMBus 1.1 или 1.2;
необходимо подключить все 3 разъёма к БП, иначе теряется гарантия;
вместо одного из 8-штырьковых разъёмов использовал 2 4-штырьковых (не уверён о достаточности мощности, 3A на штырь)
- 8 разъёмов (2 с задней стороны, 6 - с внутренней) для подключения вентиляторов (4 pin, тахометр, управление по PWM);
автоматическая регулировка из BIOS
- разъём для подключения TPM
- перемычки: сброс CMOS, подача SMB (I2C) на PCIe, использовать BMC, использовать VGA, использовать встроенные порты Ethernet,
режим восстановления ME, режим изготовителя ME, watch dog (сброс или NMI), использовать SAS
- индикаторы: питания, перегрев/поломка вентилятора (горит/мигает), UID,
дежурного питания на плате (мигает в режимах ACPI S1/S3), работоспособности BMC на плате (должен мигать зелёным)
- интерфейс SMBus (I2C) для мониторинга БП БП
- разъём IPMB
- порты SGPIO для контроля SATA портов C602 и SCU
- питание для SATA DOM
- спикер
Материнская плата SuperMicro X9DRH-7TF
отличается наличием распаянного LSI SAS MegaRAID 2208 (Gen3, 1GB, без батарейки,
под именем Supermicro SMC2208, прошивка 23.9 - есть 23.16, storcli).
dmidecode показывает отсутствие серийного номера и версии материнской
платы, шасси и компьютера. Хотя нет - на этот раз есть серийный номер материнской платы
(зато его нет в IPMI).
Микросхема Nuvoton (собственник Winbond) WPCM 450 реализует функции BMC (тип SMT, не SMM!),
видеоконтроллер VGA (Matrox G200eW) с аналоговым выходом с интерфейсом памяти DDR2 (128MB, 220MHz) и PCI 2.3 (32 бита, 33 MHz 3.3V),
подключается к интерфейсу USB 1.1 и USB 2 для KVM и виртуальных носителей,
подключается к интерфейсу LPC для мониторинга,
подключается к интерфейсу PECI для ME,
подключается к интерфейсу RS-232 для текстового доступа к BIOS Setup,
подключается к 6 каналам SMBus и GPIO.
Подключается по выделенному Ethernet интерфейсу,
может быть настроен на использование системных Ethernet интерфейсов при необходимости (по умолчанию) через RMII.
Страница про IPMI от изготовителя.
Обеспечивает IPMI 2.0 (мониторинг температуры, вентиляторов, напряжений, питания, открытия шасси;
управление питанием, журнал (512 записей)),
KVM (включая запись видео), веб-интерфейс,
виртуальное устройство хранения (дискета, CD/DVD, USB флеш) и образ ISO (USB 2.0),
текстовую консоль по сети (SOL), аутентификация по LDAP, AD и RADIUS, SSL/TLS,
командную оболочку SMASH-CLP (от ATEN) по telnet (не работает) и SSH (тормозит): чтение журнала и датчиков, управление питанием,
привязку времени к 2 серверам NTP,
статистика и графики потребления энергии за час, день и неделю,
управление режимом работы вентиляторов,
настройка IP портов (HTTP: 80/tcp, HTTPS: 443/tcp, IPMI: 623/udp, KVM: 5900/tcp, виртуальные носители: 623/tcp,
SMASH (SSH): 22/tcp, WS-MAN (?): 8889/tcp),
извещение по SNMP и SMTP (10 получатель с указанием уровня сообщений, перезагрузка и вход администратора событиями не считаются,
глюк с затесавшимся в настройки паролем SMTP).
SuperMicro рекомендует использовать выделенную станцию управления и настраивать IP Access Policy,
конфигурировать выделенную IP-сеть и настраивать сетевой экран на выходе,
отключать использование системных Ethernet интерфейсов для BMC или использовать отдельную VLAN.
Изначально открытый доступ по сети (по умолчанию DHCP, пользователь ADMIN с паролем ADMIN) и IPMI.
Для обновления (в поставке 1.58, имеется 2.27, список изменений отсутствует: до обновления BIOS перестала читаться температура ЦП,
в веб-интерфейсе появилась страница с графиками и статистикой потребления электричества, заработало извещение по SMTP)
через веб-интерфейс (есть версии утилиты обновления под DOS, Windows и Linux) необходимо:
- перейти в режим обновления
- выбрать образ для загрузки
- выбрать сохранение настроек
- немного подождать (BMC перезагружается самостоятельно после обновления прошивки);
мониторинг во время обновления недоступен, kipmi0 потребляет 100% CPU
SMCIPMITool - утилита командной строки (Java). Запуск:
java -jar SMCIPMITool.jar IP-адрес имя пароль команда
Большинство команд работают только с SuperBlade, но есть и полезные
(в приглашении выводится IP-адрес, модель материнской платы, статус ACPI, потребляемая мощность (!), время,
тип прошивки: SIM(WA) - WPCM450 (прошивка ATEN)):
- shell # интерактивный сеанс
- help # выдать список команд
- list # выдать полное описание команд и их параметров
- ch [IP-адрес [имя [пароль]]] # сменить сервер (клавиши "<" и ">" позволяют переключаться в списке)
- find начальный-адрес конечный-адрес маска-сети # найти IPMI-устройства (падает на большой сети)
- found [clear] # выдать список найденных IPMI-устройств
- host {list | add | remove | rename | group add | group remove | groume rename | group addhost | group removehost} # ведение списка хостов и групп хостов
- hostrun {found | имя-хоста | имя-группы} команда # выполнить команду на всех хостах
- hostrun curr команда # выполнить команду на всех серверах из списка ch
- exec имя-файла количество-раз секунд # выполнить команды из файла указанное число раз (0 - бесконечность) с задержкой
- failure # сообщения о проблемах
- sel {info|list|csv имя-файла|clear} # работа с системным журналом
- user {add индекс имя пароль {Administrator|Operator|User}| list | delete индекс | level индекс {Administrator|Operator|User}}
- ukvm | kvm | kvmw | kvmwa | kvmwx9 # запуск графического окна KVM для различных типов прошивки (окно с безумным разрешением 752x413)
- {dr | vm | vmw | vmwa} команда # работа с виртуальными носителями для различных типов прошивки
- ipmi sensor # информация с датчиков
- ipmi power {up | down | softshutdown | reset [PXE] | cycle [интервал] | diag}
- ipmi acpi # статус ACPI
- ipmi lan {ip [адрес] | mac [адрес] | gateway [адрес] | netmask [маска-сети] | arp [on|off] | dhcp [enable|disable] | vlan [}enable|disable} метка] | dns [первый-IP второй-IP]} # получение информации или настройка сети
- ipmi fru # данные о шасси, материнской плате и сервере (если их кто-то ввёл)
- ipmi oem clrint # сбросить датчик проникновения
- ipmi oem uid [on|off]
- ipmi reset
- ipmi ver
- ipmi {flash | flashw | flashr} имя-файла # обновить прошивку (для каждого типа прошивки своя команда!)
- ipmi sessioninfo
- ipmi fan [режим] # посмотреть или установитть режим работы вентиляторов
- sc команда # выполнить команду Linux
- pminfo # выдать информацию об устройствах PMBus (БП) - состояние, температура, скорость вращения вентиляторов, напряжение/ток/мощность на входе и выходе
- nm {detecr | ver | cap | status [enable|disable] | stat | resetStat | pstate [P-состояние] | tstate [T-состояние] | ptstate} # опознание менеджера питания узла (Intel Dynamic Power Node Manager), версии, возможностей, соcтояния, статистики потребления, P и T состояния, управление рассылкой извещений по SNMP, управление политиками
- nm20 {nmSDR | deviceID | reset | reset2Default | updateMode | powerOff | selfTest | mode | listImagesInfo | oemGetPower | oemGetTemp | команды-управления-политиками | statistics режим домен-питания политика | resetStatistics режим домен-питания политика | alert адрес | pstate [P-состояние] | tstate [T-состояние] | ptstate | cpuCore [число-ядер] | totalPower домен-питания [бюджет] | cpuMemTemp | hostCpuData} # управление менеджером питания версии 2.0 и ME, разнообразная статистика потребления: вся система, ЦП, память в разных режимах и при разной политике
- sol [activate | deactivate | window | key {linux|windows} | bitrate [9.6|19.2|38.4|57.6|115.2]] # доступ к текстовой консоли, выход по F12
IPMIView - графический вариант утилиты для работы с IPMI (жалкое подобие текстовой утилиты ;).
Запуск консоли из комплекта IPMIView
LD_LIBRARY_PATH=/lib64:/usr/lib64:`pwd` ./iKVM адрес ADMIN ADMIN null 5900 623 2 0
Утилита ipmicfg для настройки BMC/IPMI:
- -m [IP адрес] # посмотреть IP и MAC или установить IP адрес
- -a MAC-адрес # установить MAC адрес в формате XX:XX:XX:XX:XX:XX
- -mac MAC-адрес # установить MAC адрес в формате XXXXXXXXXXXX
- -k [маска-подсети] # посмотреть или установить маску подсети
- -dhcp [on|off]
- -g [IP-адрес] # посмотреть или установить адрес шлюза
- -r # сброс BMC
- -garp {on|off} # Gratuitous ARP
- -fd # сброс настроек
- -fde # сброс настроек и очистка данных о FRU и сети
- -ver # вывести версию прошивки BMC
- -vlan [on идентификатор | off]
- -sdr [del номер | backup имя-файла | restore имя-файла ] # чтение настроек и текущих значений датчиков
- -sel {info | list | del} # работа с журналом
- -fru {info | list | help | cthelp | имя-поля [значение] | backup имя-файла | restore имя-файла} # работа с данными FRU; например, "ipmicfg -fru PAT инвентарный-номер"
- -uid {on|off} # помигат лампочкой идентификации устройства
- -nm {nmsdr | seltime | deviceid | reset | reset2default | updatemode | selftest | listimagesinfo | oemgetpower | oemgettemp | pstate | tstate | cpumemtemp | hostcpudata } # работа с ME
- -fan [режим] # установка режима работы вентиляторов
- -pminfo # не работает?
- -psfruinfo # информация от датчиков БП - состояние, температура, скорость вращения вентиляторов; дважды ждёт нажатия Enter
Развитие SuperDoctor под Linux прервалось на версии II.
Материнская плата SuperMicro X9DRD-7NL4F-JBOD
- формат - E-ATX (12" x 13", 305mm x 330mm)
- под два процессора Intel Xeon E5-2600 Series или v2 (Socket R, LGA 2011) с 2 QPI 1.1 (8 GT/s) до 135 Вт каждый;
CPU1 снизу (спереди); DMI2 (4GB/s) от CPU1
- чипсет Intel C602J
- BIOS: AMI R 1.0a от 06/05/2012 (ACPI 4.0 (3.0?), UEFI?, PECI 2.0),
имеется версия R 3.0а (требуется IPMI версии 2.0 или выше,
утилита для DOS; описание изменений отсутствует); вход в настройки по нажатию Del
- 16 разъёмов (8 каналов по 2 модуля) памяти ECC Registered (SR или DR) DDR3-1866 1.5V (1.35V) или LRDIMM DDR3-1333
(до 1024 GB LRDIMM по 64GB; до 512 GB RDIMM по 32GB; есть возможность зеркалирования и резервирования) или
UDIMM (до 128 GB, ECC и non ECC);
ставить идентичными парами на канал;
первыми заполнять голубые слоты (с индексом 1), начиная с A1;
при использовании 2 модулей RDIMM DRx4 1.5V на канал поддерживается частота до 1600 MHz
- 2 порта SATA3 от Intel C602 (group 1, AHCI, NCQ, горячее подключение) - верхние/дальние
- 4 порта SATA2 от Intel C602 (group 3, AHCI, NCQ, горячее подключение),
на схеме изображено подключение к SCU как SATA3 - в реальности, устройство SATA3 подключается как SATA2
- 8 портов SAS2 от SAS контроллера из LSI 2308 (X9DRD-7NL4F - IR mode, X9DRD-7NL4F-JBOD - IT mode (без RAID)),
2 разъёма SFF 8087 (iPass), порты 0-3 справа, подключён PCIe 3.0 x8 к CPU1
- VGA на PCI от C602 - Matrox (Nuvoton BMC) G200eW WPCM450 128MB (отключаемый перемычкой)
- 6 PCI Express 3.0 x8 половинной длины (167.64 мм) половинной высоты (MD2) (от края платы направо):
- PCIe 3.0 x8 (к CPU1) (стоит переходник JBOD Expansion)
- PCIe 3.0 x8 (к CPU1)
- PCIe 3.0 x8 (к CPU2)
- PCIe 3.0 x8 (к CPU2)
- PCIe 3.0 x8 (к CPU2)
- PCIe 3.0 x8 (к CPU1)
- PCIe 3.0 x8 (к CPU2)
- встроенный четырёхпортовый гигабитный контроллер (Intel i350),
4 RJ-45 на заднюю панель (1000BASE-T), нумерация слева направо снизу вверх,
PCIe 3.0 x4 к CPU1; индикаторы скорости соединения (зелёный - 100 Mb, жёлтый - 1 Gb) и активности
- встроенный IPMI 2.0 и KVM с отдельным Ethernet портом (Realtek RTL8201F),
индикаторы скорости соединения (зелёный - 100 Mbit) и активности;
при отсутствии соединения по выделенному порту IPMI работает по системному
(для возврата требуется сброс - "ipmitool mc reset cold")
- 4 USB 2.0 на задней панели, 4 USB 2.0 внутри и 1 Type A
- последовательный порт на задней панели (родной DB-9), последовательный порт на плате - через BMC
- питание SSI EPS 12V, разъём 24 штырька (ATX12V 2) и 2 разъёма по 8 штырьков
(1-4: земля, 5-8: +12V) и разъём 4 штырька (+12V) с поддержкой PMBus 1.1 или 1.2;
необходимо подключить все разъёмы кроме 4-штырькового к БП, иначе теряется гарантия;
- микросхема Super I/O Nuvoton 83527HG
- микросхема мониторинга NCT7904D
- 8 разъёмов (2 с задней стороны, 6 - с внутренней) для подключения вентиляторов (4 pin, тахометр, управление по PWM);
автоматическая регулировка из BIOS
- разъём для подключения TPM 1.2
- перемычки: сброс CMOS, подача SMB (I2C) на PCIe (включена по умолчанию), использовать BMC,
использовать VGA, использовать встроенные порты Ethernet 1, 2, 3 и 4,
режим восстановления ME, режим изготовителя ME (позволяет поменять прошивку),
режим работы watch dog (сброс или NMI), использовать SAS
- разъёмы индикаторов: питание включено, перегрев/поломка вентилятора (горит/мигает), UID с кнопкой,
SATA, LAN1, LAN2, отказ БП; индикаторы LAN3 и LAN4 где-то внутри;
мигающий зелёным индикатор BMC на дальней грани платы
- интерфейс SMBus (I2C) для мониторинга БП БП
- разъём IPMB (для внешней IPMI карты)
- датчик взлома
- порты SGPIO для контроля SATA портов C602 и SCU
- питание для SATA DOM
- спикер
- требования к условиям работы: температура от 10 до 35°C, влажность - от 8% до 90%
- в комплекте: 2 SATA кабеля (61 см), 2 SFF 8087 (Ipass) to 4 SATA (50 см)
? dmidecode показывает отсутствие серийного номера и версии материнской
платы, шасси и компьютера. Хотя нет - на этот раз есть серийный номер материнской платы
(зато его нет в IPMI).
Микросхема Nuvoton (собственник Winbond) WPCM 450 реализует функции BMC (тип SMT, не SMM!),
видеоконтроллер VGA (Matrox G200eW) с аналоговым выходом с интерфейсом памяти DDR2 (128MB, 220MHz) и PCI 2.3 (32 бита, 33 MHz 3.3V),
подключается к интерфейсу USB 1.1 и USB 2 для KVM и виртуальных носителей,
подключается к интерфейсу LPC для мониторинга,
подключается к интерфейсу PECI для ME,
подключается к интерфейсу RS-232 для текстового доступа к BIOS Setup,
подключается к 6 каналам SMBus и GPIO.
Подключается по выделенному Ethernet интерфейсу,
может быть настроен на использование системных Ethernet интерфейсов при необходимости (по умолчанию) через RMII.
Страница про IPMI от изготовителя.
Обеспечивает IPMI 2.0 (мониторинг температуры, вентиляторов, напряжений, питания, открытия шасси;
управление питанием, журнал (512 записей)),
KVM (включая запись видео), RMCP+, веб-интерфейс,
виртуальное устройство хранения (дискета, CD/DVD, USB флеш) и образ ISO (USB 2.0),
текстовую консоль по сети (SOL), аутентификация по LDAP, AD и RADIUS, SSL/TLS,
командную оболочку SMASH-CLP (от ATEN) по telnet (не работает) и SSH (тормозит): чтение журнала и датчиков, управление питанием,
привязку времени к 2 серверам NTP,
статистика и графики потребления энергии за час, день и неделю,
управление режимом работы вентиляторов,
настройка IP портов (HTTP: 80/tcp, HTTPS: 443/tcp, IPMI: 623/udp, KVM: 5900/tcp, виртуальные носители: 623/tcp,
SMASH (SSH): 22/tcp, WS-MAN (?): 8889/tcp),
извещение по SNMP и SMTP (10 получатель с указанием уровня сообщений, перезагрузка и вход администратора событиями не считаются,
глюк с затесавшимся в настройки паролем SMTP).
SuperMicro рекомендует использовать выделенную станцию управления и настраивать IP Access Policy,
конфигурировать выделенную IP-сеть и настраивать сетевой экран на выходе (известная история с паролем доступа в открытом виде),
отключать использование системных Ethernet интерфейсов для BMC или использовать отдельную VLAN.
Изначально открытый доступ по сети (по умолчанию DHCP, пользователь ADMIN с паролем ADMIN) и IPMI.
Для обновления (в поставке ?, имеется 3.17 => 3.39, список изменений отсутствует)
через веб-интерфейс (есть версии утилиты обновления под DOS, Windows и Linux) необходимо:
- перейти в режим обновления
- выбрать образ для загрузки
- выбрать сохранение настроек
- немного подождать (BMC перезагружается самостоятельно после обновления прошивки);
мониторинг во время обновления недоступен, kipmi0 потребляет 100% CPU
Обновление из командной строки:
./lUpdate -r y -f SMT_X9_317.bin -i kcs
При неудаче при прошивки необходимо сбросить питание и использовать yafukcs.exe (DOS) через KCS
или yafuflash (Linux, LD_LIBRARY_PATH=каталог-libipmi.so.1) через USB,
перед именем файла можно указать ключи:
- -?
- -info
- -auto
- -full # а что такое не full?
- -force-boot # загрузчик тоже поменять
- -c # не менять модуль конфигурации
- -cd # USB
- -nw -ip адрес -u имя -p пароль
SMCIPMITool - утилита командной строки (Java). Запуск:
java -jar SMCIPMITool.jar IP-адрес имя пароль команда
Большинство команд работают только с SuperBlade, но есть и полезные
(в приглашении выводится IP-адрес, модель материнской платы, статус ACPI, потребляемая мощность (!), время,
тип прошивки: SIM(WA) - WPCM450 (прошивка ATEN)):
- shell # интерактивный сеанс
- help # выдать список команд
- list # выдать полное описание команд и их параметров
- ch [IP-адрес [имя [пароль]]] # сменить сервер (клавиши "<" и ">" позволяют переключаться в списке)
- find начальный-адрес конечный-адрес маска-сети # найти IPMI-устройства (падает на большой сети)
- found [clear] # выдать список найденных IPMI-устройств
- host {list | add | remove | rename | group add | group remove | groume rename | group addhost | group removehost} # ведение списка хостов и групп хостов
- hostrun {found | имя-хоста | имя-группы} команда # выполнить команду на всех хостах
- hostrun curr команда # выполнить команду на всех серверах из списка ch
- exec имя-файла количество-раз секунд # выполнить команды из файла указанное число раз (0 - бесконечность) с задержкой
- failure # сообщения о проблемах
- sel {info|list|csv имя-файла|clear} # работа с системным журналом
- user {add индекс имя пароль {Administrator|Operator|User}| list | delete индекс | level индекс {Administrator|Operator|User}}
- ukvm | kvm | kvmw | kvmwa | kvmwx9 # запуск графического окна KVM для различных типов прошивки (окно с безумным разрешением 752x413)
- {dr | vm | vmw | vmwa} команда # работа с виртуальными носителями для различных типов прошивки
- ipmi sensor # информация с датчиков
- ipmi delsdr номер # удалить датчик
- ipmi power {up | down | softshutdown | reset [PXE] | cycle [интервал] | diag}
- ipmi acpi # статус ACPI
- ipmi lan {ip [адрес] | mac [адрес] | gateway [адрес] | netmask [маска-сети] | arp [on|off] | dhcp [enable|disable] | vlan [}enable|disable} метка] | dns [первый-IP второй-IP]} # получение информации или настройка сети
- ipmi fru # данные о шасси, материнской плате и сервере (если их кто-то ввёл)
- ipmi oem clrint # сбросить датчик проникновения
- ipmi oem uid [on|off]
- ipmi reset
- ipmi ver
- ipmi {flash | flashw | flashr | flashh | flasha} имя-файла # обновить прошивку (для каждого типа прошивки своя команда! X9 - flashr? неподдерживаемое устройство)
- ipmi sessioninfo
- ipmi fan [режим] # посмотреть или установитть режим работы вентиляторов
- sc команда # выполнить команду Linux
- pminfo # выдать информацию об устройствах PMBus (БП) - состояние, температура, скорость вращения вентиляторов, напряжение/ток/мощность на входе и выходе
- nm {detecr | ver | cap | status [enable|disable] | stat | resetStat | pstate [P-состояние] | tstate [T-состояние] | ptstate} # опознание менеджера питания узла (Intel Dynamic Power Node Manager), версии, возможностей, соcтояния, статистики потребления, P и T состояния, управление рассылкой извещений по SNMP, управление политиками
- nm20 {nmSDR | deviceID | reset | reset2Default | updateMode | powerOff | selfTest | mode | listImagesInfo | oemGetPower | oemGetTemp | команды-управления-политиками | statistics режим домен-питания политика | resetStatistics режим домен-питания политика | alert адрес | pstate [P-состояние] | tstate [T-состояние] | ptstate | cpuCore [число-ядер] | totalPower домен-питания [бюджет] | cpuMemTemp | hostCpuData} # управление менеджером питания версии (Intellegent Power Node Manager, IPNM) 2.0 и ME, разнообразная статистика потребления: вся система, ЦП, память в разных режимах и при разной политике
- sol [activate | deactivate | window | key {linux|windows} | bitrate [9.6|19.2|38.4|57.6|115.2]] # доступ к текстовой консоли, выход по F12
IPMIView - графический вариант утилиты для работы с IPMI (жалкое подобие текстовой утилиты ;).
Запуск консоли из комплекта IPMIView
LD_LIBRARY_PATH=/lib64:/usr/lib64:`pwd` ./iKVM адрес ADMIN ADMIN null 5900 623 2 0
Утилита ipmicfg для настройки BMC/IPMI:
- -m [IP адрес] # посмотреть IP и MAC или установить IP адрес
- -a MAC-адрес # установить MAC адрес в формате XX:XX:XX:XX:XX:XX
- -mac MAC-адрес # установить MAC адрес в формате XXXXXXXXXXXX
- -k [маска-подсети] # посмотреть или установить маску подсети
- -dhcp [on|off]
- -g [IP-адрес] # посмотреть или установить адрес шлюза
- -r # сброс BMC
- -garp {on|off} # Gratuitous ARP
- -fd # сброс настроек
- -fde # сброс настроек и очистка данных о FRU и сети
- -ver # вывести версию прошивки BMC
- -vlan [on идентификатор | off]
- -sdr [del номер | backup имя-файла | restore имя-файла ] # чтение настроек и текущих значений датчиков
- -sel {info | list | del} # работа с журналом
- -fru {info | list | help | cthelp | имя-поля [значение] | backup имя-файла | restore имя-файла} # работа с данными FRU; например, "ipmicfg -fru PAT инвентарный-номер"
- -uid {on|off} # помигат лампочкой идентификации устройства
- -nm {nmsdr | seltime | deviceid | reset | reset2default | updatemode | selftest | listimagesinfo | oemgetpower | oemgettemp | pstate | tstate | cpumemtemp | hostcpudata } # работа с ME
- -fan [режим] # установка режима работы вентиляторов
- -pminfo # не работает?
- -psfruinfo # информация от датчиков БП - состояние, температура, скорость вращения вентиляторов; это не зависание - дважды ждёт нажатия Enter
Материнская плата SuperMicro X9DRi-F
- формат - E-ATX (12" x 13", 305mm x 332mm)
- под два процессора Intel Xeon E5-2600 Series или v2 (Socket R, LGA 2011) с 2 QPI 1.1 (8 GT/s) до 135 Вт каждый;
CPU1 снизу (спереди); DMI2 (4GB/s) от CPU1
- чипсет Intel C606/C602
- BIOS: AMI R 3.2a от 07/09/2015 (ACPI 3.0b или 4.0, UEFI, PECI 2.0),
имеется версия 3.2a (имя файла - X9DRi5_709.zip,
утилита для DOS; описание изменений отсутствует; перед обновлением настойчиво рекомендуется отключить Intel ME);
вход в настройки по нажатию Del (в документации указано F2)
- 16 разъёмов (8 каналов по 2 модуля) памяти ECC Registered (SR или DR) DDR3-1866 1.5V (1.35V) или LRDIMM DDR3-1333
(до 1024 GB LRDIMM по 64GB; до 512 GB RDIMM по 32GB (есть возможность зеркалирования и резервирования) или
UDIMM (до 128 GB, ECC и non ECC);
ставить идентичными парами на канал;
первыми заполнять голубые слоты (с индексом 1), начиная с A1;
при использовании 2 модулей RDIMM DRx4 (16GB) 1.5V на канал поддерживается частота до 1600 MHz (1.35V - 1333 MHz);
при использовании 1 модуля RDIMM DRx4 (16GB) 1.5V на канал поддерживается частота до 1866 MHz (1.35V - 1333 MHz);
при использовании 2 модулей RDIMM QRx4 (32GB) 1.5V на канал поддерживается частота до 800 MHz (1.35V - 800 MHz);
при использовании 1 модуля RDIMM QRx4 (32GB) 1.5V на канал поддерживается частота до 1066 MHz (1.35V - 800 MHz);
LRDIMM QDP (8Rx4, 64GB) только 1066 MHz
- 2 порта SATA3 от Intel C602 (?group 1, AHCI, NCQ, горячее подключение) - нижние/ближние (белые)
- 4 порта SATA2 от Intel C602 (?group 3, AHCI, NCQ, горячее подключение)
- 4 порта SATA2 от Intel C602 SCU (8 для X9DR3-F), 2 разъёма SFF 8087 (iPass), порты 0-3 справа, подключён через выделенный PCIe 3.0 x4 к CPU1
- VGA на PCI-32 от C602 - Matrox (Nuvoton BMC) G200eW WPCM450 128MB (отключаемый перемычкой)
- 6 PCI Express 3.0 половинной длины (167.64 мм) половинной высоты (MD2) (от края платы направо):
- PCIe 3.0 x8 (к CPU1)
- PCIe 3.0 x16 (к CPU1)
- PCIe 3.0 x8 (к CPU1)
- PCIe 3.0 x16 (к CPU2)
- PCIe 3.0 x8 (к CPU2)
- PCIe 3.0 x16 (к CPU2)
- встроенный двухпортовый гигабитный контроллер (Intel i350),
2 RJ-45 на заднюю панель (1000BASE-T), нумерация слева направо,
PCIe 3.0 x4 к CPU1; индикаторы скорости соединения (зелёный - 100 Mb, жёлтый - 1 Gb) и активности
- встроенный IPMI 2.0 и KVM с отдельным Ethernet портом (Realtek RTL8201N),
индикаторы скорости соединения (зелёный - 100 Mbit) и активности;
при отсутствии соединения по выделенному порту IPMI работает по системному
(для возврата требуется сброс - "ipmitool mc reset cold")
- 4 USB 2.0 на задней панели, 6 USB 2.0 внутри и 1 Type A
- PS2 универсальный
- последовательный порт на задней панели (родной DB-9), последовательный порт на плате - через BMC
- питание SSI EPS 12V, разъём 24 штырька (ATX12V 2) и 2 разъёма по 8 штырьков
(1-4: земля, 5-8: +12V) с поддержкой PMBus 1.1 или 1.2;
необходимо подключить все разъёмы к БП, иначе теряется гарантия;
- микросхема Winbond Super I/O 83527
- 8 разъёмов (от 1 до 6, A и B) для подключения вентиляторов (4 pin, тахометр, управление по PWM);
автоматическая регулировка из BIOS, к 2 подключены вентиляторы ЦП
- разъём для подключения TPM 1.2
- перемычки: сброс CMOS, использовать BMC,
использовать VGA, использовать встроенные порты Ethernet 1 и 2,
режим восстановления ME, режим изготовителя ME (позволяет поменять прошивку),
режим работы watch dog (сброс или NMI)
- разъёмы для подключения кнопок питания и сброса
- разъёмы индикаторов: питание включено, перегрев/поломка вентилятора (горит/мигает), UID с кнопкой,
SATA, LAN1, LAN2, отказ БП;
мигающий зелёным индикатор BMC на дальней грани платы и горящий зелёным индикатор дежурного питания на ближней грани платы
- 6 интерфейсов SMBus (I2C) для мониторинга, в т.ч. Power SMB для БП
- разъём IPMB (для внешней IPMI карты)
- датчик взлома
- 2 порта SGPIO (для контроля SATA портов C602 и SCU)
- питание для SATA DOM (Disk on Module)
- спикер
- требования к условиям работы: температура от 10 до 35°C, влажность - от 8% до 90%
- в комплекте: 2 SATA кабеля (61 см), SFF 8087 (Ipass) to 4 SATA (50 см) и SES
dmidecode имя и серийный номер материнской
платы, шасси и компьютера, зато их нет в IPMI (и дата изготовления 1 января 1996).
Микросхема Nuvoton (собственник Winbond) WPCM450R реализует функции BMC (тип SMT, не SMM!),
всё аналогично предыдущей плате, уже установлена версия прошивки 3.39.
Материнская плата SuperMicro X10DRD-iTP
- формат - E-ATX (13.05" x 10.5", 331mm x 267mm)
- под два процессора Intel Xeon E5-2600 v3 или v4 (Socket R3, LGA 2011) с 2 QPI (9.6 GT/s) до 145 Вт каждый (см. ограничения на систему в целом);
CPU1 слева (ниже); DMI2 (4GB/s) от CPU1
- чипсет Intel C612
- BIOS 16MB: AMI R 3.0a от 02/08/2018 (UEFI 2.3.1), вход в настройки по нажатию Del
- 8 разъёмов (8 каналов по 1 модулю) памяти ECC Registered DDR4-2400 1.2V (модули до 32GB) или LRDIMM DDR4-2400 QRx4 (модули 32GB или 64GB)
или 3DS LRDIMM 8Rx4 (модули 64GB или 128GB); есть возможность зеркалирования и резервирования
- 6 порта SATA3 от Intel C612 (AHCI, NCQ, горячее подключение), 2 жёлтых имеют питание для SuperDOM
- 4 порта SATA3 от Intel C612 (sSATA, AHCI, NCQ, горячее подключение), разъём iPass (SFF-8087)
- VGA 1920x1200 на PCI от C612 - ASPEED AST2400 DDR3 128MB? (отключаемый перемычкой)
- 4 слота PCI Express 3.0 x8 половинной (?) длины (167.64 мм) половинной (для серверов 2U) высоты (MD2) (от края платы направо):
- PCIe 3.0 x8 (к CPU1, порт 2)
- PCIe 3.0 x8 (к CPU1, порт 2)
- PCIe 3.0 x8 (к CPU1, порт 3)
- PCIe 3.0 x8 (к CPU2, порт 2)
- встроенный двухпортовый 10-гигабитный контроллер (Intel 82599ES) с поддержкой NC-SI
(Network Controller Sideband Interface, резервное подключение BMC к Ethernet),
2 SFP+ на заднюю панель, нумерация слева направо
PCIe 3.0 (в реальности 2.0) x8 к CPU1 (порт 3); индикаторы работоспособности (должен мигать) и активности
- встроенный IPMI 2.0 и KVM (ASPEED AST2400) с отдельным Ethernet портом (Realtek RTL8201N (на схеме RTL8211E), 1G),
индикаторы скорости соединения (зелёный - 100 Mbit, оранжевый - 1 Gb) и активности (мигающий оранжевый);
при отсутствии соединения по выделенному порту IPMI работает по системному через NC-SI
(? для возврата требуется сброс - "ipmitool mc reset cold");
он же обеспечивает доступ к флеш для BIOS (16MB) и себя (16MB) и к последовательным портам (функции SuperIO), а также аппаратный мониторинг;
используется мост AST1150 для подключения PCIe от C612 к AST2400
- 4 USB 2.0 на задней панели, 2 USB 2.0 внутри и 1 Type A
- последовательный порт на задней панели (родной DB-9), последовательный порт на плате - через BMC
- питание SSI EPS 12V, разъём 24 штырька (ATX12V 2) и 2 разъёма по 8 штырьков
(1-4: земля, 5-8: +12V) с поддержкой PMBus 1.1 или 1.2?;
необходимо подключить все разъёмы к БП, иначе теряется гарантия
- потребляемая мощность доступна через ACPI (Intel(R) Node Manager, "sensors power_meter-acpi-0", /sys/class/hwmon/hwmon0/device/power1_average)
- 8 разъёмов (2 с задней стороны, 6 - с внутренней) для подключения вентиляторов (4 pin, тахометр, управление по PWM);
автоматическая регулировка из BIOS
- разъём для подключения TPM 2.0
- перемычки:
- сброс CMOS и настроек BIOS
- подача SMB (I2C) на PCIe (выключена по умолчанию)
- использовать BMC
- использовать VGA
- использовать встроенные порты Ethernet 1 и 2
- режим изготовителя ME (позволяет поменять прошивку)
- режим работы watch dog (сброс или NMI)
- разъёмы индикаторов: питание включено, перегрев/поломка вентилятора (горит/мигает), SATA, LAN1, LAN2, отказ БП
- индикатор UID с кнопкой
- мигающий зелёным индикатор BMC на дальней грани платы
- интерфейс SMBus (I2C) для мониторинга БП (JPI2C1)
- датчик взлома
- порты SGPIO для контроля SATA портов C612 и SCU
- 2 SATA DOM
- спикер
- требования к условиям работы: температура от 10 до 35°C, влажность - от 8% до 90%
- в комплекте: 4 SATA кабеля (CBL-0044L, 61 см), 1 SFF 8087 (Ipass) to 4 SATA (CBL-0097L-03, 50 см)
Микросхема ASpeed AST2400 (FW INSYDE) реализует функции BMC (тип SMT, не SMM!),
видеоконтроллер VGA с аналоговым выходом с интерфейсом памяти DDR2/DDR3 (128MB? до 400MHz) и PCIe 2.3 (32 бита, 33 MHz 3.3V)
(на блоксхеме изображён PCIe),
подключается к интерфейсу USB 1.1 и USB 2 для KVM и виртуальных носителей,
подключается к интерфейсу LPC для мониторинга,
подключается к интерфейсу PECI для ME,
подключается к интерфейсу RS-232 для текстового доступа к BIOS Setup,
подключается к 14 каналам SMBus и GPIO.
Подключается по выделенному Ethernet интерфейсу,
может быть настроен на использование системных Ethernet интерфейсов при необходимости (по умолчанию) через NC-CI
(bond0 из eth0 и eth1).
Страница про IPMI от изготовителя.
Обеспечивает IPMI 2.0 (мониторинг температуры, вентиляторов, напряжений, питания, открытия шасси;
управление питанием, журнал (512 записей)),
KVM (включая запись видео, вариант Java выдал "GLIBC_2.14 not found", вариант HTML5 потребовал Chrome),
RMCP+, веб-интерфейс,
виртуальное устройство хранения (дискета, CD/DVD, USB флеш) и образ ISO (USB 2.0),
текстовую консоль по сети (SOL), аутентификация по LDAP, AD и RADIUS, SSL/TLS,
командную оболочку SMASH-CLP (?от ATEN) по telnet (не работает) и
SSH (dropbear_2016.74, тормозит, очень разборчив):
чтение журнала и датчиков, управление питанием,
привязку времени к 2 серверам NTP,
статистика и графики потребления энергии за час, день и неделю,
управление режимом работы вентиляторов,
настройка IP портов (HTTP: 80/tcp, HTTPS: 443/tcp, IPMI: 623/udp, KVM: 5900/tcp, виртуальные носители: 623/tcp,
SMASH (SSH): 22/tcp, WS-MAN (?): 5985/tcp, ?: 63630/tcp),
извещение по SNMP и SMTP (10 получателей с указанием уровня сообщений, ?перезагрузка и вход администратора событиями не считаются),
извещение по syslog за отдельную плату (лицензия SFT-OOB-Single),
SNMP агент (NET/UCD-SNMP, в частности, HOST-RESOURCES-MIB и ATEN-IPMI-MIB с датчиками).
SuperMicro рекомендует использовать выделенную станцию управления и настраивать IP Access Policy,
конфигурировать выделенную IP-сеть и настраивать сетевой экран на выходе (известная история с паролем доступа в открытом виде),
отключать использование системных Ethernet интерфейсов для BMC или использовать отдельную VLAN.
Изначально открытый доступ по сети (по умолчанию DHCP, пользователь ADMIN с паролем ADMIN) и IPMI.
Утилита ipmicfg для настройки BMC/IPMI, использует ipmitool, установка не требуется (достаточно скопировать файлы):
SMCIPMITool - утилита командной строки (Java). Запуск:
java -jar SMCIPMITool.jar IP-адрес имя пароль команда
Большинство команд работают только с SuperBlade, но есть и полезные
(в приглашении выводится IP-адрес, модель материнской платы, статус ACPI, потребляемая мощность, время,
тип прошивки: ASPD_T):
- shell # интерактивный сеанс
- help # выдать список команд
- list # выдать полное описание команд и их параметров
- ch [IP-адрес [имя [пароль]]] # сменить сервер (клавиши "<" и ">" позволяют переключаться в списке)
- find начальный-адрес конечный-адрес маска-сети # найти IPMI-устройства
- found [clear] # выдать список найденных IPMI-устройств
- host {list | add | remove | rename | group add | group remove | groume rename | group addhost | group removehost} # ведение списка хостов и групп хостов
- hostrun {found | имя-хоста | имя-группы} команда # выполнить команду на всех хостах
- hostrun curr команда # выполнить команду на всех серверах из списка ch
- exec имя-файла количество-раз секунд # выполнить команды из файла указанное число раз (0 - бесконечность) с задержкой
- failure # сообщения о проблемах
- sel {info|list|csv имя-файла|clear} # работа с системным журналом
- user {add индекс имя пароль {Administrator|Operator|User}| list | delete индекс | level индекс {Administrator|Operator|User}}
- ukvm | kvm | kvmw | kvmwa | kvmwx9 # запуск графического окна KVM для различных типов прошивки (окно с безумным разрешением 752x413)
- {dr | vm | vmw | vmwa} команда # работа с виртуальными носителями для различных типов прошивки
- ipmi sensor # информация с датчиков
- ipmi power {up | down | softshutdown | reset [PXE] | cycle [интервал] | diag}
- ipmi acpi # статус ACPI
- ipmi lan {ip [адрес] | mac [адрес] | gateway [адрес] | netmask [маска-сети] | arp [on|off] | dhcp [enable|disable] | vlan [}enable|disable} метка] | dns [первый-IP второй-IP]} # получение информации или настройка сети
- ipmi fru # данные о шасси, материнской плате и сервере (если их кто-то ввёл)
- ipmi oem clrint # сбросить датчик проникновения
- ipmi oem uid [on|off]
- ipmi reset
- ipmi ver
- ipmi {flash | flashw | flashr} имя-файла # обновить прошивку (для каждого типа прошивки своя команда!)
- ipmi sessioninfo
- ipmi fan [режим] # посмотреть или установитть режим работы вентиляторов
- sc команда # выполнить команду Linux на локальном сервере
- pminfo # выдать информацию об устройствах PMBus (БП) - состояние, температура, скорость вращения вентиляторов, напряжение/ток/мощность на входе и выходе
- nm {detecr | ver | cap | status [enable|disable] | stat | resetStat | pstate [P-состояние] | tstate [T-состояние] | ptstate} # опознание менеджера питания узла (Intel Dynamic Power Node Manager), версии, возможностей, соcтояния, статистики потребления, P и T состояния, управление рассылкой извещений по SNMP, управление политиками
- nm20 {nmSDR | deviceID | reset | reset2Default | updateMode | powerOff | selfTest | mode | listImagesInfo | oemGetPower | oemGetTemp | команды-управления-политиками | statistics режим домен-питания политика | resetStatistics режим домен-питания политика | alert адрес | pstate [P-состояние] | tstate [T-состояние] | ptstate | cpuCore [число-ядер] | totalPower домен-питания [бюджет] | cpuMemTemp | hostCpuData} # управление менеджером питания версии 2.0 и ME, разнообразная статистика потребления: вся система, ЦП, память в разных режимах и при разной политике
- nm30 {cupsCap | cupsData| cupsConfig | cupsPolicy | cupsCore | cupsIO | cupsMem}
- dcmi cap # соответствие DCMI
- bios # обновление BIOS, надо оплатить лицензию
- ipmi oem x10cfg ... # настройка BMC, надо оплатить лицензию
- sol [activate | deactivate | window | key {linux|windows} | bitrate [9.6|19.2|38.4|57.6|115.2]] # доступ к текстовой консоли, выход по F12
IPMIView - графический вариант утилиты для работы с IPMI (жалкое подобие текстовой утилиты ;).
Системная плата SuperMicro X12DPi-NT6 (версия X12DPi-N6 без 2 портов 10Gb)
- формат - E-ATX (12" x 13", 30.48cm x 33.02cm)
- под два процессора Intel Scalable Processor поколения 3 - LGA-4189 (P4, P+, Xeon Ice Lake SP (Whitley))
с 3 UPI (11.2 GT/s) до 270 Вт каждый (см. ограничения на систему в целом);
ЦП1 слева (ниже); DMI2 x4 (4GB/s) от ЦП1
- чипсет Intel C621A
- BIOS 128MB: первоначально 1.4 от 07/11/2022; ME 4.4.4.202; CPLD F1.00.09; UEFI 2.8; вход в настройки по нажатию Del или Esc;
отличия версии 1.6 (7/06/2023, ME 4.4.4.500) от 1.4 - Intel микрокод ЦП, SPS?, RC?, VROC UEFI; удалены eADR, PCI AER, Factory Mode, Memory Corrected Error Enabling?
- 16 разъёмов (16 каналов по 1 модулю) памяти ECC Registered DIMM DDR4-3200 1.2V (модули от 8 до 64GB; например,
32ГБ Micron MTA36ASF4G72PZ-3G2R1 Dual rank (DRx8?) 1.2V CL22 22-22-22) или
ECC Registered DIMM 3Ds DDR4-3200 1.2V (от 64 до 256GB) или LRDIMM DDR4-3200 QRx4 (модули 64 или 128GB)
или 3DS LRDIMM (4R/8R)x4 (модули 128GB или 256GB);
частота может ограничиваться процессором; общей ёмкостью до 4 ТБ;
странная нумерация; 2 слота под NVDIMM (P1-DIMMB2 и P2-DIMMB2);
есть возможность зеркалирования и резервирования:
- SDDC (Single Device Data Correction ) - 18 микросхем обеспечивают 256 бит данных, 16 CRC-16 и 16 бит чётности,
что позволяет проверять и корректировать до 4 бит в одном модуле 1Rx4
- SDDC+1 - при большом количестве ошибок микросхема помечается как сбойная и не участвует в чтении
- DDDC (Double Device Data Correction) - только для парных каналов по x4 (lockstep); 1 из 36 микросхем используется как резервная
- DDDC+1 - при использовании резервной микросхемы и большом количестве ошибок на другой, микросхема чётности используется как ещё одна резервная
- ADDDC - включение DDDC только при необходимости
- ADDDC+1 Bank|Rank - включение SDDC+1 только при необходимости
- зеркалирование модуля памяти
- резервирование ранка памяти
- патрульное чтение (scrub)
- 6 портов SATA3 от Intel C621A (S-SATA, sSATA, AHCI, NCQ, горячее подключение), разъём iPass (SFF-8087)
и 2 обычных (S-SATA4 и S-SATA5), разъёмы питания для SuperDOM (Disk on Module)
ahci 0000:00:11.5: version 3.0
ahci 0000:00:11.5: irq 188 for MSI/MSI-X
ahci 0000:00:11.5: AHCI 0001.0301 32 slots 6 ports 6 Gbps 0x3f impl SATA mode
ahci 0000:00:11.5: flags: 64bit ncq sntf led clo only pio slum part ems deso sadm sds apst
scsi host1: ahci
scsi host2: ahci
scsi host3: ahci
scsi host4: ahci
scsi host5: ahci
scsi host6: ahci
ata1: SATA max UDMA/133 abar m524288@0x9b180000 port 0x9b180100 irq 188
ata2: SATA max UDMA/133 abar m524288@0x9b180000 port 0x9b180180 irq 188
ata3: SATA max UDMA/133 abar m524288@0x9b180000 port 0x9b180200 irq 188
ata4: SATA max UDMA/133 abar m524288@0x9b180000 port 0x9b180280 irq 188
ata5: SATA max UDMA/133 abar m524288@0x9b180000 port 0x9b180300 irq 188
ata6: SATA max UDMA/133 abar m524288@0x9b180000 port 0x9b180380 irq 188
ata1: SATA link down (SStatus 0 SControl 300)
ata2: SATA link down (SStatus 0 SControl 300)
ata3: SATA link down (SStatus 0 SControl 300)
ata4: SATA link down (SStatus 0 SControl 300)
ata6: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
ata5: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
ata5.00: ATA-10: INTEL SSDSC2KB960GZ, 7CV10111, max UDMA/133
ata5.00: 1875385008 sectors, multi 1: LBA48 NCQ (depth 31/32)
ata5.00: configured for UDMA/133
ata5.00: Enabling discard_zeroes_data
sd 5:0:0:0: [sda] 1875385008 512-byte logical blocks: (960 GB/894 GiB)
sd 5:0:0:0: [sda] 4096-byte physical blocks
sd 5:0:0:0: [sda] Write Protect is off
sd 5:0:0:0: [sda] Mode Sense: 00 3a 00 00
sd 5:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
ata5.00: Enabling discard_zeroes_data
sda: sda1 sda2 sda3
ata5.00: Enabling discard_zeroes_data
sd 5:0:0:0: [sda] Attached SCSI disk
scsi 5:0:0:0: Direct-Access ATA INTEL SSDSC2KB96 0111 PQ: 0 ANSI: 5
ata6.00: ATA-10: INTEL SSDSC2KB960GZ, 7CV10111, max UDMA/133
ata6.00: 1875385008 sectors, multi 1: LBA48 NCQ (depth 31/32)
ata6.00: configured for UDMA/133
scsi 6:0:0:0: Direct-Access ATA INTEL SSDSC2KB96 0111 PQ: 0 ANSI: 5
ata6.00: Enabling discard_zeroes_data
sd 6:0:0:0: [sdb] 1875385008 512-byte logical blocks: (960 GB/894 GiB)
sd 6:0:0:0: [sdb] 4096-byte physical blocks
sd 6:0:0:0: [sdb] Write Protect is off
sd 6:0:0:0: [sdb] Mode Sense: 00 3a 00 00
sd 6:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
ata6.00: Enabling discard_zeroes_data
sdb: sdb1 sdb2 sdb3
ata6.00: Enabling discard_zeroes_data
sd 6:0:0:0: [sdb] Attached SCSI disk
- 8 портов SATA3 от Intel C621A (I-SATA, AHCI, NCQ, горячее подключение), 2 разъёма iPass (SFF-8087),
ahci 0000:00:17.0: irq 189 for MSI/MSI-X
ahci 0000:00:17.0: AHCI 0001.0301 32 slots 8 ports 6 Gbps 0xff impl SATA mode
ahci 0000:00:17.0: flags: 64bit ncq sntf led clo only pio slum part ems deso sadm sds apst
scsi host7: ahci
scsi host8: ahci
scsi host9: ahci
scsi host10: ahci
scsi host11: ahci
scsi host12: ahci
scsi host13: ahci
scsi host14: ahci
ata7: SATA max UDMA/133 abar m524288@0x9b100000 port 0x9b100100 irq 189
ata8: SATA max UDMA/133 abar m524288@0x9b100000 port 0x9b100180 irq 189
ata9: SATA max UDMA/133 abar m524288@0x9b100000 port 0x9b100200 irq 189
ata10: SATA max UDMA/133 abar m524288@0x9b100000 port 0x9b100280 irq 189
ata11: SATA max UDMA/133 abar m524288@0x9b100000 port 0x9b100300 irq 189
ata12: SATA max UDMA/133 abar m524288@0x9b100000 port 0x9b100380 irq 189
ata13: SATA max UDMA/133 abar m524288@0x9b100000 port 0x9b100400 irq 189
ata14: SATA max UDMA/133 abar m524288@0x9b100000 port 0x9b100480 irq 189
ata7: SATA link down (SStatus 0 SControl 300)
ata10: SATA link down (SStatus 0 SControl 300)
ata9: SATA link down (SStatus 0 SControl 300)
ata14: SATA link down (SStatus 0 SControl 300)
ata13: SATA link down (SStatus 0 SControl 300)
ata8: SATA link down (SStatus 0 SControl 300)
ata12: SATA link down (SStatus 0 SControl 300)
ata11: SATA link down (SStatus 0 SControl 300)
- сзади VGA 1920x1200 на PCIe от ASPEED AST2600
- на плате второй разъём VGA (нельзя одновременно)
- 6 слотов PCI Express 4.0 x8 половинной (?) длины (167.64 мм) половинной (для серверов 2U) высоты (MD2) (нумеруются справа налево при взгляде сзади):
- PCIe 4.0 x8 (к ЦП1)
- PCIe 4.0 x16 (к ЦП1)
- PCIe 4.0 x16 (к ЦП1)
- PCIe 4.0 x16 (к ЦП2)
- PCIe 4.0 x16 (к ЦП2)
- PCIe 4.0 x8 (к ЦП2)
- встроенный двухпортовый 10-гигабитный контроллер X550 с поддержкой NC-SI
(Network Controller Sideband Interface, резервное подключение BMC к Ethernet),
2 RJ-45 на заднюю панель, нумерация слева направо;
PCIe 4.0 x4 к ЦП1 (в реальности PCIe 3.0);
индикаторы скорости (зелёный - 10Gb, оранжевый - 1 Gb) и активности
- 2 разъёма SlimSAS x8 от ЦП1 для вывода NVMe на полку (по 2 NVME x4, PCIe 4.0); начинать подключение с первого
- M.2 2280/22110 NVMe с индикатором, PCIe 4.0 x4 от ЦП1 (в документации указано PCIe 3.0 x4/SATA, но это вряд ли)
- встроенный IPMI 2.0 и KVM (ASPEED AST2600) с отдельным Ethernet портом (Realtek RTL8201N (на схеме RTL8211FS-VS-CG), 1G),
индикаторы скорости соединения (зелёный - 100 Mbit, оранжевый - 1 Gb) и активности (мигающий оранжевый);
?при отсутствии соединения по выделенному порту IPMI работает по системному через NC-SI/RGRMII
(? для возврата требуется сброс - "ipmitool mc reset cold");
при выключении BMC интерфейс переходит в режим 10Gb;
он же обеспечивает доступ к флеш для себя (16MB) и к последовательным портам (функции SuperIO), а также аппаратный мониторинг;
имеется собственная память DDR4 2GB;
используется мост AST1150 для подключения PCIe от C621A к AST2600 (PCIe 2.0 x1);
подключение USB к C621A
- 4 USB 3.0 на задней панели, 2 USB 2.0 и 3 USB 3.0 внутри (1 из них типа A)
- последовательный порт на задней панели (родной DB-9), 115.2 Kbps, последовательный порт на плате - через BMC
- питание SSI EPS 12V, разъём 24 штырька (ATX12V 2, JPWR3) и разъём 8 штырьков
(JPWR1; 1-4: земля, 5-8: +12Vvdc) и 4 штырька (JPWR2; 1-2: земля, 3-4: +12Vdc) с поддержкой PMBus 1.1 или 1.2?;
необходимо подключить все разъёмы к БП, иначе теряется гарантия
- потребляемая мощность доступна через ACPI (Intel(R) Node Manager, "sensors power_meter-acpi-0", /sys/class/hwmon/hwmon0/device/power1_average в микроватах)
- 8 (в документации 7) разъёмов (FANA и FANB, FAN1-FAN6) для подключения вентиляторов (4 pin, тахометр, управление по PWM);
автоматическая регулировка из BMC; FAN6 в этом сервере не используется
- разъём для подключения TPM 2.0
- перемычки:
- сброс CMOS и настроек BIOS и паролей (вынуть батарейку, замкнуть на 4 секунды)
- использовать Ethernet
- режим изготовителя ME Recovery (позволяет поменять прошивку)
- разъёмы индикаторов: питание включено, перегрев/поломка вентилятора (горит/мигает),
SATA, LAN1, LAN2, отказ БП, UID; переключателей: питание, сброс, NMI, UID; дежурное питание 3.3В
- индикатор UID с кнопкой (справа от VGA), она же позволяет сбросить BMC (жать 6 секунд) и вернуть настройки по умолчанию (жать 12 секунд,
сбрасываются имена и пароли, но не настройки сети и FRU, какой после этого пароль ADMIN?)
- индикатор питания на плате
- мигающий зелёным индикатор BMC на дальней грани платы (горит зелёным - загружается)
- интерфейс Power SMB (SMBus I2C) для мониторинга БП (JPI2C1)
- датчик взлома
- подключение внешнего I2C к BMC
- подключение I2C для внешнего NVMe
- разъём для аппаратного ключа Intel VROC (контроллер VMD встроен в ЦП, только UEFI и без Secure Boot, управление через mdadm,
активация в SETUP - Advanced - Chipset - North Bridge - IIO - VMD)
- AOC-VROCSTNMOD (Intel 951605 Standard) - RAID 0, 1, 10
- AOC-VROCPREMOD (Intel 951606 Premium) - RAID 0, 1, 5, 10
- AOC-VROCINTMOD (Intel 956822 Intel SSD) - RAID 0, 1, 5, 10; только Intel SSD
- разъём для внешнего NC-SI (разъём на сетевой карте для использования её BMC)
- батарейка
- порты SGPIO для контроля портов дисковой полки
- в комплекте: 2 SATA кабеля (CBL-0044L, 57 см), 1 SFF 8087 (Ipass) to 4 SATA (CBL-0476L)
Микросхема ASpeed AST2600 (Dual-core ARM Cortex A7, FW INSYDE, Linux (none) 5.4.62 #3 SMP Thu Jun 29 09:13:13 PDT 2023 armv7l)
реализует функции BMC (тип SMT, не SMM!),
видеоконтроллер VGA 1920x1200 с аналоговым выходом с интерфейсом памяти DDR4 2GB (16MB для видео) и PCIe 2.3 (32 бита),
подключается к интерфейсу USB 1.1 и USB 2 для KVM и виртуальных носителей,
подключается к интерфейсу LPC для мониторинга,
подключается к интерфейсу PECI для ME,
подключается к интерфейсу RS-232 для текстового доступа к BIOS Setup,
подключается к ?14 каналам SMBus и GPIO.
Подключается по выделенному Ethernet интерфейсу,
может быть настроен на использование системных Ethernet интерфейсов при необходимости (по умолчанию) через NC-CI
(bond0 из eth0 и eth1), имеется LAN over USB (Host Interface).
Страница про IPMI от изготовителя.
Лицензии (смена MAC стирает лицензии):
- SFT-OOB-LIC: обновление прошивок, конфигурация BIOS, виртуальные образы, Redfish, AD/LDAP
- SFT-SPM-LIC: Supermicro Power Manager (задание профилей питания для Intel NM)
- SFT-DCMS-Single (включает OOB и SPM): ,UEFI Secure Boot, восстановление прошивки из резервной копии, Lockdown (?), SNMPv3 MIBs,
подтверждение записей в SEL
- SFT-DCMS-SVC-KEY (работа с SSM)
Обеспечивает IPMI 2.0 и сверх того:
- мониторинг температуры, вентиляторов, напряжений, питания, открытия шасси
- DCMI 1.5
- управление питанием
- журнал SEL (4096 записей, отключаемый FIFO))
- журнал BMC (MEL, 512 записей)
- KVM (включая запись видео, до 3 пользователей, вариант Java - возникает и исчезает окошко, вариант HTML5 - требует Chrome для записи видео)
- RMCP/RMCP+
- веб-интерфейс
- redfish
- виртуальное устройство хранения (дискета, CD/DVD, USB флеш) и образ ISO (USB 2.0)
- текстовую консоль по сети (SOL - Serial over LAN)
- аутентификация локальная и по LDAP, AD и RADIUS, SSL/TLS
- командную оболочку SMASH-CLP по telnet (не работает) и SSH - чтение журнала и датчиков и управление питанием
- привязку времени к 2 серверам NTP
- статистика и графики потребления энергии за час, день и неделю
- управление режимом работы вентиляторов (обычный, полный, оптимальный, упор на ввод/вывод)
- настройка IP портов (HTTP: 80/tcp, HTTPS: 443/tcp, IPMI: 623/udp, KVM: 5900/tcp, виртуальные носители: 623/tcp, MASH (SSH): 22/tcp, SNMP: 161/udp - включается в Alert)
- извещение по SNMPv2/v3 и SMTP (16 получателей с указанием уровня сообщений, ?перезагрузка и вход администратора событиями не считаются)
- извещение по syslog за отдельную плату (лицензия SFT-OOB-Single)
- настройка парамтеров BIOS и BMC с помощью Redfish, SUM или SSM
- SNMP агент (NET/UCD-SNMP, в частности, HOST-RESOURCES-MIB и SNMPv2-SMI::enterprises.21317
(ATEN-IPMI-MIB с датчиками (включая БП - SNMPv2-SMI::enterprises.21317.1.14.1.0,
дешифрованный SEL - SNMPv2-SMI::enterprises.21317.1.18.) и настройками, пароли в виде "****")
- запись снимка и видео с экрана, в т.ч. в момент краха (требуется поддержка от TAS - Thin Agent Service)
SuperMicro рекомендует использовать выделенную станцию управления и настраивать IP Access Policy,
конфигурировать выделенную IP-сеть и настраивать сетевой экран на выходе (известная история с паролем доступа в открытом виде),
отключать использование системных Ethernet интерфейсов для BMC или использовать отдельную VLAN.
Изначально открытый доступ по сети (по умолчанию DHCP,
пользователь ADMIN с уникальным паролем (10 прописных латинских букв) наклееным на шасси (крышка ЦП1, переклеивается на язычок) и системной плате) и IPMI.
В поставке версия прошивки BMC 01.01.24. Прошивки с подписями. Отличия версий:
- 1.1.39 от 1.1.24: улучшена защита i2c, исправлены ошибки (нельзя было удалить RAID), заблокированы TLS 1.0 и TLS 1.1 (у нас TLS 1.3)
- 1.1.46 от 1.1.39: исправлены ошибки (syslog, второй DNS, обзор дисков)
- 1.3.10 от 1.1.46: LDAP StartTLS, по умолчанию KVM HTML5, по умолчанию IPv4 и IPv6 одновременно, удалено 10mbps,
улучшение IPv6, отключение сетевого интерфейса IPMI (?); исправлено 22 ошибки;
после каждого изменения настроек подвисает интерфейс; на одном из серверов интерфейс подвисает сразу при входе в раздел настроек;
с точки зрения BMC пропали NVMe накопители (возможно местный глюк)
BIOS первоначально 1.4 от 07/11/2022; Прошивки с подписями; ME 4.4.4.202; CPLD F1.00.09; UEFI 2.8
- отличия версии 1.6 (7/06/2023, ME 4.4.4.500) от 1.4: Intel микрокод ЦП, SPS?, RC?, VROC UEFI;
удалены eADR, PCI AER, Factory Mode, Memory Corrected Error Enabling (а они были?)
- отличия версии 1.8 (23/11/2023, ME 4.4.4.603) от 1.6: Intel микрокод ЦП, SPS?, RC?, поддержка AOC-QLE2692SR
Кроме текущей (Staging) копии прошивки BIOS хранится заведомо хорошая (Golden, заводская) и, возможно,
запрошенная при обновлении резервная копия.
При неудачной загрузке CPLD пытается загрузиться с резервной копии или заведомо хорошей прошивки.
Аналогичные копии существуют для прошивки BMC.
Обновление прошивки системной платы (BIOS), пишется в журнал mel (ipmicfg):
- SUM (Supermicro Update Manager) для UEFI, Windows, Linux и FreeBSD; руководство - 650 страниц;
позволяет обновить прошивку и изменить настройки BIOS, BMC, CMM (?), БП, BBP (?), RAID, NIC, GPU и др.;
используется локальный или удалённый интерфейс IPMI;
недоделано: сбросятся настройки BIOS, требуется вручную перезагрузить;
процедура с использованием sum из UEFI Shell:
- записать файлы в X12BIOS на USB флешку (FAT32) - flash.nsh, sum.smc, файлBIOS
- вставить флешку
- загрузиться в UEFI Shell
- fs:
- cd X12BIOS
- flash.nsh имяBMC парольBMC BIOS_X12DP....bin
- файл передаётся в BMC, сервер перезагружается, BMC молча записывает новую прошивку (5 минут)
- выводится сообщение, сервер перезагружается
- вебинтерфейс BMC
- зайти в вебинтерфейс
- меню Maintenance
- выбрать Firmware Management
- выбрать обновление BIOS (при следующей загрузке - не надо так делать!, сохранить SMBIOS, сохранить настройки,
сохранить старую прошивку - позволяет откатиться при неудаче или вручную - нужна лицензия DCMS)
- выбрать файл с прошивкой
- Upload - файл загружается
- в списке задач появляются 2 задачи - загрузка (выполнена) и обновление (ожидает перезагрузки) - информация о задачах хранится до перезагрузки BMC
- перезагрузить сервер
- BMC молча (в прошивке 1.1.46 в списке задач показывает процент выполнения) записывает новую прошивку (5 минут), задача помечается как выполненная
- выводится сообщение, сервер перезагружается
- настройки частично сбросились
Обновление прошивки BMC:
- SUM (Supermicro Update Manager) для UEFI, Windows, Linux и FreeBSD; руководство - 650 страниц;
позволяет обновить прошивку и изменить настройки BIOS, BMC, CMM (?), БП, BBP (?), RAID, NIC, GPU и др.;
используется локальный или удалённый интерфейс IPMI;
процедура с использованием sum из UEFI Shell
- вебинтерфейс BMC
- зайти в вебинтерфейс
- меню Maintenance
- выбрать Firmware Management
- выбрать обновление BMC (сохранить настройки, сохранить SDR, сохранить сертификаты SSL,
сохранить старую прошивку - позволяет откатиться при неудаче или вручную - нужна лицензия DCMS?)
- выбрать файл с прошивкой
- Upload - файл загружается
- Update
- предлагают подождать перезагрузки BMC (5 минут)
Восстановление вручную из резервной или золотой копии с использованием вебинтерфейса BMC,
(плата должна поддерживать ROT (Root of Trust), требуется лицензия DCMS):
- зайти в вебинтерфейс
- меню Maintenance
- выбрать Firmware Management
- выбрать Inventory
- нажать карандаш
- выбрать нужную прошивку
- нажать Recovery (соседний Update заменяет золотую копию на текущую, лицензия не нужна;)
Утилита командной строки ipmicfg 1.35.1 для локальной настройки BMC/IPMI и получения состояния,
использует ipmitool (и секретные адреса), установка не требуется (достаточно скопировать файлы):
- -help
- -m [IP адрес] # посмотреть IP и MAC или установить IP адрес
- -a MAC-адрес # установить MAC адрес в формате XX:XX:XX:XX:XX:XX
- -k [маска-подсети] # посмотреть или установить маску подсети
- -dhcp [on|off]
- -g [IP-адрес] # посмотреть или установить адрес шлюза
- -garp {on|off} # Gratuitous ARP
- -addrptl [1 | 2 | 3] # 1 - IPv4, 2 - IPv6, 3 - оба
- -lani [0 | 1 | 2] # режим подключения к сети: 0 - выделенное, 1 - разделяемое, 2 - аварийное (failover)
- -linkstatus
General
-------
Hostname :
MAC Address : 3C:EC:EF:AC:85:2F
VLAN : OFF
VLAN ID : N/A
LAN Interface : Dedicate
RMCP Port : 623
Active Interface : Dedicate
Dedicated
---------
Link : Auto Negotiation
Status : Connected
Speed : 1G
Duplex : Full Duplex
Share
---------
Status : Disconnected
Speed : Unknown
Duplex : Unknown
- -r # холодный сброс BMC
- -lockdown # проверить состояние
- -fd {1 | 2 | 3} # сброс настроек; 1 - сохранить настройки пользователей, 2 - сбросить настройки и пароль, 3 - ?
- -fdl # сброс настроек и сети
- -fde # сброс настроек и очистка данных о FRU и сети
- -d # нормально ли сбросился BMC
- -ver # вывести версию прошивки BMC
- -vlan [on идентификатор | off]
- -selftest
- -raw ...
- -fan [режим] # посмотреть или установить режима работы вентиляторов, список возможностей выводится,
например: 0:Standard, 1:Full, 2:Optimal, 4:Heavy IO
- -clrint # сбросить отметку о взломе шасси
- -reset номер-загрузки # 1 - PXE, 2 - диск, 3 - CD, 4 - BIOS (Setup), 5 - USB флеш, 6 - USB диск, 8 - USB CD,
9 - UEFI диск, 10 - UEFI CD, 11 - UEFI USB флешка, 12 - UEFI USB диск, 13 - UEFI USB CD, 14 - UEFI PXE
- -soft номер-загрузки #
- -summary # IPv6 выключен в 2 местах!
IPv4 Address : 192.168.160.154
BMC MAC Address : 3C:EC:EF:AC:85:2F
Firmware Revision : 01.01.46
Firmware Build Time : 06/29/2023
BIOS Version : 1.6
BIOS Build Time : 07/06/2023
System LAN1 MAC Address: 3C:EC:EF:AB:29:B8
System LAN2 MAC Address: 3C:EC:EF:AB:29:B9
IPv6 Address 1 : FE80:0000:0000:0000:3EEC:EFFF:FEAC:852F/64
CPLD Version : F1.00.09
- -mel list # вывести журнал обслуживания BMC; забыли LF в конце строк?
- -mel download имя-файла # вывести журнал обслуживания BMC в файл
- -mel clear
- -nm {nmsdr | seltime | deviceid | reset | reset2default | updatemode | selftest | listimagesinfo | oemgetpower |
oemgettemp | pstate | tstate | cpumemtemp | hostcpudata } # работа с ME; выдают правильную информацию
- -pminfo [full] # информациия о состоянии БП:
[SlaveAddress = 78h] [Module 1]
Item | Value
---- | -----
Status | OK
Input Voltage | 233.2 V
Input Current | 1.21 A
Main Output Voltage | 12.21 V
Main Output Current | 21.25 A
Temperature 1 | 27C/81F
Temperature 2 | 34C/93F
Fan 1 | 2000 RPM
Fan 2 | 2000 RPM
Main Output Power | 260 W
Input Power | 279 W
PMBus Revision | 0x22
PWS Serial Number | P1K6ACM04KB0154
PWS Module Number | PWS-1K68A-1R
PWS Revision | 2.1
Current Sharing Control | Active - Active (00)
[SlaveAddress = 7Ah] [Module 2]
Item | Value
---- | -----
Status | OK
Input Voltage | 233.8 V
Input Current | 1.27 A
Main Output Voltage | 12.19 V
Main Output Current | 22.34 A
Temperature 1 | 26C/79F
Temperature 2 | 33C/91F
Fan 1 | 2064 RPM
Fan 2 | 2032 RPM
Main Output Power | 270 W
Input Power | 292 W
PMBus Revision | 0x22
PWS Serial Number | P1K6ACM04KB0153
PWS Module Number | PWS-1K68A-1R
PWS Revision | 2.1
Current Sharing Control | Active - Active (00)
- -psfruinfo # информация от датчиков БП - состояние, температура, скорость вращения вентиляторов
[SlaveAddress = 70h] [Module 1]
Item | Value
---- | -----
Status | OK
Temperature | 34C/93F
Fan 1 | 1946 RPM
Fan 2 | 1946 RPM
[SlaveAddress = 72h] [Module 2]
Item | Value
---- | -----
Status | OK
Temperature | 33C/91F
Fan 1 | 1946 RPM
Fan 2 | 1946 RPM
- -psbbpinfo # информация о встроенном ИБП
- -user {list | help | add номер имя пароль привилегия | del номер | level номер привилегия | setpwd номер пароль} #
уровни привилегий IPMI: 1 - callback, 2 - пользователь, 3 - оператор, 4 - администратор, 15 - никаких
- -conf {upload | download | tupload | tdownload} имя-файла # бинарно и в XML (только сетевые настройки)
- -sdr [full | del номер | backup имя-файла | restore имя-файла ] # чтение настроек и текущих значений датчиков; backup/restore удалены
- -sel {info | list | del} # работа с журналом SEL
- -fru {info | list | help | cthelp | имя-поля [значение] | backup имя-файла | restore имя-файла}
# работа с данными FRU; например, "ipmicfg -fru PAT инвентарный-номер"; у SuperMicro своё понимание о FRU
Chassis Type (CT) = Other(01h)
Chassis Part Number (CP) = CSE-847BTS-R1K68LPBP4
Chassis Serial Number (CS) = C8470FL32P60248
Board Mfg. Date/Time(BDT) = 2022/09/09 06:37:00 (0D 32 D6)
Board Manufacturer (BM) = Supermicro
Board Product Name (BPN) = X12DPi-NT6
Board Serial Number (BS) = VM229S002101
Board Part Number (BP) = X12DPi-NT6
Product Manufacturer (PM) = Supermicro
Product Name (PN) =
Product Part/Model Number (PPM) = SSG-640P-E1CR36L
Product Version (PV) =
Product Serial Number (PS) = A452378X3310337
Product Asset Tag (PAT) =
- -tp {info | ...} # управление многоузловыми конфигурациями (TwinPro)
- -tas {info | pause | resume | refresh } # собрать информацию о загрузке сервера; требуется агент TAS
- -nvme ... # требуется TAS
- -dcmi { cap | power | ctl идентификатор} # немножко о DCMI
Instantaneous Power Reading | 462 Watts
Minimum During Sampling Period | 1 Watts
Maximum During Sampling Period | 868 Watts
Average Power Reading Over Sample Period | 468 Watts
IPMI Timestamp | 2024/01/19 15:36:51
Sampling Period | 80514000 Milliseconds
Power Reading State | Activated
- -uid {on|off} # помигать лампочкой идентификации сервера; удалено, осталось в SMCIPMITool
SMCIPMITool 2.27.3 - утилита командной строки (Java) позволяет удалённо (IPMI) посмотреть состояние, поменять настройки, запустить KVM.
Установка производится копированием каталога, прикладывается своя копия Java.
Журнал пишется в файл SMCIPMITool.history, свойства KVM в iKVM.properties и ikvm.properties,
другие настройки в SMCIPMITool.properties, smcrakp.properties и stunnel.properties.
Выполнение команды (команда shell запускает интерактивный сеанс, имеются средства выполнить команду на группе серверов):
java -jar SMCIPMITool.jar IP-адрес имя пароль команда
Выполнение команды с извлечением имени и пароля из файла (файл содержит строки "username=имя" и "password=пароль"):
java -jar SMCIPMITool.jar -filemode имя-файла -i IP-адрес -c команда
Некоторые команды работают только с SuperBlade/microbalde/TwinPro:
- help # выдать список команд
- list # выдать полное описание команд и их параметров
- ver
- команда '|' строка # фильтр вывода команды
- shell # интерактивный сеанс; в приглашении shell выводится IP-адрес, модель материнской платы, статус ACPI, потребляемая мощность, время,
тип прошивки, например: ASPD_T или X12 AST2600RoT
- prompt {username | ip | mb | acpi | power | fwver | time | all} {on | off} # управление текстом приглашения
- ch [IP-адрес [имя [пароль]]] # сменить сервер (клавиши "<" и ">" позволяют переключаться в списке);
список серверов запоминается и выводится командой ch без параметров
- hostrun {found | имя-хоста | имя-группы} команда # выполнить команду на всех найденных хостах или хостах группы
- hostrun curr команда # выполнить команду на всех серверах из списка ch
- find начальный-адрес конечный-адрес маска-сети # найти IPMI-устройства
- found [clear | copy ... | copyall | saveAs имя-файла | refresh] # выдать список найденных IPMI-устройств
- host {list | reload | add имя-хоста IP-адрес имя пароль | remove имя-хоста | rename старое-имя новое-имя |
group add имя-группы имя-хоста ...| group remove имя-группы | groume rename старое-имя новое-имя |
group addhost имя-группы имя-хоста ... | group removehost имя-группы имя-хоста ...} # ведение списка хостов и групп хостов
- exec имя-файла количество-раз секунд # выполнить команды из файла указанное число раз (0 - бесконечность) с задержкой
- failure # сообщения о проблемах
- sel {info | list | csv имя-файла | clear | time [YYYYMMDDhhmmss]} # работа с журналом SEL
- user {add индекс имя пароль {Administrator|Operator|User}| list | delete индекс | level индекс {Administrator|Operator|User} | test имя пароль |
setpwd имя пароль | enableType имя тип {0 | 1} }
- {vm | vmwa | vmw } команда # работа с виртуальными носителями для различных типов прошивки: status, log, floppy, iso, stop
- ipmi sensor # информация с датчиков
- ipmi power {up | down | softshutdown | reset [PXE] | cycle [интервал] | diag | bootoption индекс}
- ipmi acpi # статус ACPI
- ipmi lan {ip [адрес] | mac [адрес] | gateway [адрес] | netmask [маска-сети] | arp [on|off] | dhcp [enable|disable] |
vlan [{enable|disable} метка] | dns [первый-IP второй-IP] | protocol {0 | 1 | 2} | linkStatus} # получение информации или настройка сети
- ipmi { fru | fruw имя-поля значение | frubackup имя-файла | frurestore имя-файла}
# прочитать/записать данные о шасси, материнской плате и сервере (если их кто-то ввёл)
- ipmi oem clrint # сбросить датчик проникновения
- ipmi oem uid [on|off] # в этой утилите работа с UID осталась
- ipmi oem { gethostname | sethostname имя-хоста}
- ipmi oem { backupcfg имя-файла | restorecfg имя-файла} # в двоичном формате
- ipmi oem { getcfg имя-файла | setcfg имя-файла} # в текстовом формате (XML), но только настройки сети
- ipmi oem portService { http | https | ikvm | ssh | wsman | ssl } [порт] # узнать или поменять порт службы
- ipmi oem summary
- ipmi oem x10cfg ... # настройка BMC, надо оплатить лицензию
- ipmi reset
- ipmi fd {1 | 2 | 3} # сбросить настройки BMC
- ipmi ver
- ipmi {flash | flashw | flashr | flashh | flasha | flashrf} имя-файла [-cfg] [-sdr] [-ssl] [-backup] #
обновить прошивку BMC (для каждого типа прошивки своя команда! для X12 - flashrf)
- ipmi sessioninfo
- ipmi fan [режим] # посмотреть или установитть режим работы вентиляторов
- ipmi watchdog {info | set действие секунд-отсчёта интервал-секунд | reset } # действие: 0 - нет, 1 - сброс, 2 - отключение питания, 3 - цикл питания
- sc команда # выполнить команду Linux на локальном сервере
- pminfo # выдать информацию об устройствах PMBus (БП) - состояние, температура, скорость вращения вентиляторов, напряжение/ток/мощность на входе и выходе;
медленно
- psfruinfo # выдать информацию о состоянии БП
- psbbpInfo # выдать информацию о состоянии ИБП
- bbp ... # выдать информацию о состоянии ИБП и управление ИБП
- {ukvm | kvm | kvmw | kvmwa | kvmwx9} [-html5] # запуск графического окна KVM для различных типов прошивки (ukvm - автораспознавание); по умолчанию Java;
-html5 - запускает таб в текущем браузере
- nm {detecr | ver | cap | status [enable|disable] | stat | resetStat | pstate [P-состояние] | tstate [T-состояние] | ptstate | alert | ...}
# опознание менеджера питания узла (Intel Dynamic Power Node Manager) 1.5 (X8), версии, возможностей, соcтояния, статистики потребления,
P и T состояния, управление рассылкой извещений по SNMP, управление политиками
- nm20 {nmSDR | deviceID | reset | reset2Default | updateMode | powerOff | selfTest | mode | listImagesInfo | oemGetPower |
oemGetTemp | команды-управления-политиками | statistics режим домен-питания политика |
resetStatistics режим домен-питания политика | alert адрес | pstate [P-состояние] | tstate [T-состояние] | ptstate |
cpuCore [число-ядер] | totalPower домен-питания [бюджет] | cpuMemTemp | hostCpuData} #
управление менеджером питания версии 2.0 и ME, разнообразная статистика потребления: вся система, ЦП, память в разных режимах и при разной политике;
можно узнать и ограничить число ядер, задать ограничение на потребление (общее, ЦП, память);
nm20 sensor
nm20 sensor
Id | Sensor | Reading | Low Limit | High Limit |
------ | --------- | ------- | --------- | ---------- |
8 | PCH Thermal Threshold | 24C/75F | 2C/36F | 95C/203F |
32 | CPU 0 Thermal Control Circuit Activation | 0 % | 0 % | 0 % |
33 | CPU 1 Thermal Control Circuit Activation | 0 % | 0 % | 0 % |
52 | CPU 0 Memory Throttling | 0 % | 0 % | 0 % |
53 | CPU 1 Memory Throttling | 0 % | 0 % | 0 % |
162 | Volumetric Airflow | N/A | N/A | N/A |
163 | Inlet Airflow Temperature | 20C/68F | 0C/32F | 247C/477F |
189 | Outlet Airflow Temperature | N/A | N/A | N/A |
173 | Total Chassis power | N/A | N/A | N/A |
190 | Core CUPS | 0 % | N/A | N/A |
191 | IO CUPS | 0 % | N/A | N/A |
192 | Memory CUPS | 0 % | N/A | N/A |
78 | PSU 0 AC Power Input | N/A | N/A | N/A |
86 | PSU 0 Temperature | N/A | N/A | N/A |
164 | PSU 0 DC Power Output | N/A | N/A | N/A |
------ | --------- | ------- | --------- | ---------- |
28 | CPU 0 Thermal Status | Normal |
29 | CPU 1 Thermal Status | Normal |
36 | CPU 0 T-Control | 10 |
37 | CPU 1 T-Control | 10 |
48 | CPU 0 T-JMAX | 99 |
49 | CPU 1 T-JMAX | 99 |
102 | PSU 0 Status | N/A |
nm20 summary
Node Manager Policy: Not set
Total Power Budget: Not set
DCMI Power Limit: Disabled or not set
CUPS Policy: Not set
CPU Information
+------------------------------------+
| P-State| T-State| Max Allowed Cores|
+====================================+
| 0/16| 0/15| 36/36|
+------------------------------------+
Power Usage
+------------------------------------+
|Domain | Usage (W)|
+====================================+
|Entire platform | 463|
+------------------------------------+
|CPU subsystem | 229|
+------------------------------------+
|Memory subsystem | 29|
+------------------------------------+
CUPS Utilization
+------------------------------------+
|Domain | Usage (%)|
+====================================+
|Core | 0|
+------------------------------------+
|Memory | 0|
+------------------------------------+
|IO | 0|
+------------------------------------+
- nm30 {cupsCap | cupsData| cupsConfig | cupsPolicy | cupsCore | cupsIO | cupsMem}
- nm40 {getTurboSyncRatio | setTurboSyncRatio |
- dcmi find начальный-адрес конечный-адрес маска-сети # найти DCMI-устройства
- dcmi cap # соответствие DCMI
- dcmi powerStatus
- bios # обновление BIOS, надо оплатить лицензию
- sol [activate | deactivate | window | key {linux|windows} | bitrate [9.6|19.2|38.4|57.6|115.2]] # доступ к текстовой консоли, выход по F12
- mg ... # управление списками хостов
- task ... # управление фоновыми задачами
- nodekey list # управление лицензиями (SFT-OOB-LIC)
- rsc имя-файла.png # сделать снимок экрана
- rko имя-файла # послать последовательность нажатий на клавиши через виртуальную клавиатуру; [Shift], [Ctrl+v]..., [Enter], ..., [Delay=5s]
- mel {list [от до] | download имя-файла | clear} # работа с журналом BMC
- hwinfo
- redfish { version | eventService alert list | redfish eventService smtp list | redfish eventService snmp list | redfish ipctrl list}
# часть функций перенесена под использование с Redfish
redfish firmwareInventory info
Name | Version
---- | -----
BMC | 01.01.46
BMC Backup | 01.01.24
BMC Golden | 01.01.24
BMC Staging | 01.01.46
BIOS | BIOS Date: 07/06/2023 Ver 1.6
BIOS Backup | BIOS Date: 07/11/2022 Ver 1.4
BIOS Golden | BIOS Date: 07/11/2022 Ver 1.4
BIOS Staging | BIOS Date: 07/06/2023 Ver 1.6
CPLD Motherboard | F1.00.09
BIOS ME | 4.4.4.500
NIC1 System Slot4 |
NIC2 System Slot6 |
NVMeController1 | 01
Power supply 1 | 2.1
Power supply 2 | 2.1
- redfish biosConfiguration ... # требуется лицензия SFT-DCMS-single
IPMIView - графический вариант утилиты для работы с IPMI 1.5 и 2.0 по сети (жалкое подобие текстовой утилиты ;).
Установка производится копированием каталога, прикладывается своя копия Java.
Также позволяет работать как с отдельными серверами, так и с их группами.
Имеются версии под Android и iOS.
Запуск: java -jar IPMIView20.jar.
SuperDoctor 5 (SD5 5.18.0) - наконец-то имеется версия под Linux, но это не тот SuperDoctor, что был ранее.
Работает как агент на сервере от SuperMicro.
Позволяет мониторить оборудование (не только сенсоры IPMI, но и SMART, ошибки памяти, RAID и т.д.) и ОС.
Для локального использования имеется утилита командной строки (sdc) или вебинтерфейс (порт 8444), дополнение для сервера SNMP (MIB прилагается).
Умеет посылать извещения по email или SNMP, имеется совместимость с расширениями Nagios.
Может использоваться как агент SSM (порт 5333, 5666 или 5999).
Написан на Java, весь состоит из дополнений (моодулей).
Астролябия... Не возникло желания попробовать. Данные можно извлечь по IPMI или SNMP прямо из BMC (количество ошибок памяти?).
А для мониторинга есть zabbix.
TAS 1.8.0 (Thin-Agent Service) - агент в виде сервиса init.d или systemd.
Имеются версии под Linux, Windows и FreeBSD.
Обеспечивает BMC дополнительной информацией: ОС и версия, настройки сети, загрузка ЦП и памяти и сети, структура блочных устройств, SMART.
Использует ethtool, openipmi, smartctl, storcli, mdadm, nmcli, net-tools, lsscsi, lsblk, sas3ircu, pciutils.
Установка в виде install.sh - ставит пакеты с ключом "-y".
Не использовал.
Redfish (Redfish Scalable Platforms Management API) -
новейший интерфейс управления в дополнение к недоделанным SNMP, IPMI, DCM и др.
Используется протокол HTTP/HTTPS с использованием методов GET (получение информации об объекте или коллекции),
PATCH (внесение изменений), PUT (замена объекта), POST (создание объекта или действие), DELETE.
Результат выдаётся в формате JSON ((JavaScript Object Notation).
Требуется лицензия SFT-OOB-LIC.
Для аутентификации может использовать базовая аутентификация или аутентификация сессии Redfish (до 16 сессий одновременно;
изменение времени сессии методом PATCH: "https://адрес/redfish/v1/SessionService Payload: {"SessionTimeout": 50}";
закрытие сессии методом DELETE: "https://адрес/redfish/v1/SessionService/Sessions/номер-сессии").
Например, список прошивок: "wget --auth-no-challenge --http-user=имя --http-password=пароль --no-check-certificate https://адрес/redfish/v1/UpdateService/FirmwareInventory"
(посмотреть можно в браузере переименовав файл в FirmwareInventory.json).
Некоторые запросы (надо предварять "https://адрес/"):
SDO (Super Diagnostics Offline) - диагностика сервера без установленной ОС.
Текстовый и графический режим. Возможен удалённый запуск с помощью SMCIPMITool или SSM (одновременное тестирование нескольких серверов).
Локальный запуск: положить в UEFI раздел, загрузиться в UEFI Shell и запустить SuperDoctor.efi, в результате будет создан каталог
SuperDiag_имяплаты_серийныйномер_время с результатами .html.
Прерывания предусмотрены (^C), но не работают.
У меня зависает на /ci и /dti и /dgi. Нельзя запускать тест сетевого контроллера, если сеть не сконфигурирована в UEFI.
Проблемы с диагностикой памяти. Множество тестов завершается с сообщением "unsupported".
Программе с такими глюками нельзя доверять диагностику.
Ключи:
- /quick или /full или /custom
- /gui # реально требуется мышка, текстовый интерфейс ужасен
- /ca # собрать всю информацию
- собрать информацию: /cst - система, /cbs - BIOS, /cm - память, /cpc - PCIe, /cc - ЦП, /cd - дисплей, /cu - USB, /ch - блочные устройства, /cr - raid,
/cps - БП, /css- датчики, /ci - BMC, /cbp - дисковая полка, /csr - последовательный порт, /cg - ГПУ
- /dta # детектировать всё
- детектировать: /dti - BMC, /dtc - ЦП, /dtm - память, /dth - блочные устройства, /dtr - RAID, /dtn - сеть, /dtu - USB, /dtd - дисплей,
/dtpc - PCIe, /dtps - БП, /dtf - вентиляторы, /dtbp - дисковая полка, /dtsr - последовательный порт, /dtg - ГПУ
- диагностировать: /dgbs - BIOS, /dgc - ЦП, /dgm - память, /dgh - блочные устройства, /dgn - сеть, /dgpc - PCIe, /dgps - БП, /dgf - вентиляторы,
/dgi - BMC, /dgsr - последовательный порт, /dgu - USB
- /dgh $dlst # не выполнять долгое самотестирование блочных устройств
SUM (Supermicro Update Manager) - утилита командной строки мониторинга, управления и настройки BIOS и BMC.
Выполнение локальное через KCS (UEFI, Linux, Windows, FreeBSD) и удалённое через IPMI.
Требуется лицензия SFT-OOB-LIC на управляемых узлах.
Возможно удалённое выполнение одновременно по списку серверов.
Для некоторых функций (CheckSystemUtilization) требуется TAS.
Минимальная установка состоит в копировании программы sum в /usr/local/sbin/,
но имя программы (sum), совпадающее с именем стандартной утилиты подсчёта контрольной суммы - отличное начало!.
Режимы работы:
- локальный интерфейс
- удалённый интерфейс: ключи -i, -u, -p
- локальный интерфейс на удалённом сервере: ключ -I
- удалённый интерфейс на нескольких серверах: ключ -l
- несколько локальнх интерфейсов на удалённых серверах: ключи -I и -l
Опции:
- -h --help # выдаёт краткое описание
- -v --verbose
- --version
- -i IP-адрес-или-имя-IPMI
- -u имя-IPMI
- -p пароль-IPMI
- -f файл-с-паролем
- -l имя-файла # каждая строка файла содержит имя или IP адрес узла и, возможно, имя и пароль;
создаются множественные файлы результатов (к имени файла-результата добавляется точка и адрес/имя узла)
и журналов в /var/log/supermicro/SUM (к имени файла-списка добавляется подчёркивание и время, подчёркивание и номер процесса);
на экран выводится суммарный результат; промежуточный результат можно получить по нажатию Enter
- -I {Redfish_HI | Remote_INB | Remote_RHI} # способ обращения к локальному интерфейсу на удалённом сервере
- --port RMCP:623,HTTPS:443 # HTTPS для Redfish
- --journal_level от0-до6
- --journal_path sum.log
- --rc_path .sumrc # параметры (имя = значение): journal_level, journal_path, confirm_timeout, udp_timeout, thread_count, multi_retry_count, https_port, certificate
- -c имя-команды
- --no_banner
- --no_progress
Некоторые команды (-c команда):
- QueryProductKey # установленные лицензии
- CheckOOBSupport # только OOB
- CheckAssetInfo # информация о сервере (тип, s/n - сервер, системная плата, ЦП, модуль памяти, сеть, PCIe), только OOB
- CheckSensorData [--showall] # только OOB
- CpuOnDemand
- ChassisIntrusion --action {1 | 2} # 1 - проверить, 2 - очистить
- GetFruInfo [--showall]
- ChangeFruInfo --item тип --value значение
- UpdateBios ...
- GetDefaultBiosCfg --file имя-XML-файла # настройки по умолчанию и формат меню (значения в Setting); кодировка ISO-8859-1 (Latin1)
- GetCurrentBiosCfg --file имя-XML-файла # настройки текущие и формат меню (значения в Setting)
- ChangeBiosCfg --file имя-XML-файла [--reboot] [--skip_unknown] [--skip_bbs] [--post_complete] #
изменить настройки BIOS, post_complete - ждать завершения POST; имеется имитатор BIOS Setup - TUI
- LoadDefaultBiosCfg [--reboot] [--post_complete] [--clear_bios_eventlog]
- GetDmiInfo --file имя-файла
- ChangeDmiInfo --file имя-файла [--reboot] [--post_complete] # необходимо увеличить номер версии
- BiosRotManage --action 1 # обязательно: "-I Redfish_HI -u имя -p пароль"; управление RoT; 1 - получить информацию, 2 - поменять золотую версию, 3 - восстановить;
хочет Host Interface (usb); для восстановления необходима лицензия SFT-DCMS-SINGLE
- GetScpInfo # обязательно: "-I Redfish_HI -u имя -p пароль"; хочет Host Interface (usb)
- UpdateBmc ...
- GetBmcCfg --file имя-XML-файла # текущие настройки BMC; пароли не выводятся, а SNMP комьюнити выводятся; значения в Configuration
- ChangeBmcCfg --file имя-XML-файла [--restore] [--skip_unknown] # необходимо установить Action в Change
- LoadDefaultBmcCfg [--reboot] [--clear_user_cfg] [--preserve_user_cfg] [--load_unique_password] [--load_default_password]
# --load_default_password устанавливает любимый нами пароль ADMIN
- BmcRotManage --action 1 # обязательно: "-I Redfish_HI -u имя -p пароль"; управление RoT; 1 - получить информацию, 2 - поменять золотую версию, 3 - восстановить;
хочет Host Interface (usb); для восстановления необходима лицензия SFT-DCMS-SINGLE
- TimedBmcReset {--delay секунд | --immediate} # сброс BMC; не работает на X12
- GetEventLog --file имя-файла # SEL
- ClearEventLog [--clear_bmc_eventlog] [--clear_bios_eventlog]
- GetMaintenEventLog --file имя-файла # MEL
- ClearMaintenEventLog
- LocateServerUid --action {1 | 2 | 3} # 1 - узнать состояние, 2 - включить, 3 - выключить
- GetSystemCfg --file имя-XML-файла # текущие настройки BIOS и BMC
- ChangeSystemCfg --file имя-XML-файла [--reboot] [--skip_unknown] [--skip_bbs] [--post_complete] [--precheck]
- RedfishApi [-I Redfish_HI] --api адрес-запроса --data тело-запроса --request {GET | POST | PATCH} [--retry число] --file результат -v # а где DELETE?
-
- ManageRHI --action {1 | 2} [--type 0 | 1] # управление Host Interface (usb); 1 - есть соединение, 2 - создать соединение; тип 0 - RNDIS, 1 - CDC_ECM
- GetSataInfo # только OOB
- GetNvmeInfo
- ControlNvme --action {Locate | StopLocate | Insert | Remove } --dev_id номер-контроллера --group_id номер-группы --slot номер
- GetPsuInfo # очень медленно, почему-то не видит второй вентилятор
PWS Module Number: PWS-1K68A-1R
PWS Serial Number: P1K6ACM04KB0154
PWS Module Revision: 2.1
PMBus Revision: 0x22
Status: [STATUS OK](00h)
AC Input Voltage: 236.00 V
AC Input Current: 1.26 A
DC 12V Output Voltage: 12.22 V
DC 12V Output Current: 22.34 A
Temperature 1: 26 C
Temperature 2: 34 C
Fan 1: 1968 RPM
Fan 2: N/A
DC 12V Output Power: 273 W
AC Input Power: 289 W
...
- UpdatePsu --file прошивка --address адрес-slave
- GetPowerStatus
Managed system................localhost
Power status..............On
- SetPowerAction --action от0-до5 --interval секунд --post_complete #
0 - включить, 1 - выключить, 2 - цикл питания, 3 - сброс, 4 - мягкое отключения, 5 - перезагрузка
- GetUsbAccessMode # только локально
- SetUsbAccessMode --panel {front | rear} {--enable | --disable} # только локально
- GetTpmInfo
- GetCpldInfo # только OOB
- GetBackplaneCpldInfo
Backplane CPLD information
==========================
Managed system..........................service0154
[Backplane 0]
Backplane Model.................BPN-SAS3-846EL1-N8
Backplane CPLD ID...............0031
Backplane CPLD Revision.........01
SPM (Supermicro Power Manager) позволяет управлять потреблением энергии с помощью Intel Node Manager ((Intel DCM)).
Требует лицензии SFT-DCMS-SINGLE или SFT-SPM-LIC.
SMM (Supermicro Server Manager) - суперастролябия с использованием IPMI и Redfish. Требуется SFT-DCMS-SINGLE на каждый узел.
Настройка BIOS/UEFI (выжимаем максимум, руководство по системной плате на удивление подробно, но коды POST вынесены в отдельную книгу)
- дата и время (UTC)
- Advanced
- Boot Feature: отключить Quiet Boot, отключить Wait for F1 if error, включаться при возврате питания, попытка мягкого отключения по нажатию клавиши Power
- CPU: отключить HT, включить Extended APIC, включить Intel VT, выключить TME и SGX;
Power: Custom, Os Controlled, SpeedStep (P-State), EIST HW_ALL, Turbo Mode, Hardware P-States Disable?,
C-States и C1E выключить, Package C-State C0/C1?
- Chipset: почти всё по умолчанию (ничего не понимаю ;), выключить ADDDC Sparing?,
включить Intel VT-d, выключить Intel VMD (иначе устройство недоступно напрямую)
- SATA: нет тут ничего
- sSATA: включить, AHCI, SSD
- PCIe: включить SR-IOV, VGA Onboard, Video UEFI, все OpROM (кроме набортной сети там, где она не используется?)- UEFI
- Super IO, Console: COM1 не должен быть перенаправлен
- ACPI: NUMA
- Network: оставить только IPv4 PXE
- SMCI KMS, HTTP Boot, TLS, KMIP: как это выключить совсем?
- отключить конфигурацию сетей (это ненужный нам для сетевой загрузки сетевой стек)
- SMBIOS Event Logs: не стирать; записывать загрузки; ещё здесь есть управление слишком частыми сообщениями (по умолчанию - 1 раз в 60 минут)
- BMC: не стирать SEL, сеть в режим Dedicated, IPv4 DHCP, без VLAN
- Security: руки прочь!
- Boot: UEFI (сразу сохранить и перезагрузиться), отключить Legacy, последовательность: сеть, диск, UEFI Shell
- сохранить как User Defaults
Настройка BMC (нстройки системы: вентиляторы в режим Heavy IO)
- Account
- настройки блокировок при неудачном входе
- настройки пользователей (до 16 штук), тип: администратор, оператор, пользователь,
строгие правила паролей - символы не менее чем из 3 классов (прописные буквы, строчные буквы, цифры, знаки),
"ipmitool user set password" также не даёт установить "плохой" пароль
начальный пароль для ADMIN не соответствует правилам
- настройка каталогов (требуется лицензия DCMS)
- Notification (в 1.3.10 при каждом сохранении параметров сеанс прерывается)
- Alerts: включить, протокол, уровень, тип события, адрес, тема, сообщение; имеется кнопка тестирования
- SNMP: вообще, SNMPv2 (комьюнити для чтения, включает не только посылку trap, но и демон для запросов), SNMPv3
- syslog (только 1): включить, имя сервера, порт; сюда идут теже сообщения, что и в MEL
- SMTP: IP адрес, порт, StartTLS, без аутентификации, адрес отправителя
- Network (в 1.3.10 при каждом сохранении параметров сеанс прерывается)
- Network
- IPv4: включить, DHCP включая DNS1 и DNS2)
- IPv6: выключить
- имя хоста
- MAC адрес (требуется лицензия, при смене сбрасываются лицензии)
- VLAN
- тип интерфейса: выделенный, разделяемый, аварийный
- порт RCMP: 623 (параметр удалён в версии 1.3.1)
- параметры выделенного порта
- сертификаты SSL (сертификаты и приватные ключи для BMC)
- порты: веб (40 и 443), iKVM (5900), виртуальный носитель (623), SSH (22), SNMP (161)
- сетевой фильтр (до 10 правил)
- SSDP (Simple Service Discovery Protocol): выключить
- LLDP: выключить (параметр добавлен в версии 1.3.1)
- Virtual Media
- BMC
- время: включить NTP, часовой пояс +3 (включение часового пояса сразу истекает время сессии),
IP адрес сервера NTP1, IP адрес сервера NTP2, без летнего времени
- динамический DNS
- SMC RAKP (Remote Authenticated Key-Exchange Protocol): выключить, чтобы не мешала ipmitool
- управление KCS (права пользователя дорвавшегося до KCS): Administator (?)
- IPMI Configuration: сохранить (save_config.bin, бинарный формат), восстановить
- Host Interface (usb0): выключить
- System Lockdown (требуется лицензия DCMS): блокировка от изменений настроек BIOS и BMC
- время веб сессии: 30 минут
|
|
Bog BOS: hardware: Краткое описание имеющихся материнских плат
|
Copyright © 1996-2025 Sergey E. Bogomolov; www.bog.pp.ru