Последнее изменение файла: 2017.10.20
Скопировано с www.bog.pp.ru: 2024.04.19

Bog BOS: kdump

kdump позволяет при аварийном завершении работы ядра сохранить содержимое памяти (/proc/vmcore) и dmesg для последующего анализа.

Использует

• механизм kexec, который позволяет загрузить новое ядро (второй экземпляр того же самого ядра для архитектур с поддержкой перемещаемого ядра, например, i386 и x86_64; другой initrd/initramfs, создаваемый утилитой mkdumprd, mkinitrd.8), не используя BIOS и не стирая память предыдущего ядра
• сервис kdump
• утилиты исследования дампа crash или gdb, необходим пакет kernel-debuginfo

Инициируется в случае паники ядра, нажатию Alt-SysRq C, сторожа NMI (NMI_WATCHDOG, необходимо позаботиться, чтобы необходимый модуль загружался в новое ядро, иначе сторож сбросит и его), при включённой панике (/proc/sys/kernel/panic_on_oops), нажатию клавиши NMI (/proc/sys/kernel/unknown_nmi_panic), см. также /proc/sys/kernel/panic_on_warn.

При установке kdump можно включить ключом inst.kdump_addon=on (по умолчанию?!) или в kickstart (начиная с RHEL 7.1). Установить вручную можно с помощью пакета kexec-tool (графический интерфейс в пакете system-config-kdump). Не рекомендуется Intel IOMMU до RHEL 7.4 (?!).

Запустить сервис kdump

• RHEL6: "chkconfig --level 345 kdump on; service kdump start", см. также /etc/sysconfig/kdump (KDUMP_COMMANDLINE_APPEND)
• RHEL7: "systemctl enable kdump.service; systemctl start kdump.service", см. также /etc/sysconfig/kdump (KDUMP_COMMANDLINE_APPEND) и /etc/systemd/system/multi-user.target.wants/kdump.service (использует утилиту kdumpctl для включения и выключения интерфейса, kdumpctl.8: start, stop, status, restart, showmem)

Проверить готовность можно в /sys/kernel/kexec_crash_loaded.

Для работы второго ядра резервируется часть оперативной памяти - для архитектуры x86_64 резервируется 160 MB и по 2 бита на каждую страницу памяти (страница - 4 КиБ), т.е. 224 МБ для сервера с 1 ТиБ ОП, размер задаётся опцией загрузки ядра

crashkernel={auto|размер[@смещение]}

При тестировании (CentOS 7.4) оказалось что автоматически памяти выделяется маловато:

CentOS 6.9
Found 137MB of memory at 48MB for crashkernel auto 
Reserving 137MB of memory at 48MB for crashkernel (System RAM: 132096MB)
crash memory driver: version 1.1

CentOS7.4
Reserving 164MB of memory at 656MB for crashkernel (System RAM: 65500MB)

echo 1 > /proc/sys/kernel/sysrq
echo c > /proc/sysrq-trigger

Out of memory: Kill process systemd-udevd
     и дальше всё плохо

Поменял в /etc/default/grub "crashkernel=auto" на "crashkernel=224M" и пересобрал grub.cfg: "grub2-mkconfig -o /boot/grub2/grub.cfg"

Reserving 224MB of memory at 608MB for crashkernel (System RAM: 65500MB)
crash memory driver: version 1.1

Настройки (/etc/kdump.conf, kdump.conf(5), только 1 направление складирования (рекомендуется раздел или выделенная файловая система), раздел можно указывать в виде явного указания или LABEL=метка или UUID=идентификатор, файловые системы должны быть описаны в /etc/fstab, после изменения необходимо смонтировать файловую систему и перезапустить сервис kdump - перезаписывает в initrd):

• default {reboot | halt | poweroff | shell | dump_to_rootfs} # по умолчанию - reboot; что делать при неудаче; dump_to_rootfs - записать дамп в корневую с точки зрения initramfs (dracut) файловую систему
• path путь # по умолчанию - /var/crash, складировать полученный дамп ядра в указанный каталог указанного устройства, каталог существовать в момент запуска сервиса kdump
• raw раздел # копировать /proc/vmcore в указанный раздел блочного устройства командой dd
• nfs имя-сервера:ТочкаМонтирования # монтировать файловую систему NFS и копировать /proc/vmcore в ТочкаМонтирования/путь/ИмяХоста-Дата/, DNS работает, требуются права на запись для root (или nfsnobody), опции монтирования можно передать через "dracut_args --mount ..."
• ssh пользователь@сервер # копировать обработанный (flattened) /proc/vmcore с помощью scp в пользователь@сервер:путь/ИмяХоста-Дата/, DNS работает
• sshkey путь # по умолчанию - /root/.ssh/kdump_id_rsa, рекомендуется выделенный пользователь со входом по ключу с ограничениями
• тип-файловой-системы раздел # "mount -t тип-файловой-системы ТочкаМонтирования", копировать /proc/vmcore в ТочкаМонтирования/путь/Дата/
• core_collector команда параметры # по умолчанию - "makedumpfile -l --message-level 1 -d 31"
• kdump_post программа | скрипт # запускается после создания дампа, первым параметром - статус core_collector
• kdump_pre программа | скрипт # запускается до создания дампа
• dracut_args опции #
• extra_bins список-полных-путей # дополнительные программы для включения в initrd для kdump, необходимые библиотеки включаются автоматически
• extra_modules список-модулей-ядра # дополнительные модули для включения в initrd для kdump

Настройка видео не поддерживается. Можно попробовать добавить ключ "--reset-vga" в командную строку запуска kdump (KDUMP_COMMANDLINE в /etc/sysconfig/kdump) или добавить модуль vga15fb.ko в extra_modules.

Встроенный в initrd для kdump dracut требует монтирования корневой файловой системы, что может вызвать проблемы после сбоя. Можно подсунуть ему что-то безопасное.

Параметры утилиты сжатия makedumpfile (makedumpfile.conf(5), сжимает /proc/vmcore и фильтрует ненужное в формате kdump-compressed для утилиты crash или ELF для gdb и crash)

• --help
• -l # сжатие LZO
• -c # сжатие zlib
• --message-level уровень-болтливости # битовая маска: 1 - индикатор прогресса, 2 - общие сообщения, 4 - сообщения об ошибках, 8 - отладка, 16 - отчёт
• -d уровень-фильтрации # битовая маска: 1 - нули, 2 и 4 - страницы кеша, 8 - страницы данных пользовательских процессов, 16 - свободные страницы
• -E # формат ELF, сжатие не поддерживается
• -f # перезаписать файл с дампом
• -F # в формате flattened на stdout, необходим для raw и ssh
• -R # преобразовать дамп из формата flattened с stdin в нормальный
• --num-threads число # параллельное сжатие, требуется поддержка disable_cpu_apicid во втором ядре, требуется установить nr_cpus в /etc/sysconfig/kdump, требуется увеличить размер резервируемой памяти
• --dump-dmesg # извлекает dmesg в файл
• --mem-usage /proc/kcore # выполняется в первом ядре, анализ размер данных при различной фильтрации

Опробовал в CentOS 7.4 на примере NFS (писать в локальную файловую систему после краха ядра - плохая мысль; можно выделить специальный логический том с ext4, но не везде есть место; ещё лучше ssh с выделенным пользователем)

при загрузке crashkernel=224M

/etc/kdump.conf:
nfs сервер:/точка-монтирования
path kdump # создана заранее 777t, осторожно - чувствительная информация
core_collector makedumpfile -l --message-level 7 -d 31
default reboot

systemctl restart kdump
systemctl is-active kdump # /sys/kernel/kexec_crash_loaded

echo 1 > /proc/sys/kernel/sysrq
echo c > /proc/sysrq-trigger

на NFS сервере в каталоге kdump появился каталог 192.168.175.136-2017-10-19-18:45:20 с файлами vmcore (менее 1ГБ) и vmcore-dmesg.txt

Для анализа необходимы пакеты kernel-debuginfo и kernel-debuginfo-common то же самой версии (2 ГБ, для создания обычного дампа не требуются).

Запуск crash (пакет crash, crash.8):

crash /usr/lib/debug/lib/modules/.../vmlinux  .../vmcore

      KERNEL: /usr/lib/debug/lib/modules/3.10.0-693.2.2.el7.x86_64/vmlinux
    DUMPFILE: /share4s/kdump/192.168.175.136-2017-10-19-19:52:27/vmcore  [PARTIAL DUMP]
        CPUS: 8
        DATE: Thu Oct 19 19:52:05 2017
      UPTIME: 00:02:22
LOAD AVERAGE: 0.49, 0.48, 0.21
       TASKS: 383
    NODENAME: x136.cs.niisi.ras.ru
     RELEASE: 3.10.0-693.2.2.el7.x86_64
     VERSION: #1 SMP Tue Sep 12 22:26:13 UTC 2017
     MACHINE: x86_64  (3500 Mhz)
      MEMORY: 64 GB
       PANIC: "SysRq : Trigger a crash"
         PID: 3417
     COMMAND: "bash"
        TASK: ffff88084cfaaf70  [THREAD_INFO: ffff88084da94000]
         CPU: 7
       STATE: TASK_RUNNING (SYSRQ)

Основные возможности

• help
• exit
• log # вывести dmesg в more, хотя он лежит в файле vmcore-dmesg.txt рядом с vmcore
• bt [номер-процесса] # стек вызова
• ps # состояние процессов
• vm [номер-процесса] # состояние виртуальной памяти
• files [номер-процесса] # открытые файлы, вместо имён inode и dentry

• /usr/share/doc/kernel-doc-*/Documentation/kdump/kdump.txt
• /usr/share/doc/kexec-tools-*/kexec-kdump-howto.txt