|
Bog BOS: Linux с точки зрения системного администратора
|
Последнее изменение файла: 2024.04.01
Скопировано с www.bog.pp.ru: 2024.09.09
Bog BOS: Linux с точки зрения системного администратора
Основой любого дистрибутива является ядро Linux (некоторые даже
предлагают называть Линуксом только его ядро, а ядро с обслуживающими программами
предлагают называть GNU/Linux; если к GNU/Linux добавить прикладные программы,
то получится дистрибутив).
Официальные ядра нумеруются в виде: версия.модификация.ревизия.
Нечётные модификации (2.3, 2.5) предназначены исключительно для тестирования разработчиками,
чётные (2.2, 2.4, 2.6) - для обычного применения. Хотя лично я не рекомендую
использовать на сервере ядра с чётным номером модификации, но начальных
ревизий (2.6.0 - 2.6.5) - будут проблемы.
Разработчики дистрибутивов поставляют в своих продуктах
сильно модифицированные ядра. Например, Red Hat поставляет ядра модификации 2.4
с некотроми функциями из 2.6 (NPTL и некоторые другие). Так что, если какая-то программа
требует ядро 2.6, а у вас ядро 2.4, то ещё не всё потеряно... С другой стороны
многие "заплатки" улучшающие официальное ядро, неприменимы к ядрам из дистрибутива.
Времена, когда приходилось самостоятельно устанавливать
новое "свежеиспеченное" ядро, надеюсь уже прошли. Сейчас лучше положиться
на составителя дистрибутива. Однако, необходимость быть в курсе грядущих
изменений осталась.
Сайты, следящие за изменениями в ядре:
Что нового в 2.4:
Что нового в 2.6:
Обновление ядра вручную
Обновление ядра из rpm - старая школа
- подготовить все необходимые пакеты (скачать и положить в локальную директорию)
- на всякий случай сделать загрузочный диск
- rpm -Uvh kernel-utils-xyz kernel-headers-xyz kernel-source-xyz
- rpm -ivh kernel-xyz [kernel-ibcs-xyz] [kernel-pcmcia-cs-xyz]
- сделать новый initrd (только если при загрузке потребуется драйвер, сделанный в
виде модуля, современные rpm ядра делают это самостоятельно при установке)
- дополнить /etc/conf.modules (/etc/modules.conf)
- lilo -v или отредактировать /boot/grub/grub.conf
(современные rpm ядра делают это самостоятельно при установке)
- перезагрузиться (shutdown -r now)
Обновление ядра из rpm с помощью yum - новая школа
- предполагается, что имеется свой или чей-нибудь ещё репозитарий
yum для данного дистрибутива и клиент yum настроен на него
- yum update kernel*
- перезагрузиться (shutdown -r now)
Сборка ядра в CentOS7
- всё делаем в ~/rpmbuild под обычным пользователем
- mkdir -p ~/rpmbuild/{BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS}
- echo '%_topdir %(echo $HOME)/rpmbuild' > ~/.rpmmacros
- поставить пакеты: rpm-build, redhat-rpm-config, asciidoc, hmaccalc, perl-ExtUtils-Embed, pesign, xmlto, audit-libs-devel, binutils-devel, elfutils-devel, elfutils-libelf-devel, ncurses-devel, newt-devel, numactl-devel, pciutils-dedvel, python-devel and zlib-devel
- скопировать SRC пакет с vault
- установить его (не под root-ом)
- cd ~/rpmbuild/SPECS
- rpmbuild -bp --target=$(uname -m) kernel.spec
- исходники распакованы в ~/rpmbuild/BUILD/kernel.../linux...
kdump позволяет сохранить содержимое памяти (/proc/vmcore) и dmesg
при аварийном завершении работы ядра для последующего анализа.
Утилиты работы с модулями ядра module-init-tools обеспечивают автоматическую
загрузку необходимых модулей ядра 2.6 и более нового.
Сиволы "-" в именах и синонимов молчаливо заменяются на "_" и обратно при необходимости.
Утилита depmod создаёт описание зависимостей
между модулями - какой сервис (symbols), требуемый одному модулю, обеспечивается другим модулем -
читает модули в каталоге /lib/modules/версия-ядра, результат записывает в modules.dep в том же каталоге.
Каталог /etc/depmod.d содержит конфигурационные файлы (depmod.conf), управляющие порядком просмотра модулей.
Версию ядра и модуль можно указать явно в командной строке. Ключи:
- --all (читать все модули)
- --quick (читать только модули, более новые чем modules.dep)
- --basedir каталог (для обработки модулей, лежащих в нестандартном месте)
- --errsyms --filesyms System.map (выдавать сообщения о несуществующих символах)
- --dry-run
- --verbose
Утилита modinfo выводит информацию об указанном модуле: имя файла (-n), лицензия (-l), описание (-d), автор (-a),
от каких модулей зависит, версия, параметры (-p), синонимы.
Можно указать версию ядра (-k) и разделение полей нулями (-0) вместо переводов строки.
Утилита lsmod выводит список загруженных модулей (/proc/modules), также выводит размер,
счётчик использований и кем используется (к сожалению, только при использовании модулями).
Утилита insmod загружает указанный модуль. Можно явно указать имя файла и параметры.
Ошибки необходимо смотреть с помощью dmesg (если не случилось "kernel panic").
Утилита rmmod выгружает указанный модуль. Ключи:
- --verbose
- --force (требуется CONFIG_MODULE_FORCE_UNLOAD при сборке ядра; позволяет выгрузить используемый
или помеченный как недопустимый для выгрузки модуль)
- --wait (используемый модуль изолируется от новых использований и выгружается после освобождения)
- --syslog
Утилита modprobe загружает и выгружает указанные модули с учётом зависимостей из modules.dep
и настроек из /etc/modprobe.conf и /etc/modprobe.d/, а также из командной строки загрузки ядра в форме
имя-модуля.опция. Ошибки необходимо смотреть с помощью dmesg (если не случилось "kernel panic").
Можно указать параметры модуля. Ключи:
- --verbose
- --config /etc/modprobe.conf (MODPROBE_OPTIONS)
- --showconfig (собрать и показать конфигурацию - 20 тысяч строк)
- --dry-run
- --ignore-install (игнорировать команду install в конфигурации для указанного модуля)
- --ignore-remove (игнорировать команду remove в конфигурации для указанного модуля)
- --quiet
- --remove (выгрузить указанные модули и все модули, от которых они зависит, оставшиеся без использования)
- --wait (только с --remove; используемый модуль изолируется от новых использований и выгружается после освобождения)
- --force (удалить всю информацию о версии модуля и его зависимостях с надеждой на загрузку)
- --all (загрузить все модули, указанные в командной строке)
- --syslog
- --set-version версия-ядра
- --show-depends (выводит последовательность команд insmod для загрузки зависимостей, а также alias и install)
- --use-blacklist (использовать команды blacklist из конфигурации)
Настройки modprobe берутся из файла /etc/modprobe.conf и файлов *.conf в каталоге /etc/modprobe.d/.
Рекомендуется создавать отдельный файл для каждой ситуации дабы они не мешали друг другу.
Каждая строка содержит команду, пустые строки и строки, начинающиеся с "#", являются комментариями.
Символ "\" в конце строки является символом продолжения на следующей строке.
Команды:
- alias шаблон имя-модуля # задаёт синонимы для имён модулей, если имя загружаемого модуля соответствует шаблону, то
используется указанный справа модуль; нельзя делать синонимы синонимов;
синонимы могут быть встроены в сами модули - эта информация используется в последнюю очередь
- options имя-модуля параметр ... # при прямой или по зависимости загрузке модуля использовать параметры;
параметры модулей накапливаются по цепочке - modprobe, alias и options
- install имя-модуля команда ... # выполнить указанную команду вместо загрузки указанного модуля;
перед выполнением параметры записываются в переменную окружения CMDLINE_OPTS
- remove имя-модуля команда ... # выполнить указанную команду вместо выгрузки указанного модуля
- blacklist имя-модуля # игнорировать встроенные в указанный модуль синонимы
Утилиты работы с модулями ядра kmod обеспечивают автоматическую
загрузку необходимых модулей ядра 2.6 и более нового. Сделаны с использованием библиотеки libkmod (kmod-libs)
Сиволы "-" в именах и синонимов молчаливо заменяются на "_" и обратно при необходимости.
Утилита depmod создаёт описание зависимостей
между модулями - какой сервис (symbols), требуемый одному модулю, обеспечивается другим модулем -
читает модули в каталоге /lib/modules/версия-ядра, результат записывает в modules.dep (modules.dep.bin) в том же каталоге.
Также создаются список символов modules.symbols (modules.symbols.bin)
и список имён устройств modules.devname (для udev для создания файлов в /dev) в том же каталоге.
Каталог /etc/depmod.d (/usr/lib/depmod.d/*.conf, /run/depmod.d/*.conf) содержит конфигурационные файлы (depmod.conf),
управляющие порядком просмотра модулей.
Версию ядра и модуль можно указать явно в командной строке. Ключи:
- --all (читать все модули)
- --quick (читать только модули, более новые чем modules.dep)
- --basedir каталог (для обработки модулей, лежащих в нестандартном месте)
- --errsyms --filesyms System.map (выдавать сообщения о несуществующих символах)
- --errsyms --symvers (выдавать сообщения о несогласованных номерах версий с Module.symvers)
- --dry-run
- --verbose
- -w (выдавать предупреждения о версиях, двойных зависимостях и т.д.)
Утилита modinfo выводит информацию об указанном модуле: имя файла (-n), лицензия (-l), описание (-d), автор (-a),
от каких модулей зависит, версия, параметры (-p), синонимы.
Можно указать версию ядра (-k) и разделение полей нулями (-0) вместо переводов строки.
Утилита lsmod выводит список загруженных модулей (/proc/modules), также выводит размер,
счётчик использований и кем используется (к сожалению, только при использовании модулями).
Утилита insmod загружает указанный модуль. Можно явно указать имя файла и параметры.
Ошибки необходимо смотреть с помощью dmesg (если не получилось "kernel panic").
Утилита rmmod выгружает указанный модуль. Ключи:
- --verbose
- --force (требуется CONFIG_MODULE_FORCE_UNLOAD при сборке ядра; позволяет выгрузить используемый
или помеченный как недопустимый для выгрузки модуль)
- --wait (используемый модуль изолируется от новых использований и выгружается после освобождения)
- --syslog
Утилита modprobe загружает и выгружает указанные модули с учётом зависимостей из modules.dep.bin
и настроек из /etc/modprobe.conf и /etc/modprobe.d/*.conf (/lib/modprobe.d/*.conf, /run/modprobe.d/*.conf),
а также из командной строки загрузки ядра в форме
имя-модуля.опция и modprobe.blacklist=список-модулей.
Ошибки необходимо смотреть с помощью dmesg (если не случилось "kernel panic").
Можно указать параметры модуля. Ключи:
- --all (загрузить все модули, указанные в командной строке)
- --use-blacklist (использовать команды blacklist из конфигурации)
- --config /etc/modprobe.d (MODPROBE_OPTIONS)
- --showconfig (собрать и показать конфигурацию - 20 тысяч строк)
- --force (удалить всю информацию о версии модуля и его зависимостях с надеждой на загрузку)
- --ignore-install (игнорировать команду install в конфигурации для указанного модуля)
- --ignore-remove (игнорировать команду remove в конфигурации для указанного модуля)
- --dry-run
- --quiet
- --resolve-alias (вывести имена всех модулей, соответсвующих синониму)
- --remove (выгрузить указанные модули и все модули, от которых они зависит, оставшиеся без использования)
- --set-version версия-ядра
- --show-depends (выводит последовательность команд insmod для загрузки зависимостей, а также alias и install)
- --syslog
- --verbose
Настройки modprobe берутся из файла /etc/modprobe.conf и файлов *.conf в каталогах /etc/modprobe.d/,
/lib/modprobe.d/ и /run/modprobe.d/.
Рекомендуется создавать отдельный файл для каждой ситуации дабы они не мешали друг другу.
Каждая строка содержит команду, пустые строки и строки, начинающиеся с "#", являются комментариями.
Символ "\" в конце строки является символом продолжения на следующей строке.
Команды:
- alias шаблон имя-модуля # задаёт синонимы для имён модулей, если имя загружаемого модуля соответствует шаблону, то
используется указанный справа модуль; нельзя делать синонимы синонимов;
синонимы могут быть встроены в сами модули - эта информация используется в последнюю очередь
- options имя-модуля параметр ... # при прямой или по зависимости загрузке модуля использовать параметры;
параметры модулей накапливаются по цепочке - modprobe, alias и options
- install имя-модуля команда ... # выполнить указанную команду вместо загрузки указанного модуля;
перед выполнением параметры записываются в переменную окружения CMDLINE_OPTS; считается устаревшим
- remove имя-модуля команда ... # выполнить указанную команду вместо выгрузки указанного модуля
- blacklist имя-модуля # игнорировать встроенные в указанный модуль синонимы
- softdep имя-модуля pre: модуль ... post: модуль ... # опциональная зависимость указанного модуля;
модули, перечисленные после "pre:" загружаются до указанного модуля;
модули, перечисленные после "post:" загружаются после указанного модуля
Когда-нибудь наступят светлые дни, когда изготовители
оборудования будут сначала писать драйверы под Linux, а потом уж под
20 версий MS Windows. Но сейчас перед покупкой "железа" необходимо
предварительно проверить, есть ли под него драйверы для Linux. Крайне
желательно, чтобы эти драйверы входили в состав дистрибутива
(поставить драйвер самому можно - если он не требуется при установке
дистрибутива - но Вы узнаете много нового и интересного).
Для RedHat проверить наличие драйвера можно на
сайте компании.
К сожалению, производители оборудования очень любят выпускать разные
устройства под одним маркетинговым именем или одно и то же устройство
под разными. Так что доверять чужому опыту надо осторожно. Рекомендуется
поискать в телеконференциях как положительные, так и отрицательные отзывы.
Ссылки на списки оборудования, совместимого с Linux.
Память
decode-dimms.pl из пакета lm_sensors позволяет интерпретировать содержимое SPD.
EDAC (Error Detection and Correction)
- мониторинг ошибок памяти, состоит из модуля ядра edac_mc (k8_edac, e752x_edac, e7xxx_edac, edac_mc) и
пакета edac-utils.
Управление через /sys/devices/system/edac/mc/.
Отчёты с помощью утилиты edac-util из пакета edac-utils ("edac-util -v --report=full").
Для привязки ошибок к физическим модулям памяти можно использовать скрипт edac-ctl,
но материнская плата д.б. описана в /etc/edac/labels.db, а их там немного.
What are Machine Check Exceptions (or MCE)? (mcelog)
Расшифровка вывода /proc/meminfo
Что каждый программист должен знать о памяти (Ulrich Drepper, Перевод: Капустин С.В.)
ATA и SATA
ATA (IDE, EIDE, ATA33 и другие фирменные названия)
Краткие сведения
Конфигурация и получение информации о ATA дисках: hdparm и
dmraid.
Для нормальных устройств рекомендуется:
hdparm -c 1 -d 1 -m 16 # включить 32-битный режим, использование
DMA, обмен по 16 секторов
Получение информации от S.M.A.R.T. (Self Monitoring, Analysis and Reporting
Technology) для ATA (SATA) и SCSI (SAS, FC, iSCSI) устройств возможно
с использованием пакета smartmontools (ранее smartsuite):
- smartctl опции устройство # позволяет получить текущую информацию, запустить самотестирование и т.д.,
в RHEL 7.2 версия 6.2 (версия 6.3: поддержка AACRAID; версия 6.4: поддержка usbprolific);
кроме "стандартных" контроллеров AHCI поддерживаются RAID-контроллеры 3ware, HighPoint, Areca, HP Smart Array (cciss, hpsa, hpahcisr);
в качестве устройства можно указывать /dev/hdX, /dev/sdX, /dev/sgX (соответствие можно узнать по "lsscsi -g"),
/dev/disk/by-id/X (по серийному номеру или WWN),
/dev/disk/by-path/X (по адресу контроллера и устройства);
опции:
- --info (-i) # вывод информации об устройстве и его возможностях (модель, серийный номер, WWN, версия прошивки,
ёмкость, размер сектора логический и физический, скорость вращения, версия стандарта,
есть ли поддержка SMART и включена ли она)
- -i -n never # вывод информации об устройстве и его возможностях, а также текущий режим сохранения энергии
- --identify[=[w][nvb]] # очень подробная информация об устройстве и его возможностях (=wb)
- --scan # сканирование устройств, определение типа и вывод списка
- --scan-open # сканирование устройств, определение типа с реальным автодетектированием ("-d test") и вывод списка
- --quietmode={errorsonly|silent|noserial}
- --device=тип-устройства (-d) # явное указание типа устройства и канала:
- auto (автоопределение по имени устройства, типу контроллера, USB ID)
- test (автоопределение и попытка открыть устройство с проверкой результата, само действие не выполняется)
- ata
- scsi
- sat[,auto][,длина] # SAT (SCSI to ATA Translation, ANSI INCITS 431-2007, не путать с STP), длина команды может быть 12 или 16 байт
- usbcypress[,код команды] # переходник Cypress USB to PATA, можно сломать устройство неверным кодом команды трансляции (0x24)
- usbjmicron[,p][,x][,порт] # переходник JMicron USB to PATA/SATA; 48-битные ATA команды (например, "-l xerror") не туннелируются
(включается по ",x"); указание номера порта (0 или 1) необходимо для 2-дисковых устройств;
для старых Prolific PL2507/3507 необходимо указывать "-d usbjmicron,0", для новых - "-d usbjmicron,p"
- usbsunplus # переходник SunplusIT USB to SATA
- marvell # подключение SATA с через контроллер Marvell
- megaraid,номер-диска # подключение к контроллерам Avago (LSI) из серии MegaRAID (Intel SRCS28X, Dell PERC, LSI MegaRAID SATA300-8X,
LSI MegaRAID SATA150-6, LSI Logic MegaRAID 320-1, LSI Logic MegaRAID SAS 9266-8i.
не подходит к LSI SAS1078 Fusion-MPT), диски могут нумероваться непоследовательно и не с нуля;
в качестве устройства можно указывать любой /dev/sdX, подключённый к тому же контроллеру
- 3ware,номер-диска # подключение к контроллерам 3ware (/dev/tweX для серий 6000, 7000 и 8000; /dev/twaX для серии 9000;
/dev/twlX для серии 9750 (LSI))
- areca,номер-диска # подключение к контроллерам Areca SATA, в качестве устройства необходимо указывать соответствующий /dev/sgX
- areca,номер-слота/номер-ящика # подключение к контроллерам Areca SAS
- cciss,номер-диска # подключение к контроллерам HP Smart Array типа cciss, в качестве устройства необходимо указывать /dev/cciss/cXdX
- hpt,номер-контроллера/номер-канала/номер-порта # подключение к контроллерам HighPoint RocketRAID
- --nocheck={never|sleep|standby|idle} (-n) # не будить устройство, находящееся в указанном режиме сохранения энергии,
лучше явно указать тип устройства ключом "-d", иначе оно может быть разбужено в процессе автоопределения
- --smart={on|off} (-s) # online; непрерывное обновление атрибутов SMART, помеченных в колонке UPDATED как Always
- --offlineauto={on|off} (-o) # offline; регулярное обновление всех атрибутов SMART (из спецификации SFF-8035i 2.0);
атрибуты, помеченные в колонке UPDATED
как Offline в противовес Always, обновляются только в результате подобного тестирования ("--offlineauto=on" или "-t offline")
- --saveauto={on|off} (-S) # автосохранение значений атрибутов, режим не меняется при выключении питания
- --set=aam,{уровень|off} # AAM (Automatic Acoustic Management): 128 - самый тихий, 254 - самый шумный
- --set=apm,{уровень|off} # APM (Advanced Power Management): ниже 128 позволяют остановить мотор, выше 128 - только запарковать головки
- --set=lookahead,{on|off} # режим предварительного чтения
- --set=standby,{уровень|off|now} # таймер остановки мотора (IDLE) при отсутствии работы (таблица в стандарте), прочитать нельзя
- --set=wcache,{on|off} # кеширование записи
- --set=wcreorder,{on|off} # переупорядочивание кеша записи (не влияет на NCQ и LCQ)
- --set=rcache,{on|off} # кеширование чтения
- --get={all|aam|apm|lookahead|security|security-freeze|wcache|wcreorder|rcache}
- --all (-a) # вывод информации SMART (эквивалент "-H -i -c -A -l error -l selftest -l selective" для SATA)
- --xall (-x) # вывод информации SMART и прочей статистики (эквивалент "-H -i -g all -c -A -f brief -l xerror,error -l xselftest,selftest
-l selective -l directory -l scttemp -l scterc -l devstat -l sataphy" для SATA)
- --health (-H) # всё хорошо?
- --capabilities (-c)
- --attributes (-A)
- --format={old|brief|hex[,{id|val}]} (-f) # формат вывода атрибутов
- --log=тип-журнала (-l)
- error - журнал ошибок
- xerror[,количество-ошибок][,error] # расширенный журнал ошибок (для устройств более 128GiB)
- selftest # журнал самотестирования
- xselftest[,количество-ошибок][,selftest] # расширенный журнал самотестирования (для устройств более 128GiB)
- selective # журнал избирательного самотестирования
- directory # каталог журналов
- background # журнал фоновых сканирований
- scttemp # информация о температуре (SCT - SMART Command Transport) и график изменений
- scttempsts # температура: текущая, пределы в текущем сеансе, пределы по жизни, количество выходов за границы
- scttemphist # график изменения температуры
- scttempint,минут[,p] # очистка таблицы температур и установка интервала записи истории температуры
- scterc[,чтение,запись] # вывести значение и описание SCT Error Recovery Control: TLER для WD, CCTL для Hitachi, ERC для Seagate;
значения в десятых секунды; для RAID - "70,70"
- devstat[,страница] # статистика использования устройства (Hitachi, Intel), страница 0 - оглавление
- sataphy[,reset] # счётчики ошибок
- sasphy[,reset] # счётчики ошибок
- ssd # процент изношенности
- --vendorattribute (-v) # позволяет задать формат вывода атрибута (см. /usr/share/smartmontools/drivedb.h)
- --firmwarebug={none|nologdir|samsung|samsung2|samsung3|xerrorlba|swapid} (-F) # метод обхода ошибок прошивки
- --test=тип-теста (-t) # запуск теста
- offline # обновить значение всех атрибутов
- short # краткое самотестирование в фоновом режиме (читаемость и производительность, результат см. "-l selftest")
- long # полное самотестирование в фоновом режиме (читаемость и производительность, результат см. "-l selftest")
- conveyance # не повредили ли диск при транспортировке
- select,ПервыйБлок-ПоследнийБлок # тестирование до 5 интервалов логических блоков, max - номер последнего блока
- select,ПервыйБлок+КоличествоБлоков # тестирование до 5 интервалов логических блоков,
redo - предыдущее значение, next - следующий блок за предыдущим интервалом
- --captive (-C) # запуск теста в блокирующем режиме
- --abort (-X) # прервать тест не в блокирующем режиме
smartd # сервис периодической проверки состояния устройств (по умолчанию - каждые полчаса);
по умолчанию сканируются "/dev/hd[a-t]", "/dev/sd[a-z]", "/dev/sd[a-c][a-z]";
сообщает на syslog (LOG_INFO для изменений атрибутов, LOG_CRIT для проблем) и почту;
сигнал USR1 - проверить немедленно; сигнал HUP - перечитать конфигурацию; ключи (/etc/sysconfig/smartmontools):
- --help
- --configfile=/etc/smartmontools/smartd.conf
- --interval=секунд # по умолчанию 30 минут
- --logfacility=источник # daemon
- --quit=условие-завершения
- nodev # нет устройств для мониторинга или ошибки конфигурации при запуске, по умолчанию
- errors # нет устройств для мониторинга или ошибки конфигурации при запуске или чтении
- nodevstartup # аналогично nodev, но не останавливаться если устройств не осталось при изменении конфигурации
- never
- onecheck
- --warnexec=/etc/smartmontools/smartd_warning.sh
- --drivedb=/usr/share/smartmontools/drivedb.h
- --debug
В настройках smartd (/etc/smartmontools/smartd.conf или /etc/smartd.conf) каждая строка задаёт параметры обработки
[потенциального] устройства (комментарии начинаются с '#'), в первом поле указывается имя файла устройства
или строка DEVICESCAN (smartd пытается самостоятельно обнаружить все [P|S]ATA и SCSI устройства (/dev/hd[a-l] и /dev/sd[a-z]),
в сложных случаях не советую) или DEFAULT (задаёт директивы по умолчанию), остальные поля содержат директивы обслуживания устройства:
- -f # сообщать о падении нормализованного значения атрибута ниже предела
- -i атрибут # игнорировать падение указанного атрибута
- -p # сообщать об изменении нормализованного значения атрибута типа Prefail
- -u # сообщать об изменении нормализованного значения атрибута типа Usage
- -t # сокращение для "-p -u"
- -I атрибут # игнорировать изменение указанного атрибута
- -r атрибут[!] # при слежении за атрибутом сообщать "сырое" значение; '!' - при изменении нормализованного значения генерировать событие
- -R атрибут[!] # отслеживать изменения "сырого" значения атрибута; '!' - при изменении "сырого" значения генерировать событие
- -C атрибут[+] # сообщать о наличии секторов, ожидающих замены; для отключения "-C 0"; "+" - сообщать только об увеличении
- -U атрибут[+] # сообщать о наличии секторов, не прочитавшихся при автономном тестировании;
для отключения "-U 0"; "+" - сообщать только об увеличении
- -H # проверка общего статуса и извещение по syslog (LOG_CRIT)
- -l {error|xerror|selftest} # проверка увеличения счётчика ошибок
- -a # сокращение для "-H -f -p -u -l error -l selftest -C 197 -U 198"
- -W разница[,граница-предупреждения[,граница-аварийная]] # сообщать об изменении температуры или достижении предельного значения
- -d тип-устройства # см. описание --device=тип-устройства для smartctl; дополнительно типы ignore и removable
- -n {never|sleep|standby|idle}[,макс-пропущенных-проверок][,q] # не будить устройство, находящееся в указанном режиме сохранения энергии,
лучше явно указать тип устройства ключом "-d", иначе оно может быть разбужено в процессе автоопределения
- -o {on|off} # см. описание --offlineauto для smartctl
- -S {on|off} # см. описание --saveauto для smartctl
- -m список-адресов-email # кого извещать о проблемах
- -M способ-извещения
- once # одно сообщение о каждой проблеме (по умолчанию)
- daily # извещать 1 раз в день
- diminishing # удваивать интервал при каждом повторении, начиная с 1 дня
- test # для тестирования почтовой системы
- exec путь-к-программе # /etc/smartmontools/smartd_warning.sh;
использовать указанную программу вместо mail (устанавливаются переменные окружения
SMARTD_MAILER, SMARTD_DEVICE, SMARTD_DEVICETYPE (из директивы "-d"), SMARTD_DEVICESTRING (может содержать пробелы),
SMARTD_DEVICEINFO (одной строкой и содержит пробелы), SMARTD_FAILTYPE, SMARTD_ADDRESS (-m), SMARTD_MESSAGE (1 строка),
SMARTD_FULLMESSAGE, SMARTD_TFIRST (время первого сообщения), SMARTD_TFIRSTEPOCH (время первого сообщения),
SMARTD_PREVCNT (число повторений), SMARTD_NEXTDAYS (дней до следующего сообщения))
- -T {normal|permissive} # толлерантность к недостаткам реализации
- -F {none|nologdir|samsung|samsung2|samsung3|xerrorlba|swapid} # метод обхода ошибок прошивки
- -v формат-сырого-значения-атрибута # лучше положиться на БД устройств
/usr/lib/systemd/system/smartd.service - описание юнита сервиса smartd
/etc/sysconfig/smartmontools - ключи smartd при запуске сервиса
update-smart-drivedb - обновление БД устройств (предупреждает об известных проблемах с устройствами и прошивками;
задаёт формат вывода атрибутов); читает с http://sourceforge.net/p/smartmontools, пишет в /usr/share/smartmontools/drivedb.h)
Попытка горячей замены SATA диска не удалась, хотя оборудование позволяет
(и шасси, и
материнская плата).
То есть новый диск работает, но все параметры (в частности, размер) остаются от старого.
Перепробовал:
- echo "scsi remove-single-device 3 0 0 0" > /proc/scsi/scsi
- echo "0 0 0" > /sys/class/scsi_host/host3/scan
- echo 1 > .../device/delete (кстати, путает номер устройства ;)
SCSI
Краткие сведения
Конфигурирование SCSI-устройств: scsiinfo (scsiinfo, scsiformat, scsi-config).
Именование дисков: /dev/sdyN
Если драйвер конкретного SCSI-контроллера встроен в ядро (не модуль),
то параметры можно передавать через /etc/lilo.conf. Например, чтобы отключить
работу с очередями для устройств с идентификаторами 1 и 2, подключенных
к контроллеру ncr53c8xx, надо вставить строку:
append = "ncr53c8xx=tags:8/t1t2q1"
То же самое достигается после загрузки командой (если, конечно, удастся
загрузиться ;):
echo "settags 2 1" > /proc/scsi/ncr53c8xx/0
Если драйвер для SCSI-контроллера скомпилирован как модуль, то аналогичный
эффект достигается включением в /etc/conf.modules строки:
alias scsi_hostadapter ncr53c8xx
options ncr53c8xx ncr53c8xx=tags:8/t1t2q1
и не забыть сделать mkinitrd, если он необходим при загрузке.
Диски
Именование дисков: /dev/xxyN, где
- xx - либо hd (ATA), либо sd (SCSI, SATA, USB)
- y - номер диска
- ATA
- a - первый IDE диск
- b - второй IDE диск
- и т.д.
- SCSI
- a -первый SCSI диск
- b - второй SCSI диск
- и т.д.
- z
- aa
- ...
- N - номер раздела (от 1 до 4 - номера primary или extended разделов,
от 5 - номера логических разделов)
Linux может работать с таблицами разделов в формате MBR и GPT.
Работа с программным RAID и LVM.
Утилита badblocks из пакета e2fsprogs позволяет проверить диск
на "плохие блоки" (не поддерживает устройства более 16 ТБ - CentOS 5.5).
Утилита blockdev позволяет манипулировать блочными устройствами:
- --reread (перечитать таблицу разделов)
- --setro (перевести в режим read-only)
- --getro
- --setrw (перевести в режим записи)
- --setra секторов (установить размер буфера упреждающего чтения файла (за границу файла чтение не пойдёт);
аналог /sys/block/имя-устройства/queue/read_ahead_kb или /sys/block/имя-устройства/bdi/read_ahead_kb;
необходимо устанавливать для устройства, на котором смонтирована файловая система)
- --getra
- --getsize
- --flushbufs
Подготовка к эксплуатации диска с сектором 4 КБ
Мышки
Обязательно иметь мышь с тремя кнопками, иначе замучаешься тексты редактировать.
Настройка: mouseconfig. Для обычной старой последовательной мышки
с 3 кнопками подходит "Mouse System" или "Generic Serial Mouse (Microsoft
Serial)" без эмуляции 3ей кнопки. У меня одна и та же мышка Genius EasyMouse
(FCC ID: FSUGMZE3, а как их еще различать?) на одном компе работает только
в режиме MouseSystem, а на другом только как "Generic 3 button serial mouse".
Поддерживается работа USB мышек, имитирующих PS/2 (ImPS/2), например,
Microsoft Wheel Mouse Optical 1.1A USB (2 кнопки и колесико прокрутки,
Product=Microsoft 3-Button Mouse with IntelliEye(TM))
под видом Microsoft IntelliMouse (USB). При этом работа колесика прокрутки в X
имитируется нажатием виртуальных 4 и 5 кнопок (Option "ZAxisMapping" "4 5"),
при этом прокрутка работает во всех опробованных мною программах:
Mozilla, gvim, gnome-terminal, xchat, Gimp, xterm.
USB клавиатура (BTC USB Multimedia Keyboard 9000AU) работает
нормально (русские наклейки не совсем соответствуют, мультимедиа клавиши
не работают). Посмотреть код нажатой клавиши можно с помощью программ
xev и showkey.
многопортовая плата на базе Oxford Semiconducter OX16PCI
RPM: поиск, установка и управление пакетами программ
Установка дистрибутивов Red Hat
Примеры установок для различных версий и ситуаций (установщик anaconda):
Зависимости пакетов от библиотек и средств программирования.
gnumeric -> guile -> umb-scheme
kernelcfg, netcfg -> tkinter -> tix, python
tix -> tk -> tcl
Tclx и itcl никем не используются.
Особенности настройки различных версий Red Hat смотрите в примерах установок.
Документация
Консоль
Документация
-
пакет console-tools и документация из него (/usr/doc/console-tools* и man)
Предварительное замечание. ReHat заменила в 6.0 реализацию драйвера консоли
kbd на console-tools (потом обратно ;), так что старые рекомендации по русификации консоли
стали неприменимы.
Рекомендации данные здесь неприменимы к старым системам.
Если при установке RH 6.2 выбрать Russian/ru-yawerty, то все будет настроено
само собой (в частности, устанавливается LANG=ru_RU.KOI8-R - очень прикольно
смотрятся устаревшие переводы man-ов на русский).
в /etc/sysconfig/i18n
- LANG="ru_RU.KOI8-R"
- SYSFONT="cyr-sun16"
- SYSFONTACM="koi8-r"
Драйвер клавиатуры
Клавиатура генерирует сканкоды (scancode), которые преобразуются в коды
клавиш (keycode) с помощью таблицы преобразования, задаваемой
setkeycodes.
Коды клавиш преобразуются в символы с помощью таблицы keymap,
которая устанавливается
программой loadkeys. В RHL есть надстройка в виде kbdconfig,
которая позволяет выбрать keymap из списка, имеющихся в наличии (/usr/lib/kbd/keymaps/i386/qwerty).
Я использую ru-yawerty.kmap.gz (koi8-r, раскладка ЯВЕРТЫ, твердый
знак на подчеркивании, переключение по правому ALT). Имя ru-yawerty
заносится
в /etc/sysconfig/keyboard, который используется при загрузке из
/etc/rc.d/init.d/keytable.
Можно вызывать вручную: loadkeys ru-yawerty. Для работы обычных
8-битных (не UNICODE) программ этого достаточно.
Драйвер экрана
Разработчики нынешней версии ядра перешли на использование UNICODE (UCS2)
в драйвере консоли, поддержка национальных алфавитов отстала (во всяком
случае всякие FAQs, HOWTO и советы, оставшиеся от прошлых времен не помогают;
шрифты и таблицы перекодировок просто глючат). Механизм RHL 6.0 действует
так: при загрузке вызывается /etc/rc.d/init.d/keytable (там же встроена
поддержка клавиатуры), которая вызывает /sbin/setsysfont. setsysfont
в свою очередь выполняет (если есть) /etc/sysconfig/i18n, ожидая
что та определит переменные SYSFONT (имя файла со шрифтом, берется
из /usr/lib/kbd/consolefonts) и UNIMAP (имя файла с таблицей
соответствия, берется из /usr/lib/kbd/consoletrans). После чего
выполняет
consolechars -f $SYSFONT --sfm $UNIMAP
в качестве SYSFONT я беру koi8-8x16, в качестве UNIMAP - koi8-r.
Так что и клавиатура и экран работают в koi8-r и не надо ничего перекодировать
(в новой версии использование koi8-r не ломает таблички MidnightCommander,
в
RH 6.0 вместо русской буквы 'В' выводится тире с точками, в RH 6.2
- поправлено). Есть и другие шрифты (koi8-8x8, koi8-8x14, alt-8x8, alt-8x14,
alt-8x16, Cyr_a8x8, Cyr_a8x14, Cyr_8x16), но таблица UNIMAP есть только
для koi8-r. Иногда setsysfont (consolechars) не срабатывает с первого раза,
приходится повторять. В 2.2.12 вообще перестал работать
(клавиатура переключается, но вместо русских букв на экран выдается псевдографика,
а вместо псевдографики - русские буквы). В 2.2.14 работает
без проблем.
X11
Растровые шрифты. В принципе какой-то комплект входит в поставку,
но в RH 6.0 я взял более свежий с
kiarchive.
Встать в /usr/X11R6/lib/X11/fonts и распаковать. Появятся поддиректории
cyrillic/{75dpi|100dpi|misc}.
Шрифты из поставки можно удалить. В RH 6.2 я взял шрифты из дистрибутива.
Type1 шрифты. Взять с
kiarchive(pfb-шрифты).
А лучше взять шрифты вместе с pfm-метрикой в
gpi
(тогда fonts.dir и fonts.scale придется сделать самому). Можно еще взять
afm-метрику в
gpi.
Создать в /usr/X11R6/lib/X11/fonts/cyrillic поддиректорию Type1
и положить шрифты туда. Из fonts.dir-scale.add
сделать fonts.dir
и fonts.scale (не забыть добавить 16 первой строчкой). Шрифты в
формате pfa изготовляются из pfb-шрифтов программой pfbtops.
xfs. В RHL 6.0 все шрифты берутся от xfs (X font server).
Запускается в /etc/rc.d/init.d/xfs (по SIGHUP перезагружает конфигурационный
файл). Конфигурационный файл - /etc/X11/fs/config. Команда catalogue
определяет список директорий, из которых font server будет брать шрифты.
Вписать нужный cyrillic/...dpi в начало списка, затем cyrillic/misc, cyrillic/другойdpi,
cyrillic/Type1. Перезапустить xfs (/etc/rc.d/init.d/xfs stop; /etc/rc.d/init.d/xfs
start). Только не надо делать это при работающем X сервере, он этого не
любит.
locale. В XFree86 3.3. (X11R6) уже должен быть locale ru_RU.KOI8-R.
Если нет, то можно взять на chg.ru
(X11R5,
X11R6).
Чтобы его включить надо установить переменную LANG равной ru_RU.KOI8-R
(например, в ~/.bashrc). Я попробовал... Gnome явно пытается говорить по
русски, В заголовках окон у него это получается, а
вот в остальных местах он пытается использовать ISO5589-5, которого у меня
нет, пришлось отключить. В RH 6.2 (XFree86 3.3.6) русский язык уже
почти везде нормально смотрится (на этот раз кроме
заголовков окошек :).
Ввод. Правильный метод. Использование Cyrillic_* keysyms в XKB.
Возникают проблемы со старыми программами. В XFree86 3.3.3 ошибка, приводящая
к использованию ISO8859-5 таблиц вместо KOI8-R. Есть
заплатка,
позволяющая это дело поправить (если, конечно, есть желание самому собирать
XFree86). Для того, чтобы включить русский ввод надо добавить
XkbKeymap "xfree86(ru)"
в секцию Keyboard файла XF86Config и установить переменную
окружения LANG=ru_RU.KOI8-R. К сожалению, RHL 6.0 как раз включает ошибочную
версию XFree86 3.3.3. К тому имеются проблемы с шрифтами у Gnome/enlightment
Ввод. Правильный метод в RH 6.2. Правый Alt работает как ModeShift
(русские буквы вводятся, пока на нее жмешь). В XF86Config в секции Keyboard
записываем (слова в кавычках являются именами файлов в соответствующих
поддиректориях /usr/X11R6/lib/X11/xkb, слова в скобках - именами секций
в соответствующих файлах):
- LeftAlt Meta
- RightAlt ModeShift
- ScrollLock ModeLock (не работает)
- RightCtl Control
- XkbKeymap "xfree86(ru)"
- XkbRules "xfree86"
- XkbModel "pc101"
- XkbLayout "ru" (раскладка "йцукенг" - как в MS Windows, кроме символов
над цифрами)
- закоментарить XkbKeycodes, XkbTypes, XkbCompat, XkbSymbols, XkbGeometry
Улучшения для правильного метода в RH 6.2.
-
Можно keymap/xfree86 (секция ru) поменять en_US(pc105)+ru на ru(winkeys),
чтобы в русском режиме вводились символы как на наклейках над цифрами.
-
на моей клавиатуре оказались "лишние" кнопки с окошками, которые я приспособил
для постоянного включения/выключения русского режима. В файле /usr/X11R6/lib/X11/xkb/symbols/ru
добавил определение для левой кнопки с окошком:
key <LWIN>{ symbols[Group1]= [ ISO_Next_Group ] };
key <RWIN>{ symbols[Group1]= [ ISO_Next_Group ] };
-
переделать файл /usr/X11R6/lib/X11/xkb/symbols/ru
под "яверты"
Ввод. Обманный Xmodmap. Подстановка "улучшенного"
Xmodmap
в /usr/X11R6/lib/X11/xinit/.Xmodmap, который подменяет стандартную раскладку
ISO8859-1 на KOI8-R. Может быть придется где-то вручную вызывать xmodmap
/usr/X11R6/lib/X11/xinit/.Xmodmap (это должен делать xinitrxc или ~/.xinitrc,
но всякое бывает). Прикладные программы после этого считают, что они имеют
дело с обычными латинскими символами, а при вводе после нажатия CapsLock
происходит преобразование в соответствии с клавиатурной раскладкой ЯВЕРТЫ.
Нарушает все концепции интернационализации в X11. У меня не заработало
в XFree86 3.3.3 (в прежних версиях работало отлично).
Ввод. Использование специальной программы перекодировки. Я опробовал
Xruskb
А. Лукьянова. Есть rpm в contrib. Единственный метод, который заработал
у меня в RH 6.0. Опять-таки должны возникать проблемы с "правильными" прикладными
программами. Запуск:
xrus yawerty-koi8.xmm
Переключение по кнопке или двум shift-ам.
Менеджеры окон и рабочего стола.
gnome/enlightment - нельзя выбирать Themes/BrushedMetal, иначе не будет
русских букв в заголовках окон (используется шрифт
lucida?).
Приложения под X11
gnome-terminal: setting->preferences->font->browse. В фильтрах ставим,
что шрифт должен иметь charset=koi8-r, после чего выбираем какой-нибудь
из шрифтов типа курьер (они моноширинные).
ghostscript. Копируем все .pfm, .afm и .pfb файлы из созданной ранее
cyrillic/Type1
в
/usr/share/fonts/default/ghostscript. Берем в
gpi
gs-Fontmap.add и добавляем его в конец /usr/share/ghostscript/5.10/Fontmap
(оригинал сохранить). Затем закоментировать в Fontmap алиасы для Helvetica,
Courier и Times, раскоментировать алиасы на соответствующие русские шрифты
(там два курьера, выбрать CourierCyrPS, см. про Netscape). Еще советуется
запускать с ключем -dNOPLATFONTS, но у меня gv и так с ним зпускается.
Преобразование ps в pcl для печати дл HP LaserJet:
gs -q -sDEVICE=ljet4 -r600x600 -sPAPERSIZE=a4 -dNOPAUSE -dSAFER
-dNOPLATFONTS -sOutputFile=-
Netscape 4.6: Edit->Preferences->Fonts. Для кодировки koi8-r выбираем
Times(cronyx) и Curier (cronix).
Почему-то netscape
не любит шрифтов Type1 (ни pfb, ни pfa, ни с метрикой, ни без нее).
Проблема при печати - он использует только встроенные метрики шрифтов и
русские буквы плывут. Есть
заплатка,
которая правит бинарник netscape, записывая туда метрики CourierCyrPS и
TimesCyrMT (любой версии, у меня сработало на 4.6/4.72). Естественно, теперь
нельзя удалять русские Type1 шрифты ;). Также при печати нет подчеркиваний,
цветов и оформления страницы (дата, имя файла и т.д.).
Конфигурирование
Пересборка ядра
Все делать из /usr/src/linux (если ядро из поставки). Если был сделан upgrade
пакета kernel_headers, то м.б. придется сделать ссылки для /usr/include/asm
и /usr/include/linux.
- make mrproper (удалить весь мусор от предыдущей конфигурации). Если
хочется сохранить предыдущую конфигурацию, то сказать: make dep; make clean.
- конфигурация ядра (не советую делать SCSI-драйвера модулями; увы
приходится это делать, если надо писать на ATAPI CD-RW)
- make config (в виде ответов на вопросы: Y, N или M), надежно
(ничего не забудешь поменять ;), 500
вопросов, на половину из которых не знаешь что сказать.
- make menuconfig (в виде меню), удобно (нужен ncurses_devel).
- make xconfig (под X-Windows), очень удобно :)
- make oldconfig (все ответы из .config)
- make dep
- make bzImage (не надо слепо следовать устаревшей инструкции и
делать make boot, он не влезет в загрузчик)
- make modules
- insmod loop до перемещения модулей, а то не найдет loop0
- удаляем совсем старую копию модулей (если она есть)
rm -rf /lib/modules/2.2.5-22-old
(нужен для mkinitrd)
- делаем текущий набор модулей старым
mv /lib/modules/2.2.5-22 /lib/modules/2.2.5-22-old
- инсталируем новый набор модулей (в /lib/modules/2.2.5-22)
make modules_install
- если все-таки сделал SCSI в виде модуля (или еще какой-нибудь модуль
нужен при загрузке; ide-scsi не нужен), то пересобери initrd (отредактировать
/etc/conf.modules (/etc/modules.conf в RedHat 7.0)
- вставить alias scsi_hostadapter имя-драйвераи соответствующие
options имя-драйвера имя-драйвера="параметры";
проверить alias eth0 - и выполнить
mkinitrd /boot/имя-нового-initrd 2.2.5-22
после чего отредактировать /etc/lilo.conf). Также необходимо
сделать, если раньше был модуль SCSI, а теперь его убрал или включил в ядро.
- копируем получившийся arch/i386/boot/bzImage в /boot/bzImage.new
(переименовав старый, если надо)
- копируем получившийся System.map в /boot/System.map (переименовав старый?),
klogd сначала пытается смотреть в /boot/System.map; если версия ядра не
совпадает, то в /System.map, а если и там не совпадает, то в /usr/src/linux/System.map
- добавляем новую секцию в /etc/lilo.conf со ссылками на новое ядро и м.б.
initrd (обязательно сохранив возможность загрузки старого ядра, System.map,
modules?, где взять module-info для нового ядра?)
- /sbin/lilo -v
- перезагружаемся - DMA все-равно приходится включать вручную через hdparm,
ибо не любит он WD :(
- /usr/src/linux занимает теперь 70МБ (RH 6.2 - 80 MB, RH 7.0 - 106 MB)
- скомпилированный emu10k1 не грузится, приходится брать модуль из дистрибутива
Создание initramfs для последующей загрузки
mkinitrd
dracut
linuxconf
источник
Поддерживает различные интерфейсы с пользователем:
- командная строка
- а/ц окна
- X11 (древовидное меню)
- www (позволяет удаленное администрирование, выключен по умолчанию)
Общие ощущения, как от Unixware 1.0: здорово, красиво, но ненадежно. Если
помнишь, как это вручную делается, то лучше сделать вручную. Так и есть!
Linuxconf ведет свою базу конфигурации и некоторые обычные конфигурационные
файлы генерирует исходя из нее при загрузке (например, sendmail.cf!), так
что вносить измения в них вручную безсмысленно. Есть мнение, что его надо
отключить (начальник д.б. один).
Управляет списком пользователей, групп, файловых систем (в т.ч. сетевых),
конфигурация локальной сети и PPP, сетевые клиенты и серверы, LILO.
control panel
Запускается командой control-panel в xterm. Является площадкой для запуска
отдельных графических средств конфигурации (printtool, kerneld, netcfg,
run level editor, time and date, modem configuration).
chkconfig
Манипуляция файлами в /etc/rc.d (какие сервисы запускать и останавливать
при переходе с уровня на уровень). Криво сделан. Проще вручную сделать,
но кругом натыкано проверок с помощью chkconfig. Он действует в терминах:
включен/выключен. На самом деле для сервиса м.б. как процедура включения,
так и выключения в любых комбинациях. В результате он выдает ответ "запущен
сервер или нет" в зависимости от того, какой файл создан в директории последним
- K или S!
Ключи:
- --list (получить список сервисов)
- --add имя (добавить сервис в список отслеживаемых)
- --del имя
- --level уровень имя [ on | off | reset
] (поднять/опустить/сбросить сервис на указанном уровне)
отдельные утилиты
- /usr/sbin/mouseconfig
- /usr/sbin/timeconfig, timetool, date, setclock, hwclock, adjtimex
- сервисы: /usr/sbin/ntsysv или /sbin/chkconfig
- mkbootdisk --device /dev/fd0 версия (хочет
vmlinuz, а не bzImage)
- Xconfigurator или vi /etc/X11/XF86Config (про существование
Interlace-режимов народ уже забыл :(
- создание и удаление пользователей, смена пароля: useradd, userdel, passwd, system-config-users (redhat-config-users)
- kbdconfig
Настройка TCP/IP
Для проверки настройки сети можно воспользоваться утилитами ping, traceroute и nmap.
Кстати, ping позволяет собирать часть маршрута, по которому прошёл пакет (-R)
и этот маршрут не совпадает с маршрутом от traceroute.
Полезными инструментами для изучения происходящего в сети являются программы
"аутопсии" пакетов tcpdump и ethereal (wireshark?).
Суперсервисы inetd и xinetd.
tcpwrapper (tcpd, libwrap.so, /etc/hosts.allow, /etc/hosts.deny,
hosts_access(5), hosts_options(5)).
Документация:
Сетевой экран реализован в различных версиях Linux следующими средствами:
Документация
- pppd.8, pppstats.8, char.8
- PPP-FAQ (1996)
- PPP-HOWTO (март 1997)
- /usr/doc/ppp-2.3.7
Ядро должно быть сконфигурировано с поддержкой PPP (netdriver/ppp, модули
ppp, slhc, bsd_comp
В RedHat 6.2 rp3 настраивает PPP почти нормально (правда, я не пробовал
настраивать диалог). Конфигурационный файл - "/etc/wvdial.conf".
rp3 аварийно завершается, если слишком быстро
нажать stop/start. Обрыва линии не замечает, так что приходится
прописывать в /etc/ppp/options lcp-echo-interval и lcp-echo-failure.
Адреса DNS-серверов берет от сервера доступа.
В RedHat 6.0 linuxconf и control-panel имеют недоработки в конфигурировании
PPP-доступа в интернет :( Так что я сделал так:
- добавляем в /etc/resolv.conf имя нашего DNS-сервера
nameserver 195.161.72.28
- убедиться, что /dev/modem указывает на нужное устройство (у меня COM2 -
/dev/ttyS1)
- завел в control-panel/network интерфейс ppp0, а затем отредактировал
конфигурационные файлы ручками
- /etc/ppp/options (не забывать про ~/.ppprc)
- lock #чтобы никто больше не лез к тому же самому порту во время
работы pppd
- modem crtscts #нормальная синхронизация и сигналы
- mtu 576 mru 576 # стандартный размер блока (1500) мешает одновременно
работать с telnet и ftp
- asyncmap 00000000 # использовать все символы
- defaultroute # поднимать маршрутизацию после установления соединения
- debug kdebug 1 # потом можно выключить
- lcp-echo-interval 20 lcp-echo-failure 3 # при
разрыве связи pppd почему не получает извещения об этом, приходится
непрерывно проверять целостность соединения через LCP echo.
Может
приладить програмку, которая будет смотреть /proc/tty/driver/serial и рубить
pppd при пропадании сигнала?
- /etc/sysconfig/network-scripts/chat-ppp0 (у меня модем Zyxel
Elite 2864), содержит
expect-send пары для chat
- 'TIMEOUT' '2'
- 'ABORT' 'BUSY'
- 'ABORT' 'ERROR'
- 'ABORT' 'NO CARRIER'
- 'ABORT' 'NO DIAL TONE'
- '' 'ATI2&F'
- 'OK' 'AT*E1&S1S13=2S42=64S52=96'
- 'OK' 'ATDP9329765'
- 'TIMEOUT' '45'
- 'CONNECT' ''
- 'TIMEOUT' '15'
- 'Username:' 'имя'
- 'Password:' '\qпароль'
- /etc/sysconfig/network-scripts/ifcfg-ppp0 по вкусу (например, уменьшить
RETRYTIMEOUT)
- после подъема/опускания канала pppd вызывает /etc/ppp/ip-up и /etc/ppp/ip-down,
которые при необходимости тоже можно настроить (параметры: интерфейс, tty,
скорость, localip, remoteip, ipparam)
- создать в /etc/ppp скрипты для запуска ppp (названия условны):
- deol-up: /etc/sysconfig/network-scripts/ifup-ppp /etc/sysconfig/network-scripts/ifcfg-ppp0
- deol-down: /etc/sysconfig/network-scripts/ifdown-ppp /etc/sysconfig/network-scripts/ifcfg-ppp0
- вызывать deol-up/deol-down ручками, вставить в crontab или в графическое
меню - дело вкуса (только с правами надо разобраться)
- а где же pppdump?
The Linux Graphics Stack
запуск ("Ной родил Иакова, Иаков родил...")
Начинается все со startx: добавляет xauth для доступа данного
пользователя через unix и localhost к X-серверу и вызывает xinit.
Т.к. никто их оттуда (.Xauthority и .ICEauthority) не удаляет,
то через некоторое время запуск X начинает тормозить (пытается обратиться
к серверу доступа через указанные в этих файлах порты, а там уже никого
нет). Пришлось в собственный скрипт перед запуском startx добавить
обнуление этих файлов).
xinit убеждается в наличии /etc/X11/xinit/Xclients и вызывает
его.
Xclients пытается определить какой desktop установлен и запускает
gnome-session/strtkde/Another Level/AfterStep/...
gnome-session (--help)...
X сервер
Ключ "--nolisten tcp" отменяет прослушивание порта 6000 для общения
с клиентскими программами по TCP/IP. После этого клиентские программы на
этом же хосте, но из-под другого пользователя не запускаются.
Для Gnome необходимо отредактировать DisallowTCP в /etc/X11/gdm/gdm.conf
Подключение к xdm (сервер XDMCP) из F10
Xnest :2 -query имя-хоста -from наш-адрес (экраны 0 и 1 заняты;
надо открыть порт TCP/6002 на своём хосте; "-broadcast" соединяет с первым
попавшимся xdm/gdm/kdm; "-indirect" выдаёт список, но соединяет только с собой;
установка русского языка для сеанса недопустима; завершить сеанс невозможно)
Включение XDMCP
В /etc/gdm/custom.conf убедиться что "WaylandEnable=false" и перед добавить в секцию [xdmcp] строку
Enable=true
Затем перезапустить gdm ("systemctl restart gdm.service") - все процессы в графических сеансах умрут!
Теперь на клиентской машине можно выполнить (дисплей :1 обычно доступен по нажатию Ctrl-Alt-F8)
X :1 -query имя-хоста
VNC
Пакеты vnc и vnc-server (realvnc) обеспечивают возможность просмотра и создания удалённого рабочего стола.
Создание удалённого рабочего стола: зайти ssh на удалённый хост (не д.б. установлена DISPLAY),
отредактировать по вкусу $HOME/.vnc/xstartup
и создать удалённый рабочий стол командой "vncserver [:номер-сеанса] -geometry ШиринаxВысота -depth 24 -listen tcp"
(запускается виртуальный X сервер, при первом запуске запрашивается пароль и запоминается в $HOME/.vnc/passwd).
Пример xstartup:
#!/bin/sh
[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
# xsetroot -solid grey
# autocutsel-s PRIMARY -fork
vncconfig -iconic &
gnome-session
# startkde
# GNOME_SHELL_SESSION_MODE=classic gnome-session
# exec cinnamon-session &
# /usr/bin/mate-session
# xfce4-session &
# icewm-session &
Подключение к ранее созданному рабочему столу: "vncviewer адрес::номер-сеанса -FullColor".
Отключение от удалённого стола не разрушает его - виртуальный X сервер и все его клиенты продолжают работать.
Можно иметь несколько одновременных подключений к одному и тому же удалённому столу.
Изменение размера экрана без прерывания сеанса:
xrandr --verbose # посмотреть идентификатор и режимы
xrandr --output идентификатор --mode режим
Переключение языка ввода русский/английский производится на клиенте.
Сервер получает уже готовые символы русского языка, потому на сервере переключатель языка ввода необходимо удалить.
Протокол VNC поддерживает только ISO-8859-1 (Latin1) при передаче clipboard.
Всё остальное преобразуется в ASCII строки вида "\u0430", обратное преобразование:
python -c "print unicode(raw_input(), 'unicode-escape');"
Пакет vino обеспечивает встроенный в Gnome VNC сервер (настроить удалённый рабочий стол в настройках сети, порт 5900).
Пакет vinagre обеспечивает VNC клиент для Gnome.
RDP
Сервер - пакеты xrdp и xorgxrdp. Клиент rdesktop (пропал в CentOS7) и freerdp.
Менеджеры окон
Рабочий стол
Gnome
Количество глюков просто поражает, особенно если запускать на одном
экране приложения для нескольких пользователей.
Запуск панели, если она грохнулась: gnome-panel.
Каждая программа из комплекта gnome имеет привычку прислушиваться к
tcp порту из клиентского интервала. Это даже не дыра, а открытые ворота
в системе безопасности. На многократно заданный вопрос один из авторов
заявил: "gnome(ORBit) специально предназначен для работы в сетевом окружении
и порты он будет прослушивать всегда, а наша система безопасности - непробиваема".
Предполагается, что по этому порту программа получает команды от session-manager
(попытка отключить его с помощью ключа запуска --sm-disable или заменой
запуска gnome-session на gnome-wm ни к чему не привела - порты открываются
в любом случае). Таким образом любой осталоп может сконнектиться на этот
порт и "пообщаться" с программой, что иногда вызывает ее аварийное завершение
(если постараться, то и очередной buffer overflow exploit найти можно).
Под горячую руку я закрыл доступ к любым серверным программам на интервале
клиентских портов (фильтруя SYN пакеты), но говорят, что можно закрыть
это безобразие через tcpwrapper (host_access(5)).
xterm
Проблема при работе в linux из xterm под Solaris: не выходит из режимов
реверса и подчеркивания (less)
- infocmp xterm (в Solaris)
- записать в файл в linux (например, xterm-sol.ti)
- отредактировать имя терминала (например, xterm-sol)
- tic -v xterm-sol.ti (в linux, с правами root)
- при каждом заходе из Solaris в linux делать: export TERM=xterm-sol
(или встроить в .bash_profile разбор откуда мы пришли по DISPLAY или -
в RH 6.2 - по REMOTEHOST)
Печать
Ссылки:
- Printing-HOWTO
- Printing-Usage-HOWTO
Пакеты printtool, rhs-printfilters и lpr обеспечивают вполне сносные средства
для настройки и печати.
Установка сетевого принтера.
Печать буклетов по 4 страницы на лист (по 8 на двух сторонах):
- pdftops -paper A4 -expand primer.pdf primer.ps
- gv primer.ps (отметить нужные страницы и сохранить в primer.1m.ps)
- pstops -pa4 '2:0L@.707(21cm,0)+1L@.707(21cm,14.85cm)' primer.1m.ps primer.2m.ps
- pstops -pa4 '2:0L@.7(21cm,-0.6cm)+1L@.7(21cm,13.9cm)' primer.2m.ps primer.4m.ps
- gv primer.4m.ps (печать)
Файловые системы
Список поддерживаемых типов файловых систем можно получить из файла /proc/filesystems
(не забудьте подгрузить модуль из /usr/lib/modules/версия-ядра/kernel/fs/):
- adfs - файловая система RiscOS (Acorn)
- affs - файловая система AmigaOS
- anon_inodefs (?)
- autofs - автоматическое монтирование
- bfs - boot file system для SCO UnixWare
- binfmt_misc - распознавание различных форматов исполняемых файлов и автоматический запуск эмуляторов и виртуальных машин
(/proc/sys/fs/binfmt_misc: status=enabled, register для добавления нового формата исполняемого файла)
- btrfs
- cachefiles - кеширование сетевой файловой системы с помощью локальной файловой системы (/dev/cachefiles)
- ceph - распределённая файловая система
- cmsfs - файловая система IBM (только чтение)
- cgroup - виртуальная файловая система, обеспечивающая возможность распределения ресурсов (control groups, /cgroup):
ЦП, память, блочные устройства
- cpuset - виртуальная файловая система, обеспечивающая возможность распределения ресурсов ЦП (/dev/cpuset)
- coda - распределённая файловая система (развитие AFS - Andrew File System, AFS-2)
- cramfs - файловая система для ROM (только чтение, файл не более 16 MB,
файловая система не более 256 MB, сжатие файлов)
- debugfs - виртуальная файловая система, используется для простого доступа ко внутренним структурам при отладке ядра
("mount -t debugfs none /sys/kernel/debug")
- devfs - виртуальная файловая система, обеспечивающая доступ к драйверам устройств (/dev, devfsd)
- devpts - виртуальная файловая система для доступа к псевдотерминалам pts ("mount devpts /dev/pts -t devpts")
- devtmpfs - виртуальная файловая система, обеспечивающая доступ к драйверам устройств (/dev), улучшенный devfs
- dlm - Distributed Lock Manager (?), /proc/cluster/config/dlm/, /proc/cluster/dlm_*, /proc/cluster/lock_dlm/
- eCryptfs - шифрование файлов
- efs - старая файловая система SGI IRIX
- exofs (EXtended Object File System) - метаданные ext2 и внешнее объектное хранилище для данных, разработка Panasas
- extfs - первая версия стнадартной файловой ситсемы Linux (не используется)
- ext2fs (ext2) - стандартная файловая система Linux, версия 2,
в настоящее время используется лишь под /boot
- ext3fs (ext3) - стандартная файловая система Linux, версия 3, журнализация
- ext4fs (ext4) - стандартная файловая система Linux, версия 4, экстенты
- fat - базовая часть файловой системы DOS (используется msdos fs, vfat и umsdos)
- freevxfs - имитация файловой системы Veritas
- fscache - кеширование сетевой файловой системы с помощью локальной файловой системы (используется cachefs)
- fuse - файловая система в пространстве пользователя
- gfs, gfs2 - распределённая файловая система от Red Hat
- GlusterFS - распределённая файловая система
- hfs - файловая система Apple
- hpfs - файловая система OS/2
- hugetlbfs (?)
- inotifyfs - виртуальная файловая система для управления механизмом извещений об изменениях файлов inotify:
/proc/sys/fs/inotify (max_user_watches, max_queued_events), /sys/kernel/slab/inotify_event_cache,
/sys/kernel/slab/inotify_watch_cache
- iso9660 (isofs) - стандартная файловая система на CD-ROM ISO 9660 (aka High Sierra File System, hsfs) (утилиты)
- jffs, jffs2 - журнализируемая файловая система для бездисковых систем
- jfs - файловая системы из AIX (IBM)
- lustre
- minix - устаревшая файловая система ОС Minix (предшественик Linux)
- MSDOS fs - файловая система MSDOS (строится над fat)
- ncpfs (?)
- nfs - сетевая файловая система NFS
- ntfs - файловая система Windows NT
- openpromfs (?)
- pipefs (rpc_pipefs?) - например, используется для NFS (/var/lib/nfs/rpc_pipefs)
- procfs (proc) - виртуальная файловая система, обеспечивающая
информацию о процессах и состоянии ОС и позволяющая менять ее параметры
- qnx4 - файловая система ОС QNX4
- ramfs - файловая система в виртуальной памяти (лучше tmpfs?)
- reiserfs - журнализируемая файловая система на основе сбалансированного дерева
- romfs - файловая система ROM
- rootfs (?)
- squashfs - сжатая файловая система для LiveCD (только чтение)
- securityfs (?) - /selinux (?)
- smbfs - сетевая файловая система SMB (CIFS)
- sockfs (?)
- sysfs - виртуальная файловая система, обеспечивающая информацию об оборудовании и ОС (/sys)
- sysv - файловая система System V/Xenix/V7/Coherent
- tmpfs - файловая система в виртуальной памяти, обеспечивает доступ
к разделяемой памяти POSIX (/dev/shm, /run, /tmp), размер меняется динамически,
может сбрасываться в swap
- udf - файловая система DVD/CDRW (утилиты)
- ufs - файловая система BSD, SunOS, FreeBSD, NetBSD, OpenBSD, NeXTstep
- umsdos - имитация файловой системы Unix над файловой системой MS-DOS -
длинные имена, права доступа и т.д. (строится над fat и MSDOS fs)
- usbdevfs (usbfs) - виртуальная файловая система, которая
обеспечивает доступ к дереву файлов /proc/bus/usb (devices,
drivers, номер-шины/номер-устройства) для получения информации о USB-подсистеме
- vfat - файловая система Windows 95/98 (строится над fat): codepage=cp437,iocharset=iso8859-1,utf8,shortname=mixed
- xfs - журналируемая масштабируемая файловая система
Создание стандартной файловой системы ext2/ext3/ext4:
mke2fs устройство (mkfs.ext4 устройство [количество-блоков | число{kmgt} ])
с ключами (умолчания в /etc/mke2fs.conf)
- -b размер-блока (по умолчанию используется эвристика - 4096; для x86_64: 1024, 2048 или 4096 байт)
- -c (искать плохие блоки)
- -cc (искать плохие блоки с проверкой записи)
- -С байт (размер-кластера, по умолчанию равен 16 размерам блока; bigalloc)
- -d каталог (1.43; предзаполнение создаваемой файловой системы на основе каталога)
- -D (использовать прямой (небуфферизованный) ввод/вывод
- -e continue | remount-ro | panic (тип-обработки-ошибок - 1.43)
- -E список-особых-возможностей-через-запятую
- discard (по умолчанию; освобождать блоки при создании - полезно для SSD (TRIM) и thin-provision)
- encoding=кодировка-имён-файлов (также устанавливает casefold)
- encoding_flags=nostrict (не отвергать несоответствующие кодировке имена файлов)
- lazy_itable_init=1|0 (отложить инициализацию таблицы inode - очень сильно уменьшает время инициализации, но добавляет непредсказуемости во время работы)
- lazy_journal_init=1|0 (не обнулять журнал при создании - сильно уменьшает время инициализации,
небольшой риск при начале работы)
- mmp_update_interval=секунд (периодичность проверки многократного монтиирования; не более 300)
- no_copy_xattrs (не копировать расширенные атрибуты при заполнении каталога (ключ -d))
- nodiscard
- num_backup_sb=0|1|2 (количество резервных копий суперблока, требуется sparse_super2)
- offset=байт (смещение начала файловой системы от начала блочного устройства)
- packed_meta_blocks=0|1 (разместить журнал, битовые карты и таблицу inode в начале блочного устройства;
версия 1.42.10; требуется flex_bg)
- quotatype=список-через-двоеточие (usrquota, grpquota, prjquota)
- resize=блоков (зарезервировать инфраструктуру для расширения до указанного размера)
- root_owner=uid:gid (по умолчанию - пользователь, запустивший mke2fs)
- stride=блоков (размер полоски (chunk) RAID; обычно определяется автоматически)
- stripe_width=блоков (размер сегмента RAID - размер полоски * число дисков данных; обычно определяется автоматически)
- -f байт (устарело; размер фрагментов?)
- -F (настоять на создании файловой системы)
- -FF (сильно настоять на создании файловой системы)
- -g количество-блоков-в-группе (не надо трогать)
- -G количество-сливаемых-групп (16?; для локализации метаданных; см. flex_bg)
- -i байт-на-inode (предполагаемый средний размер файла; по умолчанию очень маленький)
- -I байт (256; от 128, только степень двойки; размер inode; могут храниться расширенные атрибуты и данные (inline))
- -j (журнал для ext3 и ext4)
- -J список-параметров-журнала-через-запятую
- size=мегабайт (128 или 1024 (при большом размере ОП); размер внутреннего журнала, не более 4ГБ)
- fast_commit_size=килобайт (ядро от 5.10)
- location=смещение (смещение журнала от начала файловой системы)
- device=блочное-устройство (внешний журнал; создание: mke2fs -O journal_dev блочное-устройство;
вместо явного имени устройства можно использовать LABEL= и UUID=)
- -l имя-файла (список номеров плохих блоков; не секторов!)
- -L имя-тома (до 16 байт)
- -m резервируемый-процент (по умолчанию - 5; кстати, при заполнении
на 90% начинается фрагментация; при заполнении на 95% фрагментация начинает мешать)
- -n ("сухой" прогон)
- -N число-inode (явное указание)
- -O список-возможностей-через-запятую (удаляемая возможность предваряется "^"; до версии 1.43 дополнительные ключи "-O" игнорируются;
умолчания в /etc/mke2fs.conf в разделе defaults и fs_types)
- none - удаляет все умолчания
- 64bit - для файловой системы более 2^32 логических блоков (16 ТиБ при размере блока в 4096 байт); ядро 2.6.28
- auto_64-bit_support - автоматически включать 64bit для файловой системы более 2^32 блоков (удалена, действует всегда)
- bigalloc - группировать блоки в кластеры, см. -C, требует extent, проблемы с delalloc, требуется ядро 3.2,
биты в битовых картах соответствуют кластерам, а не блокам, уменьшает размер карт, минимальный размер файла равен размеру кластера
- casefold
- dir_index - использовать b-деревья для ускорения поиска в больших каталогах (ext3 и ext4); возможны коллизии
- dir_nlink - более 65000 подкаталогов в каталоге (ext4); ядро 2.6.28
- ea_inode - больше места под расширенные атрибуты
- encrypt - шифрование данных и имён файлов, метаданные не шифруются; ядро 4.1; для систем с одним пользователем рекомендуется шифрование
на блочном уровне
- ext_attr - хранить расширенные атрабуты в inode
- extent (ранее extents) - выделение блоков интервалами, дерево интервалов; уменьшает размер метаданных, ускоряет создание файлов (ext4);
ядро 2.6.28
- extra_isize - резервировать место под наносекундные отметки времени даже если текущее ядро их не использует,
требуется inode размером 256 байт или более (ext4); ядро 2.6.28
- filetype - хранить тип файла в каталоге
- flex_bg - группировать метаданные нескольких групп вместе (ext4), см "-G"; точнее снимается ограничение на локализацию
битовой карты блоков и таблицы inode в группе блоков; ядро 2.6.28
- has_journal (ext3 и ext4)
- huge_file - файловая система может содержать файлы более 2TB (ext4); ядро 2.6.28
- inline_data - можно хранить данные в inode; ядро 3.8; inline_data с размером inode 1024 байта вмещает 896 байт данных;
не выдержал параллельного стрессового тестирования в CentOS 7.2 (3.10.0-327.28.3.el7.x86_64;
inline 512 или 1024 и NFSv3/4; noac и lookupcache=none не решают проблему; ^dir_index не решает проблему,
обновление до CentOS 7.6 (3.10.0-957.12.1) не решает проблему)
mkfs.ext4 -N 300000000 -E stride=16,stripe_width=48,lazy_itable_init=1,nodiscard,packed_meta_blocks=1 -I {256,1024,4096} -J size=512 -L inline1024 -v -O 64bit,dir_index,dir_nlink,extent,ext_attr,filetype,flex_bg,has_journal,huge_file,inline_data,large_file,meta_bg,sparse_super,uninit_bg,^resize_inode /dev/sdf
LABEL=inline1024 /inline1024 ext4 noauto,data=ordered,stripe=48,nobarrier,nodiratime,relatime,journal_checksum,delalloc,nodiscard 1 2
for host in список
do
ssh $host /usr/sbin/bonnie++ [-D] -n 250:10000:0:25000 -d /inline1024/share4s/temp -f -r 5000 -s 0 &
done
основная часть ошибок идёт после Stat files in random order
Can't change to directory 88252
Cleaning up test directory after error.
Can't open directory.
Can't chdir().
Cleaning up test directory after error.
Bonnie: drastic I/O error (rmdir): No such file or directory
...
Can't create file 18597/0000031f17
Cleaning up test directory after error.
...
Can't stat file 71609/9TP3WOK00000c04f5
Cleaning up test directory after error.
...
Can't change to directory 32213
Cleaning up test directory after error.
...
Can't delete file 30445/0000051c37
Cleaning up test directory after error.
Bonnie: drastic I/O error (rmdir): Directory not empty
...
половина процессов умерла, оставив после себя несколько файлов
один процесс ничего не смог удалить
для ядра 3.10.0-957.12.1. остались лишь
Can't create file 12829/000002273fWe
Cleaning up test directory after error.
неиспользование "-E lazy_itable_init=1,packed_meta_blocks=1 -I 1024 -J size=1024 -O meta_bg,uninit_bg" не помогает
- journal_dev - опция для суперблока внешнего журнала (-J device=)
- large_dir - позволить реально большие каталоги (более 2ГБ, 10 миллионов файлов)
- large_file - файловая система может содержать файлы более 2GB, устанавливается автоматически при создании большого файла
- metadata_csum - контрольные суммы для метаданных (1.43, ядро 3.18); несовместимо с uninit_bg (metadata_csum лучше)
- metadata_csum_seed - хранить начальное значение контрольных сумм в суперблоке, позволяет менять UUID
- meta_bg - позволяет увеличивать размер файловой системы "на ходу" без предварительного
резервирования места под описания групп блоков, устанавливается всегда для 64bit, замедляет монтирование,
устанавливается автоматически при необходимости во время увеличения без размонтирования (ext4),
поэтому не рекомендуется ручная установка; ядро 2.6.28
- mmp - защита от многократного монтирования (ext4) (разделяемые файловые системы); ядро 3.0
- quota - создать скрытые файлы (#3 для пользовательских квот и #4 для групповых квот; ядро 3.6
- project - квотирование по проектам (каждому inode приписывается идентификатор проекта), ядро 4.5
- resize_inode - резервировать место для дескрипторов групп блоков при расширении файловой системы без размонтирования
(по умолчанию - в 1024 раза, расширенная опция resize), требует sparse_super или sparse_super2
- sparse_super - не переусердствовать с количеством резервных суперблоков
- sparse_super2 - не более 2 копий суперблока (1.42.10, ядро 3.16)
- stable_inodes - зафиксировать UUID и номера inode; невозможно уменьшение файловой системы; требуется для шифрования
- uninit_bg - отложить инициализацию дескрипторов групп блоков и использовать контрольные суммы для проверки,
очень сильно ускоряет создание и проверку (ext4); см. metadata_csum; ядро 2.6.28
- verity - аутентификация неизменяемых файлов (см. dm-verity для всей файловой системы)
- -q - выполнить без вывода сообщений
- -S - записать только суперблок и дескрипторы групп, последнее средство восстановления, сразу использовать e2fsck
- -t имя-подсекции (в секции fs_types файла /etc/mke2fs.conf)
- -T имя-секции (в /etc/mke2fs.conf)
- -U {UUID | null | clear | random | time}
- -v - больше сообщений
- -V - только вывести номер версии
Возможности могут настраиваться в файле /etc/mke2fs.conf. Секции:
- defaults
- fs_types - определяются ключом "-T" или типом файловой системы
- news - много маленьких файлов
- small - много очень маленьких файлов
- big - средний размер файла 32KB (автоматически выбирается для файловой системы от 4 до 16 TB)
- huge - средний размер файла 64KB (автоматически выбирается для файловой системы от 16 TB)
- largefile - файловая система для больших файлов
- largefile4 - файловая система для очень больших файлов
Настройка параметров файловой системы ext2fs производится с помощью утилиты tune2fs
(не умеет добавлять свойство 64bit - необходимо для раздела размером более 16 ТиБ).
Использование с ключом "-l" позволяет узнать текущие параметры, в частности:
- Last checked: дата последней проверки
- Check interval: при истечении указанного интервала запускается принудительная проверка
состояния файловой системы при загрузке
- Mount count: число монтирований после последней проверки
- Maximum mount count: после указанного числа монтирований запускается принудительная проверка
состояния файловой системы при загрузке
Размер файловой системы ext3 ограничен 16TB (8TB для RHEL41).
Для создания файловой системы более 8ТБ:
mke2fs -j -L метка-тома -m 0 -T largefile4 -b 4096 -F -E stride=32,resize=4026531840 -v /dev/имя-VG/имя-LV
tune2fs -i 0 -c 0 /dev/имя-VG/имя-LV
Проверка и исправление файловой системы ext2fs/ext3fs: e2fsck -v -C 0 имя-устройства.
Для насильственной проверки "как бы" хорошей файловой системы надо использовать ключ -f.
По завершению выводит информацию о фрагментации файловой системы.
Для запрета проигрывания журнала перед проверкой необходимо отключить журнал командой
"tune2fs -O ^has_journal имя-устройства".
Оптимизация каталогов и поиск одинаковых имён: "e2fsck -fD".
Утилита ext2online позволяет увеличить размер ext2 (ext3) без размонтирования.
Возможности ext2online были добавлены в resize2fs.
Утилита resize2fs (появилась в CentOS 4.2) позволяет уменьшить
(после этого необходимо уменьшить раздел) или увеличить
(предварительно необходимо увеличить раздел) размер несмонтированной файловой системы ext2, ext3 или ext4.
Смонтированную файловую систему можно только увеличить (требуется ядро 2.6).
resize2fs не умеет работать без размонтирования с файловой системой со свойством 64bit (более 16 ТиБ) до ядра 3.2.
resize2fs не умеет преобразовывать файловую систему без 64bit в большую до версии 1.42.
В качестве параметра указывается имя устройства и размер (по умолчанию в блоках файловой системы - 4 КБ, можно опустить). Ключи:
- -P # показать минимальный размер
- -M # уменьшить до минимального размера
- -f # игнорировать проверки
- -p # показывать прогресс
Утилита e4defrag позволяет дефрагментировать указанный файл, каталог или устройство
(очень медленно, 2.5 TB в сутки независимо от скорости массива).
Ключ "-c" позволяет проверить необходимость дефрагментации.
Утилита e2undo позволяет откатывать действия, записанные в журнале.
описание ext3fs
(а также утилиты вычисления степени фрагментации файлов и файловой системы).
Взгляд на ext4 (PDF, журнал "Системный администратор").
Отличия ext4 от ext3
(создание - "mke2fs -t ext4" или mkfs.ext4; монтирование без преобразования - "mount -t ext4";
преобразование без fsck - "[tune2fs -j;] tune4fs -O extents,dir_index";
преобразование с fsck - "[tune2fs -j;] tune4fs -O extents,uninit_bg,dir_index; e4fsck -fDC0";
ускорение работы с атрибутами - "tune2fs -I 256";
extra_isize (размер inode), ext_attr, flex_bg и huge_file для существующей файловой системы установить нельзя;
совместимость только снизу вверх!):
- ext3 (ext4) ограничивает размер файловых систем 8TiB/работает или 16TiB/создаётся
(1EiB, e2fsprogs научилась создавать системы более 16ТБ в версии 1.42 (ноябрь 2011) - опция 64bit,
другие утилиты (resize2fs) - ещё нет; желательно ядро 3.2)
(ветка 64-bit),
а размер файлов - 2 TiB (16TiB)
- введение экстентов (до 128MB, 4 экстента непосредственно в inode)
позволяет ускорить удаление очень больших файлов и уменьшить фрагментацию
- задержка выделения блоков до реальной записи из кеша на диск позволяется выделять блоки непрерывными групппами
- предварительное выделение места под файл без физического заполнения его нулями ускоряет процесс
- предполагается реализация перспективного предварительного выделения
- возможно создать более 32 тысяч подкаталогов
- контрольные суммы для метаданных
- журнал может иметь контрольную сумму (позволяет ускорить работу с журналом на 20%)
- lazy_itable_init - ускоряет создание файловой системы в десятки раз (С F15 или RHEL6.2),
инициализация начинается после первого монтирования, занимает значительно больше времени (несколько суток на большой и медленной системе),
не прерывается, файловую систему нельзя размонтировать
- в будущем дефрагментирование без размонтирования (ожидается e4defrag) - добавлена в e2fsprogs 1.42
- ускорение fsck на незаполненных файловых системах (по количеству inode) после первого запуска
- предполагается реализация в будущем восстановление удалённых файлов
- увеличение точности времён создания, модификация и обращения к файлу с секунды до наносекунды
- введение номера версии файла (увеличивается на 1 при каждом изменении)
- место под inode увеличено по умолчанию со 128 байт до 256 байт,
зато сюда поместились расширенные атрибуты (ускорение доступа в 3-7 раз)
- отключение барьерной синхронизации записи данных и журнала (включена по умолчанию): "mount -o barrier=0"
- загрузка с ext4 работает начиная с F12
- filefrag (фрагментация файла) и e2freefrag (фрагментация свободного пространства) (не работают на больших файловых системах)
- кластеризация при выделении блоков (bigalloc): размер кластера - степень двойки числа блоков,
затраты на учёт кластеров значительно меньше затрат на учёт блоков, но затраты на хвосты увеличиваются
В ext4 изменён алгоритм выделения блоков:
маленькие запросы (менее /sys/fs/ext4/раздел/mb_stream_req, 16 = 64KiB) группируют мелкие файлы вместе (per-CPU),
большие - куском (per-inode). Прочие параметры:
- delayed_allocation_blocks
- inode_goal
- inode_readahead_blks - максимальное количество блоков предварительного чтения таблицы inode, 32, 128 KiB
- lifetime_write_kbytes - всего записано КиБ
- max_writeback_mb_bump - максимальное количество МиБ, которое алгоритм writeback обрабатывает до перехода к следующему inode, 128
- mb_group_prealloc
- mb_max_to_scan - максимальное количество экстентов, которое просматривает
алгоритм выделения блоков при поиске наиболее подходящего, 200
- mb_min_to_scan - 10
- mb_order2_req - минимальный размер запроса, при котором алгоритм выделения блоков рассматривает кеш, степень 2, 2
- mb_stats
- mb_stream_req - граница между большими и мылыми запросами, признак потока
- reserved_blocks
- session_write_kbytes - записано КиБ после текущего монтирования
При заполнении файловой системы на 97% начались тормоза при создании файлов (в 3-4 раза),
при запуске "rm -rf" скорость восстановилась, хотя заполненность продолжала превышать 98%.
Пакет e4fsprogs содержит утилиты
- создания файловой системы:
- mkfs.ext4
- mke4fs
- файл /etc/mke4fs.conf содержит параметры по умолчанию и описания шаблонов
sparse_super, filetype, resize_inode, dir_index, ext_attr,
has_journal, extents, huge_file, flex_bg, uninit_bg, dir_nlink, extra_isize,
inode_size = 256, inode_ratio = 16384, force_undo (выключен, всегда создавать журнал откатки)
- восстановления: e4fsck, e4fsck.conf
- настройки: e4label, tune4fs
- изменения размера: resize4fs
- восстановления файлов: e4undo
- отладки: debuge4fs, dumpe4fs, e4image, finde4fs
- отчёт о фрагментации указанного файла: filefrag, отчёт о фрагментации свободного пространства - e2freefrag
Отличия версий (RHEL 5.11 - 1.41.12; RHEL 6.8 - 1.41.12; RHEL 7.9 - 1.42.9; UEK6/u3 - 1.45.4):
- 1.46.5 относительно 1.45.6
- fast_commit (ядро 5.10), ускорение экспортированной по NFS файловой системы
- stable_inodes (не перенумеровывать inode при уменьшении файловой системы), требуется при шифровании
- mke2fs по умолчанию использует inode размером 256 байт
- 1.45.6 относительно 1.45.4
- chattr и lsattr поддерживают атрибут "x" (DAX)
- одновременная поддержка шифрования и casefold (бывший fname_encoding)
- 1.45.4 относительно 1.44.6
- force_fsck в tune2fs
- скрипт e2scrub_all и e2scrub (/etc/e2scrub.conf) позволяют автоматически запускать e2fsck на файловых системах под LVM
- 1.44.6 относительно 1.43.9
- large_dir (INCOMPAT_LARGEDIR) - файл-каталоги размером более 2ГБ и с деревом экстентов глубины 3 (было 2)
для 10 миллионов файлов в каталоге (при размере блока 4 КБ)
- ea_inode (INCOMPAT_EA_INODE) - большие расширенные аттрибуты во внешнем inode
- metadata_csum feature (RO_COMPAT_METADATA_CSUM) включена по умолчанию (уже было?)
- tune2fs запускает журнал и может потребовать fsck
- для полного тестирования необходимо запускать "make fullcheck"
- e2mmpstatus - информация о Multi-Mount Protection (MMP)
- verity (fsverity) - пока только установка флажка
- запросы на оптимизацию при запуске fsck спрашивают "Optimize?" вместо "Fix?"
- 1.43.9 относительно 1.43.3
- mke2fs -U {null | clear | random | time}
- можно отключить оптимизацию дерева экстентов в e2fsck
- debugfs может открывать файловые системы с неверной контрольной суммой суперблока
- debugfs logdump -S (вывести суперблок журнала)
- исправления ошибок
- 1.43.3 относительно 1.42.13
- контрольная сумма для метаданных (metadata_csum по умолчанию)
- встроенные в метаданные данные (inline_data)
- шифрование (encrypt)
- квотирование по проектам (project)
- режим только на чтение (?)
- удалены остатки кода для сжатия данных
- режим FUSE
- debugfs может изменять расширенные атрибуты и транзакции журнала
- resize2fs может преобразовать из 32-битного режима в 64-битный и обратно (на ходу?)
- при создании файловой системы размером более 500 ТБ автоматически включается meta_bg (он и раньше включался для 64bit,
который необходим для 500 МБ?)
- e2fsck может преобразовывать блочные структуры в экстентные
- появилась возможность ответа "yes to all" для e2fsck
- предзаполнение файловой системы при создании ("mkfs.ext4 -d")
- утилита e2fuzz - поломка образа ext4 для тестирования возможностей починки
- для систем с размером памяти более 128ГБ по умолчанию создаётся журнал размером 1ГБ (было 128МБ)
- 1.42.13 относительно 1.42.9
- "mke2fs -E packed_meta_blocks=0|1" (разместить журнал, битовые карты и таблицу inode в начале блочного устройства)
- "mke2fs -O sparse_super2 (не более 2 копий суперблока)
- "mke2fs -E offset=смещение-от-начала-устройства"
- для использования механизма скрытых квот рекомендуется 1.42.10 или выше
- опция hugefiles_align_disk в mke2fs.conf (выравнивание относительно начала диска, а не раздела)
- 1.42.9 относительно 1.42.8
- для пользователей с опцией 64bit рекомендуется 1.42.9 или выше
- 1.42.8 относительно 1.42.6
- ключи filefrag: -k, -b размер-блока, -e, -X
- e2image -a
- 1.42.6 относительно 1.42
- "mke2fs -D" (небуферизованный ввод/вывод, медленней, но меньше мешает другим)
- 1.42
- e2fsprogs научилась создавать системы более 16ТиБ (изменение размера только без размонтирования, причём требуется ядро 3.2)
- группировка блоков в кластеры (bigalloc) уменьшает размер битовых карт
- раздел devices в mke2fs.conf
- опция reserved_ratio в разделах default и fs_types в mke2fs.conf
- опция lazy_journal_init (необнуление журнала) ускоряет создание за цену небольшого риска
- другие умолчания при создании файловой системы (нет проверки по достижению числа монтирований и времени,
параметры массива не определяются автоматически по размеру блока устройства)
- e4defrag
- поддержка журнала более 2ГиБ
Сборка e4fsprogs (1.42.8, 1.42.10, 1.43.1, 1.43.3, 1.43.4, 1.46.5):
- mkdir build
- cd build
- ../configure [--enable-elf-shlibs] [--disable-fuse2fs] [--prefix=/usr/local] #
при использовании --enable-elf-shlibs разделяемые библиотеки кладутся в /usr/local/lib и от них начинают зависеть утилиты типа mount!
- make
- make [full]check # f_extent_oobounds: failed в 1.42.8 (в тесте используется системный debugfs)
- make install (требуется texi2dvi (пакет texinfo-tex) для libext2fs.dvi; добавляйте мысленно /usr/local перед именем файла,
если указали --prefix в configure, кроме кусков udev и systemd)
- /sbin/e2fsck (/sbin/fsck.ext2, /sbin/fsck.ext3, /sbin/fsck.ext4, [/sbin/fsck.ext4dev])
- /sbin/debugfs (!)
- /sbin/mke2fs (/sbin/mkfs.ext2, /sbin/mkfs.ext3, /sbin/mkfs.ext4, [/sbin/mkfs.ext4dev])
- /sbin/badblocks (!)
- /sbin/tune2fs
- /sbin/dumpe2fs
- /sbin/blkid # нет в 1.43.1 и выше; замещает системный и несовместим с ним по ключам,
что сбивает с толку dracut при загрузке CentOS 6.2 (надо вручную "lvm vgchange -a y system")
- /sbin/logsave
- /sbin/e2image
- /sbin/fsck (!)
- /sbin/e2undo
- /usr/sbin/mklost+found
- /usr/sbin/filefrag (!)
- /usr/sbin/e2freefrag
- /usr/sbin/uuidd (!) # нет в 1.43.1 и выше
- /usr/sbin/e4defrag
- /sbin/e4crypt
- /sbin/findfs (?) # нет в 1.43.1 и выше
- /usr/bin/chattr (!)
- /usr/bin/lsattr (!)
- /usr/bin/uuidgen (!) # нет в 1.43.1 и выше
- /usr/lib/e2initrd_helper (64-bit!!)
- /sbin/resize2fs
- /usr/share/man8: e2fsck.8 (fsck.ext2.8, fsck.ext3.8, fsck.ext4.8, fsck.ext4dev.8), debugfs.8, tune2fs.8, mklost+found.8,
mke2fs.8 (mkfs.ext2.8, mkfs.ext3.8, mkfs.ext4.8, mkfs.ext4dev.8), dumpe2fs.8, badblocks.8, e2label.8, findfs.8,
blkid.8, e2image.8, logsave.8, filefrag.8, e2freefrag.8, e2undo.8, uuidd.8, e4defrag.8, fsck.8, resize2fs.8, e2scrub.8, e2scrub_all.8
- /usr/share/man5: e2fsck.conf.5, mke2fs.conf.5, ext4.5 и ext2.5 и ext3.5 (с версии 1.42.13?)
- /usr/share/man/man1: chattr.1, lsattr.1, uuidgen.1,
- /etc/mke2fs.conf (если место занято, то /etc/mke2fs.conf.e2fsprogs-new)
- /usr/share/locale/??/LC_MESSAGES/e2fsprogs.mo
- /usr/share/info/libext2fs.info.gz
- scrub: /usr/lib/udev/rules.d/e2scrub.rules (/usr/lib/udev/rules.d/96-e2scrub.rules),
/etc/cron.d/e2scrub_all - закоментарить?, /usr/lib/e2fsprogs/e2scrub_all_cron,
/usr/lib/e2fsprogs/e2scrub_fail, /usr/lib/systemd/system/{e2scrub@.service, e2scrub_all.service (выключен), e2scrub_all.timer,
e2scrub_fail@.service, e2scrub_reap.service (выключен)}, /usr/sbin/e2scrub, /usr/sbin/e2scrub_all, /etc/e2scrub.conf (выключен)
- /root/e2fsprogs-1.46.5/doc/ (libblkid.txt, libext2fs.texinfo, Makefile.in, RelNotes/, texinfo.tex)
- libcom (1.46.5): /usr/local/lib/libcom_err.a, /usr/local/include/et/com_err.h, /usr/local/share/et/et_c.awk,
/usr/local/share/et/et_h.awk, /usr/local/bin/compile_et, /usr/local/share/man/man3/com_err.3,
/usr/local/share/man/man1/compile_et.1, /usr/local/lib/pkgconfig/com_err.pc
- libss (1.46.5): /usr/local/lib/libss.a, /usr/local/include/ss/ss.h, /usr/local/include/ss/ss_err.h,
/usr/local/share/ss/ct_c.awk, /usr/local/share/ss/ct_c.sed, /usr/local/bin/mk_cmds, /usr/local/share/man/man1/mk_cmds.1,
/usr/local/lib/pkgconfig/ss.pc
- libe2p (1.46.5): /usr/local/lib/libe2p.a, /usr/local/include/e2p/e2p.h, /usr/local/lib/pkgconfig/e2p.pc
- [make install-libs] # статические библиотеки в /usr/local/lib; похоже, что они теперь в "make install": /usr/local/lib/libext2fs.a,
/usr/local/include/ext2fs/, /usr/local/lib/pkgconfig/ext2fs.pc
Аттрибуты (chattr, lsattr):
- a - только расширение
- A - не изменять время доступа к файлу
- c - хранить в сжатом виде (нет в ext4)
- C - отключить копирование при записи (нет в ext4)
- d - не резервировать командой dump
- D - синхронное обновление каталога (dirsync на каталог)
- e - экстентный формат файла
- E - ошибка сжатия (нет в ext4)
- h - файл более 2ТБ
- i - immutable (нельзя изменить, удалить, переименовать, сделать ссылку)
- I - каталог индексирован
- j - журналирование данных
- N - данные встроены в inode (нет в ext4)
- s - безопасное удаление - заполнение нулями (нет в ext4)
- S - синхронное изменение данных (sync на файл)
- t - не паковать хвост файла к другим файлам (нет в ext4)
- T - вершина файловой иерархии, подсказка для алгоритма выделения блоков
- u - при удалении содержимое сохраняется для возможности восстановления (нет в ext4)
- x - DAX
- X - compression raw access (нет в ext4)
- Z - compressed dirty file (нет в ext4)
Опции mount для ext2, ext3 и ext4 (см. ext4(5) или /usr/share/doc/kernel-doc-*/Documentation/filesystems/ext4.txt,
умолчания берутся из суперблока (tune2fs), стандартные опции описаны в документации по команде mount(8))
- acl|noacl (POSIX Access Control Lists)
- bsddf|minixdf (свободных полезных блоков/всего свободных блоков)
- debug
- errors={continue|remount-ro|panic} (что делать при обнаружении ошибки в файловой системе)
- nogrpid|sysvgroups|grpid|bsdgroups (создавать новый файл с группой процесса (если каталог не имеет бита setgid) или каталога)
- quota|noquota|grpquota|usrquota (считать квоту по пользователям и группам, версия 1 системы квотирования)
- orlov (новый алгоритм выделения блоков, по умолчанию)
- oldalloc (старый алгоритм выделения блоков)
- resuid=идентификатор и resgid=идентификатор (кому выдавать зарезервированное место)
- sb=килобайт (смещение неповреждённого суперблока)
- user_xattr|nouser_xattr (поддерживать расширенные атрибуты "user.")
Дополнительные опции mount для ext3 и ext4:
- ro (при этом журнал проигрывается и запись делается!)
- norecovery|noload (не проигрывать журнал)
- journal=update (преобразовать журнал в новый формат)
- journal_dev=major:minor и journal_path=путь (хранить журнал на указанном устройстве)
- data={ordered|journal|writeback} (данные пишутся до записи метаданных в журнал, данные журналируются, порядок записи не отслеживается;
для корневой файловой системы необходимо указывать параметр загрузки: "root-flags=data=journal")
- data_err={ignore|abort} (обработка ошибок в режиме data=ordered)
- barrier|nobarrier (использовать барьеры записи для упорядочивания запросов записи;
требуется поддержка по всему стеку ввода/вывода;
для дисков без кеша записи или с батарейкой можно отключить, что увеличит производительность)
- commit=секунд (5; интервал между синхронизации данных и метаданных на диск; для увеличения производительности увеличить)
- usrjquota=aquota.user|grpjquota=aquota.group|jqfmt=vfsv0 (версия 2 системы квотирования - журналируемая)
Дополнительные опции mount для ext4:
- journal_checksum
- journal_async_commit (не дожидаться завершения записи в журнал, включает journal_checksum;
в RHEL7.2 несовместим с data=ordered несмотря на nobarrier)
- inode_readahead_blks=блоков (32 по умолчанию)
- stripe=блоков-файловой-системы (используется алгоритмом выделения блоков для выравнивания;
число дисков с данными в RAID * размер полоски)
- delalloc|nodelalloc (отложенное до момента записи выделение блоков; ускоряет работу)
- max_batch_time=микросекунд (15000; максимальное время ожидания следующего запроса
при склейке запросов синхронной записи)
- min_batch_time=микросекунд (0; увеличение улучшает пропускную способность многопотоковой синхронной записи
за счёт увеличения задержек)
- journal_ioprio=приоритет (3; от 0 - высший - до 7; обычный ввод-вывод имеет приоритет 4)
- auto_da_alloc|noauto_da_alloc (борьба с обнулением файлов после аварийного отключения)
- noinit_itable (отложить фоновую инициализацию таблицы inode до следующего монтирования)
- init_itable=число (задержка, определяет скорость фоновой инициализации таблицы inode, 0 - максимальная)
- nodiscard|discard (использовать TRIM или UNMAP для SSD и "тонких" логических томов), выполняются последовательно до ядра 4.13
- nouid32 (использовать 16-битные UID и GID для совместимости)
- noblock_validity|block_validity (дополнительные проверки для отладки)
- bh|nobh (привязывать "buffer heads" к страницам данных для гарантии упорядочивания;
отключать можно только для "data=writeback"; удалено?)
- dioread_lock|dioread_nolock (dioread_nolock позволяет не использовать inode mutex,
что увеличивает масштабируемость; не совместим с журналованием данных, только для файлов с экстентами)
- max_dir_size_kb=число (ограничить максимальный размер каталога)
- i_version (64-битный inode)
- nombcache (отключить использование mbcache для дедупликации расширенных атрибутов)
- prjquota (квотирование проектов)
Ускорение ext4 за счёт увеличения вероятности проблем, ключи монтирования:
- -o barriers=0 (по умолчанию, используются барьеры синхронизации в очереди запросов)
- -o data=writeback[,nobh] (можно получить мусор в открытых на момент сбоя файлах)
- -o stripe= (подобрать в соответствии с используемым RAID)
- -o commit=10 (по умолчанию делается sync каждые 5 секунд)
- -o journal_async_commit[,journal=update] (не ждать завершения записи журнала)
- -o max_batch_time=30000,min_batch_time=10000 (по умолчанию, параметры пакования запросов - 15000 и 0)
О поддержке реально больших разделов - комментарий от 19 июня 2014
Поддержку 128Т запилили. причем около года назад - до этого e2fsck корежил файлы за пределами 32T.
Режим over 128T пока не тестирован в e2fsprogs и ext4. честно.
Причем я знаю до сих пор места в e2fsprogs которые могут выстрелить при работе с дисками в 128Т и данные будут частично поехерены
Управление через файлы в /proc/fs/ext4/устройство и /sys/fs/ext4/устройство (
delayed_allocation_blocks (ro), inode_goal, inode_readahead_blks, lifetime_write_kbytes (ro),
max_writeback_mb_bump, mb_group_prealloc, mb_max_to_scan, mb_min_to_scan, mb_stream_req,
session_write_kbytes (ro)).
Доступ к файловой системе ext2/ext3/ext4 (?) для MS Windows 7 возможен с помощью
драйвера файловой системы ext2fsd.
Фрагментация под Linux: Настройка файловой системы Ext3.
Если необходимо размонтировать (umount) не дожидаясь завершения
процессов, то можно использовать ключ "-f" в Solaris (процессы получат сообщения
об ошибках ввода-вывода) или ключ "-l" в Linux (реальное размонтирование
произойдёт по завершению процесса). Ключ "-f" также действует в Linux для NFS.
Опции монтирования можно указать в /etc/fstab, в командной строке после ключа -o
или в настройках автомонтировщика. Возможные препятствия к размонтированию:
- какой-то процесс держит файл - найти (lsof, fuser) и уничтожить
- какой-то процесс сделал open(O_CREAT)+unlink+mmap+close, такой файл не виден по lsof; можно искать в /proc/*/smaps по слову deleted
- экспортируется в NFS (заблокировать экспорт и остановить NFS и rpcidmapd, umount /proc/fs/nfsd) или smbd
- GlusterFS
- ещё какой-то модуль ядра (iscsi: tgt или iec, exportfs, fscache, lockd?)
- проверить multipathd
- проверить smartd
- проверить loop-устройства ("losetup -a")
- проверить swap-файлы
- не было ли "mount --bind"?
- проблемы с устройством
- /proc/*/root (chroot)
- /proc/*/mounts (и mountstats и mountinfo)
- /proc/*/cwd
- ? символьные линки снаружи внутрь (lsof +D имя-файла)
- encfs
Работа с квотами
- посмотреть (двоичные): quota -sg имя-группы
- посмотреть всё (десятичные): repquota [-g] файловая-система
- установить: setquota
- изменить: edquota
- включить: quotaon
Поиск файлов: locate. Создание базы данных для поиска: /etc/cron.daily/updatedb.cron
(в RH 6.2 /etc/cron.daily/slocate.cron). Добавить ключ "-l 0", что
слегка уменьшает безопасность, зато не надо переходить в root, чтобы найти
ВСЕ файлы. Добавить в список непросматриваемых директорий всякие squid-кеш
и inn-иерархии.
Очистка памяти от кеша страниц файлов:
sync
echo 3 > /proc/sys/vm/drop_caches
Планировщики запросов ввода/вывода
Запросы на чтение и запусь помещаются в очередь.
Имеется упреждающее чтение (blockdev --getra/--setra).
Запросы на чтение имеют больший приоритет.
Соседние запросы группируются вместе.
Адлгоритмы упорядочивания (планирования) запросов (/sys/block/sdX/queue/scheduler, /sys/block/sdX/queue/iosched/):
- cfq (completely fair queuing, абсолютно справедливая очередь), по умолчанию;
несколько подочередей (до 64), головные запросы из которых переносятся в общую очередь диспетчера;
не даёт одному процессу захватить все ресурсы
- quantum (количестве подочередей, обслуживаемых в каждрм кванте)
- queued (максимальный размер подочереди)
- deadline: для каждого запроса устанавливается крайний срок обслуживания, по достижению которого
он получает максимальный приоритет; для реального времени
- read_expire (крайний срок в милисекундах)
- write_expire
- fifo_batch (количество запросов в пакете, которые будут обслужены немедленно после достижения крайнего срока)
-
- writes_starved (приоритет чтения перед записью)
- front_merges (сколько запросов в начале очереди можно объединить)
- anticipatory: делается некоторая задержка перед выполнением запроса в предположении,
что следующий запрос будет в соседнюю область; противопоказан для СУБД)
- read_expire (крайний срок в милисекундах)
- write_expire
- read_batch_expire
- write_batch_expire
- antic_expire (величина задержки в милисекундах)
- noop: первый пришёл - первым обслужен, с учётом возможного слияния; рекомендуется для SSD и хороших RAID/SAN
Трассировка и проигрывание запросов ввода/вывода
blktrace и seekwatcher
Утилита fstrim позволяет сообщить блочному устройству о неиспользуемых блоках (для SSD и thin provision
swap
Linux позволяет использовать от 1 до 8 разделов диска (тип раздела - 0x82)
или файлов в качестве swap-области. Нельзя использовать файлы с "дыркамиЭ
и файлы на сетевых файловых системах (NFS, SMB/CIFS).
Максимальный размер раздела/файла для Intel-архитектуры - 2TB
(на каждый MB swap-области тратится 1KB ОЗУ).
Создание swap-области: mkswap
имя-файла-или-раздела (файл или раздел
требуемого размера надо создать заранее). Включение файла/раздела в работу:
swapon [-p приоритет ] имя-файла-или-раздела.
Приоритет может быть установлен от 0 до 32767 (больше число - выше приоритет).
Без указания этого параметра устанавливается отрицательный приоритет (для
каждой следующей swap-области ещё уменьшается).
В первую очередь используется место в swap-области с более высоким приоритетом.
Если существует несколько областей
с равным приоритетом, то обеспечивается балансировка нагрузки, так что
полезно разнести их по разным дискам/каналам.
Похоже, что в 2.6 при добавлении третьего раздела приоритеты не учитываются.
Прекратить использование области: swapoffимя-файла-или-раздела
(на больших заполненных разделах требует часов CPU).
Посмотреть, какие swap-области используются и как: swapon -s (или cat /proc/swaps).
Чтобы обеспечить автоматическое включение файла/раздела в работу при начальной
загрузке, надо занести в /etc/fstab строку:
имя-файла-или-раздела none swap pri=приоритет 0 0
(в /etc/rc.d/rc.sysinitвыдается команда swapon -a, надеюсь,
что после монтирование всех локальных файловых систем).
Переменная ядра /proc/sys/vm/swappiness позволяет управлять интенсивностью
перемещения давно неиспользуемых страниц процесса в swap: 0 - пытаться не помещать вовсе,
100 - помещать при первой возможности.
compcache -
создание блочного устройства в памяти (/dev/ramzswap0),
в котором будут храниться сжатые страницы для swap (несжимаемые страницы
переправляются на настоящий swap, для версии 0.6 требуется ядро 2.6.28):
- требуется пакет kernel-devel
- wget http://compcache.googlecode.com/files/compcache-0.5.tar.gz
- развернуть
- make # создаются модули ядра lzo1x_compress.ko, lzo1x_decompress.ko,
xvmalloc.ko и compcache.ko (параметр compcache_size_kbytes=КБ)
- установить модули по месту?
- загрузить модули из текущего каталога
- /sbin/insmod lzo1x_compress.ko
- /sbin/insmod lzo1x_decompress.ko
- /sbin/insmod xvmalloc.ko
- /sbin/insmod compcache.ko compcache_size_kbytes=КБ
- /sbin/udevadm settle # sleep 2
- /sbin/swapon /dev/ramzswap0 -p 100
- /proc/compcache (ошибки при переходе через 4GB?) и /proc/xvmalloc (?) содержат статистику
zram - наследник compcache (блочные устройства /dev/zramНомер в памяти, в которых будут храниться сжатые страницы для swap).
Модуль ядра 3.14 zram (параметр num_devices, по умолчанию - 1) обеспечивает блочное устройство /dev/zramНомер
для swap или файловой системы (iostat показывает одни нули). Ручки управления устройствами - /sys/class/zram-control/
(для добавления устройства прочитать /sys/class/zram-control/hot_add).
Ручки управления отдельным устройством в /sys/block/zramНомер (имеется вспомогательная утилита zramctl):
- max_comp_streams - количество потоков сжатия, установить до инициализации устройства (нет в CentOS6)
- comp_algorithm - алгоритм сжатия lzo или lz4 (не обнаружил, предпочёл бы zstd с возможностью указать уровень),
установить до инициализации устройства (нет в CentOS6)
- disksize - размер swap до сжатия, можно указывать суффиксы K, M и G; установить до инициализации устройства (в CentOS6 в байтах)
- mem_limit - максимальный размер используемой памяти (0 - без ограничений?), можно указывать суффиксы K, M и G;
можно изменять во время использования (нет в CentOS6)
- reset - сбросить устройство и уменьшить размер до 0
- alignment_offset, badblocks, bdi, capability, dev, discard_alignment, ext_range, holders, inflight, power, queue, range,
removable, ro, size, slave, stat, subsystem, trace, uevent - управление блочным устройством и его статистика
- compr_data_size (размер данных после сжатия), failed_reads, failed_writes, initstate (инициализировано или нет),
invalid_io (невыровненных запросов),
io_stat, mem_used_max, mem_used_total, mm_stat, notify_free, num_reads, num_writes,
orig_data_size (размер данных до сжатия), zero_pages (количество заполненных нулями страниц) -
статистика zram (переносится в stat и mm_stat и io_stat, см. blockdev/zram.txt и obsolete/sysfs-block-zram)
Тестирование на 3 numademo (CentOS 7.4, 2 сокета по 8 ядер (Intel(R) Xeon(R) CPU E5-2667 v4 @ 3.20GHz), свободный сервер, lzo, 16 потоков) -
при переходе через край (3x86GB для 256GB) скорость падает с 5 или 8 GB/s до 3 GB/s, сразу за краем - до 1.1 GB/s, при превышении 10% - меньше 0.4GB/s
(терпения хватило на 40 минут). Увеличение числа устройств до 4 ничего не дало.
Тестирование моделирования netlist на сервере с 256ГБ (CentOS 7.4, 2 сокета по 8 ядер (Intel(R) Xeon(R) CPU E5-2667 v4 @ 3.20GHz),
свободный сервер, сжатие swap в 3.2)
- требование 268ГБ - замедление на 0%
- требование 295ГБ - замедление на 0%
- требовании 322ГБ - замедление на 11% (трешинг чтения при старте, 94% cpu)
- требование 348ГБ - замедление в 1.2 раза (трешинг чтения при старте, 91% cpu)
- требование 375ГБ - замедление в 1.23 раза (трешинг чтения при старте, 89% cpu)
- требование 402ГБ - замедление в 1.34 раза (трешинг чтения при старте, 84% cpu)
- требовании 429ГБ - замедление в 1.39 раза (трешинг чтения при старте, 82% cpu)
[в CentOS 6] zabbix считает, что 99.99% всегда свободно
zswap - похожий проект (сжатые страницы для swap кешируются в памяти, при достижении границы размера пула декомпресируются?
и сбрасываются в swap, LRU, vm/zswap.txt). Встроенный в ядро 3.11 модуль. Управление через параметры модуля в /sys/module/zswap/parameters/
- zswap.enabled=1 при загрузке,
- zswap.compressor=lzo # deflate?
- zswap.zpool=zbud,
- zswap.max_pool_percent=20 можно менять динамически
Статистика и ручки управления в /sys/kernel/slab/zswap_entry/ (особенно shrink).
Статистика в /sys/kernel/debug/zswap/ (pool_total_size, written_back_pages).
Тестирование на 3 numademo (CentOS 7.4, 2 сокета по 8 ядер (Intel(R) Xeon(R) CPU E5-2667 v4 @ 3.20GHz), свободный сервер, lzo, 20%) -
при переходе через край (3x86GB для 256GB) скорость падает с 5 или 8 GB/s до 0.9GB/s, сразу за краем - до 0.6GB/s, при превышении 10% - ?.
Тестирование моделирования netlist на сервере с 256ГБ (CentOS 7.4, 2 сокета по 8 ядер (Intel(R) Xeon(R) CPU E5-2667 v4 @ 3.20GHz), свободный сервер)
- требование 268ГБ - замедление на 0.5%
- требование 295ГБ - замедление на 6%
- требование 322ГБ - замедление на 16% (трешинг чтения при старте)
- требование 348ГБ - замедление на 33% (сильный трешинг чтения при старте, cpu всего 86.5%)
- при дальнейшем увеличении требований неожиданно вышели за ограничене пула в 50%
Управление виртуальной памятью: Linux выделяет виртуальную память в зависимости от установки
/proc/sys/vm/overcommit_memory (можно посмотреть в /proc/meminfo текущий предел (CommitLimit) и выделение (Committed_AS),
mmap в режиме read-only или приватный shared бесплатно;
shmfs также выделяется отсюда):
0 - используется неестественный интеллект при определении сколько виртуальной памяти можно выделить
(выделяется заведомо больше, чем есть реальной и swap в расчёте на то, что вся затребованная виртуальная
память использоваться не будет); root получает больше остальных
- 1 - выделять виртуальную память всегда, невзирая на последствия
- 2 - выделять виртуальной памяти не более, чем (размер swap + overcommit_ratio/100 * размер физической памяти);
по умолчанию, overcommit_ratio равен 50; overcommit_kbytes позволяет задать явное значение
Если ожидания по поводу неиспользования виртуальной не оправдались и закончились физическая память и swap,
то в действие вступает OOM killer (oom-killer), который убивает задачу с максимальным /proc/$$/oom_score.
Алгоритм подсчёта oom_score менялся со временем.
Первоначально (RHEL5) использовался неестественный интеллект (его поведением можно управлять с помощью /proc/$$/oom_adj,
которая принимает значения от -17 (не убивать этот процесс никогда) до 15 (убивать в первую очередь)).
Затем (RHEL6) алгоритм упростили до подсчёта занимаемой процессом доли ОП (от 0 до 1000) c вычитанием 30 для процессов пользователя root
и ручной настройкой с помощью /proc/$$/oom_score_adj (от -1000 до 1000), для совместимости сохранена переменная /proc/$$/oom_adj.
Если выбран процесс, у которого есть непосредственный подпроцесс с отдельным адресным пространством, то убивается он.
Переменная /proc/sys/vm/vfs_cache_pressure управляет кого удалять из кеша при недостатке памяти -
страницы файлов (cache) или inode/dentry (buffers): 100 - поровну,
0 - не вытеснять inode/dentry совсем (утекают всё-равно, система можен зависнуть под нагрузкой).
Кстати, 6.7 миллиона файлов занимают 10 ГБ памяти, а find ускоряется со 150 минут до 20 секунд.
Вместо убийства процесса oom-killer может устроить общую панику: "sysctl vm.panic_on_oom=1; sysctl kernel.panic=1".
Переменная /proc/sys/vm/admin_reserve_kbytes (RHEL6) определяет резерв (по умолчанию - 3% (8MB) от свободных страниц)
для пользователя с возможностями cap_sys_admin. Рекомендуется увеличить до 128MB.
Поиск сервера: nmblookup имя-NetBIOS
Поиск главного по группе: nmblookup -M имя-группы
Поиск самого главного: nmblookup -M -- -
Опрос списка ресурсов: smbclient -L s1108
Пробное подключение: smbclient //имя-NetBIOS/ресурс -U имя-пользователя
Добавление пользователя: smbpasswd -a
Трассировка обращений к файлам
(запись в файл - 'open|ok|w')
accton, sa, sar, ac, who, last.
Сервера и клиенты Internet
Приложения
Проблемы
Завершение зомби процессов
Завершенный процесс, который не смог сообщить о своём завершении родителю, переходит в состоянии зомби
(состояние процесса 'Z' по команде "ps -el"). Сигналы, включая "kill -9" на него не действуют
(он уже мёртвый). Необходимо как-то воздействовать на родительский процесс, например, завершить его.
Если родительский процесс находится в состоянии 'T', то можно попробовать снять его
программой "ltrace -t номер-процесса".
Если родительский процесс ожидает доступа к устройству, то обеспечить его.
Трассировка suid-программ
например, системные вызовы newgrp:
strace -D -f -o /tmp/newgrp.strace su -c "newgrp cds" - bog
Порталы, посвященные Linux:
Документация
- The Linux Documentation Project
- виртуальная энциклопедия
- Russian LDP
- ссылки на opennet.ru (400 kB)
- там же, но классифицированные
- команда man; обычно с помощью
команды man можно посмотреть описание консольных команд (например: man man);
язык задаётся переменной окружения LANG (например: LANG=ru_RU.UTF-8 man ls);
при просмотре используется команда less (в старых версиях more), так что доступны
все её возможности по навигации и поиску
- man -k (whatis): поиск команды по ключу (должна быть создана
поисковая база whatis: /etc/cron.weekly/makewhatis.cron)
- директория /usr/share/doc или /usr/doc (LDP, HOWTO, FAQ)
- CD с документацией из полного комплекта RedHat
- Получить список документации, связанный с конкретной командой можно
используя
rpm -qdfполное-имя-команды
- команда whereis выдаёт местонахождение программы и документации
- команда locate для поиска файла (необходимо убедиться, что БД поиска
ежедневно обновляется)
- команда info, программы из проекта GNU обычно описаны здесь подробнее, чем в man
Книги
- Daniel P. Bovet, Marco Cesati. Understanding the Linux Kernel, 3rd Edition. 2005. O'Reilly
(ядро 2.6.11)
|
Bog BOS: Linux с точки зрения системного администратора
|
Copyright © 1996-2024 Sergey E. Bogomolov; www.bog.pp.ru