Romanenko Alexey's hompage

я─я┐я│ eng

Resume

My work

Papers

Education

Hobbies

Загрузка машин по сети

(из опыта загрузки машин по сети под Linux)

Прежде чем заниматься настройкой загрузки компьютеров по сети необходимо понять зачем это может быть нужно, да и выгодно ли это.

У нас в лаборатории был собран кластер (система распределенного вычисления) состоящий из 16 машин, и в виду следующих причин было принято решение задействовать данный механизм.

На всех машинах установлено одно и то же программное обеспечение, большая часть которого раздавалось с сервера по NFS.
Во время счета локальный диск практически не использовался.
Отказ от винчестеров приводит к повышению надежности системы и понижению ее стоимость.
Сеть во время работы кластера была загружена слабо (особенность счета на кластере - время счета должно значительно превышать время пересылки данных).
Централизованное администрирование гораздо проще.

Может также быть выгодно загружать старенькие "четверки" по сети и использовать их в качестве X-терминалов. С нашей стороны обнаружилась еще одна возможность применения загрузки по сети - восстановление образов дисков в терминальных классах.

Итак, решено, что загрузки по сети выгодна (либо просто удобна) и этим стоит заняться. Что же для этого необходимо? Для того чтобы иметь возможность загружать компьютеры по сети необходимо иметь сетевые карты, способные узнавать в сети информацию о компьютере и самостоятельно загружать необходимую базовую часть операционной системы (ядро). Для этого сетевые карты оснащаются EPROM-ами (FLASH-ками) - микросхемами, в которые записывается программа начальной загрузки. BIOS, если в нем указано, что необходимо загружаться по сети, считывает из сетевой карточки данную программу и передает ей управление. Программа начальной загрузки вытаскивает из сети ядро операционной системы, распаковывает его, передает ему управление после чего идет обычный процесс загрузки ОС.

Со стороны сервера никаких приседаний по изменению аппаратного обеспечения обычно делать не приходится, разве что увеличить объем памяти. От него требуется на запрос компьютера сообщить его IP, отдать ядро, корневую файловую систему и другие необходимые для работы сетевые ресурсы. Вот собственно и все.

Начнем с настройки клиентской машины. Первым делом стоит найти сетевую карточку со встроенной FLASH, или хотя бы с панелькой под нее. В последнем случае можно использовать вместо FLASH EPROM (это может оказаться выгодно в ценовом плане), но прежде чем покупать EPROM или записывать в него программу следует убедиться, что он совместим с карточкой. Сейчас в продаже существует довольно много разных карт, так что поиск подходящей вам больших проблем составить не должен. Мы использовали сетевые карты Intel EtherExpress/100+ (i82557).

Далее стоит вопрос, где взять программу начальной загрузки. Существует много компаний, пишущих эти программы (некоторые разработчики сетевых карт имеют свои коды), но, на мой взгляд, наиболее популярной и удобной является Etherboot. Она позволяет создавать загрузчики для довольно большего числа различных карт, кроме того, она позволяет создавать образы данных программ для дискет и LILO (LInux LOader), что может оказаться удобным для отладки механизма загрузки при отсутствии сетевых карт с BootROM. Создание программы заключается в установки параметров в конфигурационном файле и запуске программы make. Если нет желания копаться и править конфигурационные файлы руками, можно скачать программу для BootROM по адресу http://rom-o-matic.net/4.6.12/. Там вам предложат установить параметры и выбрать тип карточки с помощью мыши. Размер файла начальной загрузки обычно не превышает 32KB.

Чтобы записать файл в память сетевой карты можно воспользоваться либо программатором, если есть возможность извлечь микросхему, или используя утилиты от фирмы производителя сетевых карт. Для того чтобы поместить программу на дискету можно воспользоваться утилитой dd под Unix, либо программой rawrite. В случае вызова программы из LILO достаточно поместить в файл lilo.conf две строчки:

image=<путь до файла начальной загрузки>
    label=net

Теперь при запуске, если все сделано правильно, компьютер должен обратится в сеть и попробовать получить свой IP адрес, но этого он сделать не сможет, пока не настроен сервер, о чем он радостно и сообщит.

Займемся настройкой сервера. Настройка сервера заключается в конфигурации сервисов DHCP, TFTP и NFS. Первый отвечает за то, что бы выдать загружаемому компьютеру адрес, имя, другие параметры сети и сказать, файл с каким именем является ядром операционной системы. Для сети с приватными адресами файл dhcpd.conf может выглядеть как

option domain-name "private.net";
option domain-name-servers 192.168.1.1;
option subnet-mask 255.255.255.0;

subnet 192.168.1.0  netmask 255.255.255.0 {
    option broadcast-address 192.168.1.255;
    option routers 192.168.1.1;

    host ws01 {
      filename "netbootkernel_ws01";
      hardware ethernet 0:60:cc:63:46:a2;
      fixed-address 192.168.1.2;
    }

    ... Описание других машин
}

После настройки сервиса DHCP и его запуска, клиентская машина должна уже быть способна получать свое имя, адрес и "засыпать" при попытке скачать файл netbootkernel_wsXX. Вместо сервиса DHCP можно использовать BOOTP сервис, о настройках которого можно прочитать в приложенной к нему документации.

Перекачивание ядра ОС происходит по протоколу TFTP (Trivial File Transfer Protocol). Настройка его заключается в установке пакета tftp и внесении строчки

tftp  dgram  udp  wait  root  /usr/sbin/tcpd  in.tftpd /mnt/storage/netbootkernels

в файл /etc/inet.d. Последним параметром указана директория, в которой будут искаться ядра операционных систем. При отсутствии данного параметра файл ядра будет браться из директории /tftpboot. Все директории и файлы должны быть доступны на чтение всем (rw-r--r--).

Ну вот, все готово для загрузки ядра. Остается это ядро собрать и положить в директорию /mnt/storage/netbootkernels. При компиляции все, что может понадобиться до того, как будут подключены сетевые ресурсы, необходимо встроить в ядро (сетевые карты, поддержка чипсетов, многопроцессорности, протоколов NFS, TCP и пр.). Так же в ядро надо сказать "Yes" напротив автоконфигурации ядра по протоколу BOOTP (в данном случае это и протокол DHCP тоже), а во вкладке "Сетевые файловые системы" указать, что корень файловой системы будет подключаться по протоколу NFS. Устройства типа loopback, поддержка vfat, floppy и cdrom могут быть собраны как модули.

После выполнения команд

Make dep; make bzImage;

ядро почти готово к тому, чтобы быть положенным в каталог, откуда будет забрано по протоколу tftp, недостает в нем одного - указания, где взять корень файловой системы. В пакет etherboot (версии до 4.7) водила небольшая утилита - mknbi, написанная на Perl'е, которая в готовое ядро позволяла вносить путь до корневой файловой системы, и ряд других параметров, при загрузке с жесткого диска доступных через параметр append. Позднее данная утилита выделилась в отдельный пакет. В большинстве случаев над ядром достаточно выполнить операцию (предполагается, что root для машины ws01 находится в /mnt/storage/ws01)

mknbi-linux --rootdir=/mnt/storage/ws01 bzImage> /mnt/storage/netbootkernels/netbootkernel_ws01

Если требуется создавать не одно ядро из одного и того же образа, то выгодно написать небольшой скрипт.

Теперь необходимо создать содержимое папки /export/storage/ws01, которое будет монтироваться бездисковой машиной как / (root). Можно поступить довольно просто: на свободный раздел поставить базовую часть ОС и все, что может понадобиться, и потом работать с ней. Есть вариант распаковать содержимое корневого раздела с одной из установочных дискет, а дальше править скрипты.

Если был выбран первый вариант, необходимо после установки пробежаться по списку пакетов, удаляя все лишнее и ставя необходимое. Поправить содержимое файлов настройки сети, файла fstab, conf.modules и некоторых других. Стоит сразу удалить из директории /dev файлы устройств, которые не будут использоваться (лишнее место на диске). Для всех рабочих станций образ корня можно создать простым копированием (cp -Rdp). Для экономии места на диске содержимое директорий /usr и /home может быть вынесено, и раздаваться всем машинам в сети (/home не только бездисковым). После причесывания и вычищения, если в корне остаться около 10MB и еще 15MB в /usr, то Вы поработали не плохо.

Мне показалось более правильным править не саму корневую файловую систему, а ее копии (мало ли что захочется доставить). Был написан скрипт, который вытирал все ненужные файлы, исправлял файлы конфигурации и создавал необходимое количество копий для бездисковых машин.

Раздача ресурсов (/, /usr, /home) происходит по протоколу NFS и настройка данного сервиса заключается в модификации содержимого файла /etc/exports. Этот файл может выглядеть, например, так:

# всем /usr только на чтение
/mnt/storage/all  ws*.private.net(ro)
# всем домашний каталог
/home             ws*.private.net(rw,no_root_squash)
# каждой станции свою корневую файловую систему
/mnt/storage/ws01 ws01.private.net(rw,no_root_squash)
/mnt/storage/ws02 ws02.private.net(rw,no_root_squash)
.........
/mnt/storage/ws15 ws15.private.net(rw,no_root_squash)

Вот, вроде и все. Если все выполнено корректно, то бездисковые машины должны загрузиться без проблем. В противном случае стоит читать более подробную документацию по настройки сервисов, сборке ядра, и по самой операционной системе.

Однако, можно пойти дальше. Когда нужны разные образы ядра для каждого компьютера? Тогда, когда для каждой машины необходимо подключать свою корневую файловую систему с индивидуальными настройками сети, набором пакетов и пр. Кроме того, различный "корень" был необходим чтобы у каждой системы были собственные файлы hostname, mtab и пр. Если же все машины идентичны, то можно обойтись и одним образом ядра ОС и одной корневой файловой системой разместив ее в ОЗУ.

Итак, для начала займемся пересборкой ядра. Остаются все настройки, которые были указаны выше, за исключением того, что больше не будем брать корневую файловею систему по сети (необходимо снять этот флажек), включим поддержку devfs (это позволит сэкономить немного памяти) с автоматическим подключением ее при загрузке. Также в разделе "Блочные устройства" говорим, "YES" напротив полей RAM disk support и Initial RAM disk support. Устанавливаем размер RAM диска равный 10МБ. Этот размер должен быть достаточен для большинства задач. После того, как все эти установки сделаны, можно начать компиляцию и сборку ядра.

После того, как ядро собрано, необходимо сделать образ корневой файловой системы. Для этого в памяти, или на файле создаем файловую систему размером не более установленного размера RAM диска, и копируем туда все содержемое операционной системы за исключением директорий /usr, /dev и /home. Эти директории необходимо просто создать. Теперь, поскольку конфигурация всех машин идентична, а в сети могут сушествовать только машины с различными именами, необходимо будет доставить пакет, скажем, dhcp-client и поправить его скрипты для того, чтобы можно было получать по сети и имя машины.

to be continue