Inhaltsverzeichnis
DNBD3
Das 'Distributed Network Block Device 3' ist ein neuartiges, verteiltes, blockbasiertes Speichersystem. Dateien werden nicht als ganzes, sondern blockweise gelesen und verteilt. Dies ermöglicht beim Einsatz eines DNBD3-Proxys einfaches Caching häufig angefragter Blöcke und eine sehr effiziente Übertragung. Je nach Konfiguration des Proxys können wahlweise vollständige Inhalte, also komplette VM-Abbilder, oder lediglich angefragte Blöcke repliziert werden. Mehrere DNBD3-Proxies können zudem problemlos im Verbund eingesetzt werden. Für das netzwerkbasierte System bwLehrpool ergeben sich durch die Verwendung von DNBD3 eine Reihe von Vorteilen gegenüber herkömmlichen Speicherlösungen.
DNBD3 wird von der Universität Freiburg weiterentwickelt und dort bereits seit Jahren unter anderem für bwLehrpool sowie bwHPCbwForCluster NEMO produktiv eingesetzt. Die aktuelle Version bwLehrpools enthält die entsprechenden Schnittstellen, um auch anderen Hochschulen die DNBD3-Nutzung unter bwLehrpool zu ermöglichen.
Die bwLehrpool-Clients beziehen alle benötigten Daten über Netzwerk. Der Satellitenserver liefert im Kilobytebereich Veranstaltungs-Metadaten und im Megabytebereich (~300MB) das grundlegende Minilinux aus; die Virtuellen Maschinen (~Gigabyte) werden in der Regel von einem separaten Storageserver (NFS/CIFS) bezogen. Die Bootdauer der Clients hängt somit maßgeblich von zwei Faktoren ab.
- Der Leserate des Satelliten- bzw. Storageservers
- Der Netzanbindung zwischen Server und Clients
Nebenstehende Grafik zeigt schematisch den üblichen Aufbau.
DNBD3 bietet speziell bei schlecht angebundenen Poolräumen Vorteile, wenn zeitgleich eine große Anzahl an Rechnern eine VM anfordert. Durch DNBD3 kann die anfallende Last verteilt und damit eine Reduktion der Bootdauer erzielt werden. Primär werden die Virtuellen Maschinen über DNBD3 ausgeliefert. Aber auch das MaxiLinux wird über DNBD3 und vorhandene Proxyserver verteilt (ab Satellitenserver WS19/20 v3.9).
Funktionsweise
Im Verbund eingesetzte Proxy-Server können angefragte Blöcke automatisch von anderen Proxy-Servern replizieren. Die Clients ermitteln selbstständig den ihnen in Hinblick auf Verbindungsgeschwindigkeit u.a. am nächsten liegenden Proxyserver. Fällt ein Proxy-Server aus, verwenden die Clients automatisch einen anderen Server.
Anwendungsbeispiel
 | Nebenstehende Grafiken zeigen ein gängiges Problem. Raum A ist über einen 10GBit-Switch angebunden. Die Clients sind somit sehr schnell mit Metadaten, Grundsystem sowie der gestarteten VM versorgt. Raum B dagegen ist nur mit einem 100MBit-Switch ans Netzwerk angeschlossen. Daraus resultiert eine deutlich verminderte Bootgeschwindigkeit der Clients. Sowohl Grundsystem, als auch VMs müssen über den 100MBit-Flaschenhals ausgeliefert werden. Mit Hilfe eines DNBD3-Servers bzw. DNBD3-Proxys lässt sich dieses Problem beheben. Die Ausgangslage bleibt die gleiche, jedoch wird anstatt eines NFS/CIFS-Storagesystems nun DNBD3 verwendet. Zusätzlich zum DNBD3-Server wurde im schwach angebundenen Raum B ein zusätzlicher DNBD3-Proxy installiert. Clients in diesem Raum erhalten VMs nun nicht mehr über den zentralen Server, sondern über den Proxy. Jeder Client nimmt eine Metrikmessung vor, um den schnellsten Server zu bestimmen. Ist die angeforderte VM noch nicht auf dem Proxy-Server vorhanden, wird diese automatisch im Hintergrund auf diesen repliziert. Der erste Start einer VM ist daher genauso langsam wie bisher. Nachfolgende Anfragen können jedoch direkt vom Proxy behandelt werden, so dass der bisherige Flaschenhals, die schlechte Anbindung des Raums, entfällt. |  |
Vorbereitung und Konfiguration
Zur Aktivierung DNBD3s wählen Sie im Webinterface den entsprechenden Menüpunkt und klicken auf 'DNDB3 ein-/ausschalten'. Setzen Sie das Häkchen bei 'DNBD3 aktivieren', und gehen Sie anschließend auf Speichern. Im Prinzip war es das schon. Neustartende Clients werden ab sofort die VMs über das DNBD3 Protokoll erhalten.
Sie können DNBD3 entweder exklusiv oder mit Fallback auf NFS/CIFS verwenden (Häkchen bei 'NFS-Fallback aktivieren' setzen). Im exklusiven Modus wird der Zugriff der Clients auf den kompletten VM-Speicher verhindert bzw. erschwert. Die Clients benötigen bei exklusivem Zugriff keine Berechtigungen auf den konfigurierten Share. Wenn Sie den Fallback-Modus nutzen, werden für die Clients weiterhin Leseberechtigungen benötigt.
Sie haben bisher nur einen Proxy, nämlich den Satellitenserver selbst. Unabhängig vom tatsächlichen Speicherort der VMS (intern, NFS, CIFS) laufen nun alle Clientzugriffe über den Satellitenserver. Falls Ihr NFS beispielsweise mit 10 GBit, der Satellitenserver jedoch nur mit 1 GBit angebunden ist, haben Sie nun einen neuen Flaschenhals geschaffen. Es ist daher dringend zu empfehlen, weitere Proxy-Server anzulegen und den Satellitenserver nach Möglichkeit ebenfalls mit 10 GBit anzubinden.
Zur Bereitstellung zusätzlicher Proxy-Server haben Sie zwei Möglichkeiten:
- Externer (selbst aufgesetzter) Proxy: Sie installieren auf einem bestehenden Linux-Server DNBD3 und fügen diesen als 'Externen Server' hinzu. Sie sind dann selbst für Konfiguration, Updates, Neustarts usw. verantwortlich. Eine Anleitung zur Installation finden Sie im Artikel dnbd3-proxy installation.
- Automatisch konfigurierter Proxy: Sie nutzen einen dedizierten Rechner, binden diesen in bwLehrpool ein und lassen diesen mindestens einmal bwLehrpool booten, damit er dem System bekannt ist. Anschließend klicken Sie auf 'Automatisch konfigurierten Proxy hinzufügen' und fügen diesen Rechner über die Suche hinzu. Der so konfigurierte Rechner ist nicht als Arbeitsstation nutzbar und startet sich regelmäßig neu, um eventuelle MiniLinux-Updates zu erhalten. Sie müssen nur dafür sorgen, dass der Rechner läuft und innerhalb des Poolraums nicht unabsichtlich ausgeschaltet wird.
Ein Proxy wird im Betrieb die angefragten VMs/Blöcke replizieren und vorhalten, bis die fürs Caching zugewiesene Partition voll ist. Fallen neue Daten zum Caching an, beginnt der Proxy, die am längsten nicht angefragten VMs zu löschen, bis genügend Platz für die neue VM vorhanden ist. Daher ist es empfehlenswert, die Cache-Partition ausreichend zu dimensionieren, damit der Proxy nicht ständig die gleichen VMs in Rotation löscht und wieder repliziert. Dies ist abhängig von der Zahl der verwendeten VMs und der durchschnittlichen VM-Größe; Werte unter 100GB sind selten sinnvoll. Behalten Sie hierzu die Statistiken in der Weboberfläche im Auge; sollte ein Proxy längerfristig mehr Daten replizieren als an Clients ausgeliefert werden, ist die Partition auf dem Proxy vermutlich nicht ausreichend groß.
Vorbereitung/Konfiguration eines automatisch konfigurierten Proxies
Zur Speicherung replizierter VMs auf dem Proxy-Server müssen Sie auf der Festplatte des Proxy-Servers – ähnlich zur temporären ID44-Partition auf den „normalen“ bwLehrpool-Clients – eine persistente ID45-Partition einrichten. Diese Partiton sollte natürlich von ausreichender Größe sein. Im Gegensatz zur ID44-Partition wird diese nicht bei jedem Neustart formatiert. Die Einrichtung erfolgt analog zur Einrichtung einer ID44 Partition. Da auf einem bwLehrpool-Proxy keine temporären Dateien von nennenswerter Größe erzeugt werden, ist die Einrichtung einer ID44-Partition nicht notwendig, bzw. sollten hier 10GB bereits mehr als genug sein.
Nach dem Hinzufügen eines automatisch konfigurierten Proxies haben Sie über das Zahnrad-Icon in der im nächsten Abschnitt beschriebenen Serverliste die Möglichkeit, noch einige Anpassungen an der Konfiguration des Proxys vorzunehmen. Diese Einstellungen werden beim Booten des Proxys angewandt. Bitte beachten Sie, dass die Einstellung „Hintergrundreplikation“ ignoriert wird, wenn die ID45-Partition des Proxy Servers < 120GB ist. (TODO: Screenshot der config)
Serverliste
Nachdem Sie einen oder mehrere Rechner als Proxy-Server hinzugefügt haben, sehen Sie in der Serverliste verschiedene Informationen: Belegter Speicher, Anzahl der derzeit verbundenen Clients, Laufzeit, übertragene Daten usw. Unter anderem können Sie über die entsprechenden Symbolbuttons die Verwendung auf bestimmte Orte beschränken, DNBD3-Server neustarten, Einstellungen setzen oder Server entfernen.
Sie erhalten außerdem detailierte Informationen, wenn Sie auf die IP Adresse eines Proxy klicken.
Raumbeschränkung
Sie können die Verwendung der Proxys auf bestimmte Räume/Orte beschränken. Klicken Sie dazu auf das entsprechende Icon in der Spalte 'Orte'. Dort können Sie festlegen, aus welchen Räumen Clients diesen Proxy verwenden dürfen. Durch die Einschränkung vermeiden Sie nicht nur die Verwendung des Servers von anderen Standorten aus, sondern auch, dass dieser überhaupt in Betracht gezogen wird. Es enfällt daher die sonst notwendige Metrikmessung, die ebenfalls eine gewisse Netzwerklast verursachen kann. Falls Sie also einen Proxy in einem schlecht angebundenen Gebäude installieren, kann es sinnvoll sein, dass dieser Proxy nur Clients innerhalb dieses Gebäudes versorgt.zuerst
Im Beispiel rechts verwenden nur Clients aus dem Gebäude der Chemie sowie der Fakultät für Biologie den Proxy. Die schlechte Netzwerkverbindung zwischen beispielsweise KG2 und der Biologie wird somit nicht zusätzlich durch Metrikmessungen belastet.
Wird ein Proxy auf einen oder mehrere Räume beschränkt, werden Clients aus anderen Räumen diesen Proxy nicht verwenden. Technisch ist der Zugriff aus anderen Räumen jedoch trotzdem noch möglich. Sie können zusätzlich die Option 'Zugriff auf zugewiesene Räume beschränken' in den allgemeinen Einstellungen des Proxys aktivieren. Dadurch wird der Zugriff aus anderen Räumen per Paketfilter komplett verhindert.
Hardwareempfehlung
DNBD3-Proxys können problemlos auf normaler Desktop-Hardware ausgeführt werden. Es ist nicht notwendig, spezielle Serverhardware einzusetzen. Sinnvoll ist jedoch die Austattung mit einer dedizierten Netzwerkkarte, möglichst viel Arbeitsspeicher und einer großen Festplatte, um entsprechend viele VMs vorhalten zu können.
Beim Starten einer normalen Windows-VM werden i.d.R. etwa ~1GB an Daten übertragen. Werden in einem Raum erfahrungsgemäß nur wenige unterschiedliche VMs gestartet, können alle Daten im RAM des Proxys vorgehalten werden. Die Leseleistung der Festplatte ist in diesem Fall sekundär. Je mehr Arbeitsspeicher vorhanden ist, umso mehr Blöcke können direkt im RAM vorgehalten und bei erneuter Anfrage sofort übertragen werden.
Übersicht:
- Normale Desktophardware
- Dedizierte 10GBit-Netzwerkkarte (evtl. 1GBit, wenn der Flaschenhals zum Raum < 1Gbit)
- 8-32GB RAM
- Große Festplatte, um möglichst viele VMs cachen zu können
Es wäre auch möglich, eine Kombination aus SSD und HDD zu verwenden. Mit Hilfe von 'bcache' kann ein hochperformanter Speichercache realisiert werden. Auch hier sind normale Desktop-Speichermedien völlig ausreichend. Diese Konstellation müssen Sie jedoch selbst einrichten. Eine Integration als 'automatischer DNBD3-Proxy' ist in diesem Fall nicht möglich. Wir empfehlen daher im Zweifelsfall eher eine ausreichende Dimensionierung des Arbeitsspeichers und den Verzicht auf SSDs.
Troubleshooting
Clients starten VMs nicht, dnbd3-server auf dem Satelliten meldet „Image list full: Could not add image“
Der dnbd3-server kann nur ~2000 Dateien/Images indizieren. Überprüfen Sie, ob auf dem NFS/SMB-Share, den der Satellitenserver nutzt, noch andere Ordner vorhanden sind, die evtl. viele Dateien enthalten.
Automatisch konfigurierter Proxy startet keine Hintergrundreplikation, obwohl entsprechende Option im SLX-Admin aktiviert wurde
Die automatische Hintergrundreplikation wird deaktiviert, wenn die ID45-Partition des Proxys < 120GB ist.
Raumzuweisung bzw. Hintergrundreplikation für einen Proxy wurden geändert, aber nicht angewendet
Konfigurationsänderungen erfordern einen Neustart des Proxys.
