Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- satellite:dnbd3 [2019/03/11 13:36 CET] – installation eigener dnbd3-server ausgelagert simon
+++ satellite:dnbd3 [2021/07/12 15:54 CEST] (aktuell) – [Anwendungsbeispiel] sritter
@@ Zeile 6: / Zeile 6: @@
 Die bwLehrpool-Clients beziehen alle benötigten Daten über Netzwerk. Der Satellitenserver liefert im Kilobytebereich Veranstaltungs-Metadaten und im Megabytebereich (~300MB) das grundlegende Minilinux aus; die Virtuellen Maschinen (~Gigabyte) werden in der Regel von einem separaten Storageserver (NFS/CIFS) bezogen. Die Bootdauer der Clients hängt somit maßgeblich von zwei Faktoren ab.
-[{{ :dnbd3:nfs-cifs.png?direct&400|NFS- bzw
+{{ :dnbd3:nfs-cifs.png?direct&400|NFS- bzw. CIFS-basierter Aufbau}}
-{{ :dnbd3:3_Satellit_dnbd3_aufklapp_hinzufuegen_getestet.png?250|}}
-. CIFS-basierter Aufbau}}]
   * Der Leserate des Satelliten- bzw. Storageservers
@@ Zeile 16: / Zeile 13: @@
 Nebenstehende Grafik zeigt schematisch den üblichen Aufbau.
-DNBD3 bietet speziell bei schlecht angebundenen Poolräumen Vorteile, wenn zeitgleich eine große Anzahl an Rechnern eine VM anfordert. Durch DNBD3 kann die anfallende Last verteilt und damit eine Reduktion der Bootdauer erzielt werden. In einer ersten Stufe werden lediglich die Virtuellen Maschinen über DNBD3 ausgeliefert. In zukünftigen Versionen kann auch das MiniLinux darüber verteilt werden.
+DNBD3 bietet speziell bei schlecht angebundenen Poolräumen Vorteile, wenn zeitgleich eine große Anzahl an Rechnern eine VM anfordert. Durch DNBD3 kann die anfallende Last verteilt und damit eine Reduktion der Bootdauer erzielt werden. Primär werden die Virtuellen Maschinen über DNBD3 ausgeliefert. Aber auch das MaxiLinux wird über DNBD3 und vorhandene Proxyserver verteilt (ab [[news:satellitenserver_ws19:20|Satellitenserver WS19/20 v3.9]]).
 ===== Funktionsweise =====
-Im Verbund eingesetzte Proxy-Server können angefragte Blöcke automatisch von anderen Proxy-Servern replizieren. [Hintergrundreplikation?]
+Im Verbund eingesetzte Proxy-Server können angefragte Blöcke automatisch von anderen Proxy-Servern replizieren.
 Die Clients ermitteln selbstständig den ihnen in Hinblick auf Verbindungsgeschwindigkeit u.a. am nächsten liegenden Proxyserver. Fällt ein Proxy-Server aus, verwenden die Clients automatisch einen anderen Server.
 ===== Anwendungsbeispiel =====
-|[{{:dnbd3:nfs-cifs-bad.png?direct&300 |Aufbau mit möglichem Flaschenhals}}]|Nebenstehende Grafiken zeigen ein gängiges Problem. Raum A ist über einen 10GBit-Switch angebunden. Die Clients sind somit sehr schnell mit Metadaten, MiniLinux sowie der gestarteten VM versorgt. Raum B dagegen ist nur mit einem 100MBit-Switch ans Netzwerk angeschlossen. Daraus resultiert eine deutlich verminderte Bootgeschwindigkeit der Clients. Sowohl MiniLinux, als auch VMs müssen über den 100MBit-Flaschenhals ausgeliefert werden.\\ \\ Mit Hilfe eines DNBD3-Servers bzw. DNBD3-Proxys lässt sich dieses Problem beheben. Die Ausgangslage bleibt die gleiche, jedoch wird anstatt eines NFS/CIFS-Storagesystems nun DNBD3 verwendet. Zusätzlich zum DNBD3-Server wurde im schwach angebundenen Raum B ein zusätzlicher DNBD3-Proxy installiert. Clients in diesem Raum erhalten VMs nun nicht mehr über den zentralen Server, sondern über den Proxy. Jeder Client nimmt eine Metrikmessung vor, um den schnellsten Server zu bestimmen. Ist die angeforderte VM noch nicht auf dem Proxy-Server vorhanden, wird diese automatisch im Hintergrund auf diesen repliziert. Der erste Start einer VM ist daher genauso langsam wie bisher. Nachfolgende Anfragen können jedoch direkt vom Proxy behandelt werden, so dass der bisherige Flaschenhals, die schlechte Anbindung des Raums, entfällt.|[{{ :dnbd3:dnbd3-good.png?direct&300|DNBD3-Proxy: Mitigierter Flaschenhals}}]|
+|[{{:dnbd3:nfs-cifs-bad.png?direct&300 |Aufbau mit möglichem Flaschenhals}}]|Nebenstehende Grafiken zeigen ein gängiges Problem. Raum A ist über einen 10GBit-Switch angebunden. Die Clients sind somit sehr schnell mit Metadaten, Grundsystem sowie der gestarteten VM versorgt. Raum B dagegen ist nur mit einem 100MBit-Switch ans Netzwerk angeschlossen. Daraus resultiert eine deutlich verminderte Bootgeschwindigkeit der Clients. Sowohl Grundsystem, als auch VMs müssen über den 100MBit-Flaschenhals ausgeliefert werden.\\ \\ Mit Hilfe eines DNBD3-Servers bzw. DNBD3-Proxys lässt sich dieses Problem beheben. Die Ausgangslage bleibt die gleiche, jedoch wird anstatt eines NFS/CIFS-Storagesystems nun DNBD3 verwendet. Zusätzlich zum DNBD3-Server wurde im schwach angebundenen Raum B ein zusätzlicher DNBD3-Proxy installiert. Clients in diesem Raum erhalten VMs nun nicht mehr über den zentralen Server, sondern über den Proxy. Jeder Client nimmt eine Metrikmessung vor, um den schnellsten Server zu bestimmen. Ist die angeforderte VM noch nicht auf dem Proxy-Server vorhanden, wird diese automatisch im Hintergrund auf diesen repliziert. Der erste Start einer VM ist daher genauso langsam wie bisher. Nachfolgende Anfragen können jedoch direkt vom Proxy behandelt werden, so dass der bisherige Flaschenhals, die schlechte Anbindung des Raums, entfällt.|[{{ :dnbd3:dnbd3-good.png?direct&300|DNBD3-Proxy: Mitigierter Flaschenhals}}]|
 <note tip>Voraussetzung ist natürlich, dass innerhalb des Raumes die Anbindung zwischen den Clients und dem Proxy-Server besser als die Anbindung des Raumes selbst ist.</note>
-<note important>Bitte beachten Sie, daß der DNBD3-Server/Proxy derzeit nur ~2000 Dateien indizieren kann.</note>
 ===== Vorbereitung und Konfiguration =====
 [{{ :dnbd3:dnbd3_enable.png?direct&300| DNBD3 Verwaltungsseite}}]
-Zur Aktivierung DNBD3s wählen Sie im Webinterface den entsprechenden Menüpunkt und klicken auf 'DNDB3 ein-/ausschalten'. Setzen Sie das Häkchen bei 'DNBD3 aktivieren', und gehen anschließend auf Speichern. Im Prinzip war es das schon. Neustartende Clients werden ab sofort die VMs über das DNBD3 Protokoll erhalten.
+Zur Aktivierung DNBD3s wählen Sie im Webinterface den entsprechenden Menüpunkt und klicken auf 'DNDB3 ein-/ausschalten'. Setzen Sie das Häkchen bei 'DNBD3 aktivieren', und gehen Sie anschließend auf Speichern. Im Prinzip war es das schon. Neustartende Clients werden ab sofort die VMs über das DNBD3 Protokoll erhalten.
 <note important>Der DNBD3-Server indiziert beim Start alle Dateien, die im unter 'VM Speicherort' angegebenen Pfad gefunden werden. Dabei gilt ein Limit von ~2000 Dateien. Achten Sie daher darauf, dass der angegebene Pfad nur den Ordner 'bwlehrpool_store' enthält und keine weiteren Unterordner mit zusätzlichen Dateien. Ansonsten können VMs u.U. nicht gestartet werden und im DNBD3-ServerLog sehen Sie eventuell Fehlermeldungen wie "//ERROR: Image list full: Could not add image//" </note>
@@ Zeile 43: / Zeile 39: @@
-[{{ :dnbd3:dnbd3_add_auto_client.png?direct&300| Automatisch konfigurierten Proxy hinzufügen}}]Zur Bereitstellung zusätzlicher Proxy-Server haben Sie zwei Möglichkeiten:
+[{{ :dnbd3:dnbd3_add_auto_client.png?direct&300| Automatisch konfigurierten Proxy hinzufügen}}] Zur Bereitstellung zusätzlicher Proxy-Server haben Sie zwei Möglichkeiten:
-  - Sie installieren auf einem bestehenden Linux-Server DNBD3 und fügen diesen als 'Externen Server' hinzu. Sie sind dann selbst für Konfiguration, Updates, Neustarts usw. verantwortlich. Eine Anleitung zur Installation finden Sie weiter unten im Abschnitt [[dnbd3-proxy installation]].
+  - **Externer (selbst aufgesetzter) Proxy**: Sie installieren auf einem bestehenden Linux-Server DNBD3 und fügen diesen als 'Externen Server' hinzu. Sie sind dann selbst für Konfiguration, Updates, Neustarts usw. verantwortlich. Eine Anleitung zur Installation finden Sie im Artikel [[dnbd3-proxy installation]].
-  - **Automatisch konfigurierter Proxy**: Sie nutzen einen dedizierten Rechner, binden diesen in bwLehrpool ein und lassen diesen mindestens einmal bwLehrpool booten, damit er dem System bekannt ist. Anschließend klicken Sie auf 'Automatisch konfigurierten Proxy hinzufügen' und fügen diesen Rechner über die Suche hinzu. Der so konfigurierte Rechner ist nicht als Arbeitsstation nutzbar und startet sich regelmäßig neu, um eventuelle MiniLinux-Updates zu erhalten. Sie müssen nur dafür sorgen, dass der Rechner läuft und innerhalb des Poolraums nicht unabsichtlich ausgeschaltet wird.\\ Zur Speicherung replizierter VMs auf dem Proxy-Server müssen Sie auf der Festplatte des Proxy-Servers eine persistente **ID45**-Partition einrichten. Diese Partiton sollte natürlich von ausreichender Größe sein. Im Gegensatz zur ID44-Partition, die Sie bereits von den bwLehrpool Arbeitsstationen kennen, wird diese nicht bei jedem Neustart formatiert.
+  - **Automatisch konfigurierter Proxy**: Sie nutzen einen dedizierten Rechner, binden diesen in bwLehrpool ein und lassen diesen mindestens einmal bwLehrpool booten, damit er dem System bekannt ist. Anschließend klicken Sie auf 'Automatisch konfigurierten Proxy hinzufügen' und fügen diesen Rechner über die Suche hinzu. Der so konfigurierte Rechner ist nicht als Arbeitsstation nutzbar und startet sich regelmäßig neu, um eventuelle MiniLinux-Updates zu erhalten. Sie müssen nur dafür sorgen, dass der Rechner läuft und innerhalb des Poolraums nicht unabsichtlich ausgeschaltet wird.
+Ein Proxy wird im Betrieb die angefragten VMs/Blöcke replizieren und vorhalten, bis die fürs Caching zugewiesene Partition voll ist. Fallen neue Daten zum Caching an, beginnt der Proxy, die am längsten nicht angefragten VMs zu löschen, bis genügend Platz für die neue VM vorhanden ist. Daher ist es empfehlenswert, die Cache-Partition ausreichend zu dimensionieren, damit der Proxy nicht ständig die gleichen VMs in Rotation löscht und wieder repliziert. Dies ist abhängig von der Zahl der verwendeten VMs und der durchschnittlichen VM-Größe; Werte unter 100GB sind selten sinnvoll. Behalten Sie hierzu die Statistiken in der Weboberfläche im Auge; sollte ein Proxy längerfristig mehr Daten replizieren als an Clients ausgeliefert werden, ist die Partition auf dem Proxy vermutlich nicht ausreichend groß.
+==== Vorbereitung/Konfiguration eines automatisch konfigurierten Proxies ====
+Zur Speicherung replizierter VMs auf dem Proxy-Server müssen Sie auf der Festplatte des Proxy-Servers – ähnlich zur temporären ID44-Partition auf den "normalen" bwLehrpool-Clients – eine persistente **ID45**-Partition einrichten. Diese Partiton sollte natürlich von ausreichender Größe sein. Im Gegensatz zur ID44-Partition wird diese nicht bei jedem Neustart formatiert. Die Einrichtung erfolgt analog zur [[wiki:id44#anlegen_einer_id44-partition | Einrichtung einer ID44 Partition]]. Da auf einem bwLehrpool-Proxy keine temporären Dateien von nennenswerter Größe erzeugt werden, ist die Einrichtung einer ID44-Partition nicht notwendig, bzw. sollten hier 10GB bereits mehr als genug sein.
+Nach dem Hinzufügen eines automatisch konfigurierten Proxies haben Sie über das Zahnrad-Icon in der im nächsten Abschnitt beschriebenen Serverliste die Möglichkeit, noch einige Anpassungen an der Konfiguration des Proxys vorzunehmen. Diese Einstellungen werden beim Booten des Proxys angewandt. Bitte beachten Sie, dass die Einstellung "Hintergrundreplikation" ignoriert wird, wenn die ID45-Partition des Proxy Servers < 120GB ist. (TODO: Screenshot der config)
@@ Zeile 77: / Zeile 78: @@
 **Übersicht:**
   * Normale Desktophardware
-  * Dedizierte 10GBit-Netzwerkkarte
+  * Dedizierte 10GBit-Netzwerkkarte (evtl. 1GBit, wenn der Flaschenhals zum Raum < 1Gbit)
   * 8-32GB RAM
   * Große Festplatte, um möglichst viele VMs cachen zu können
@@ Zeile 83: / Zeile 84: @@
 Es wäre auch möglich, eine Kombination aus SSD und HDD zu verwenden. Mit Hilfe von 'bcache' kann ein hochperformanter Speichercache realisiert werden. Auch hier sind normale Desktop-Speichermedien völlig ausreichend. Diese Konstellation müssen Sie jedoch selbst einrichten. Eine Integration als 'automatischer DNBD3-Proxy' ist in diesem Fall nicht möglich. Wir empfehlen daher im Zweifelsfall eher eine ausreichende Dimensionierung des Arbeitsspeichers und den Verzicht auf SSDs.
+===== Troubleshooting =====
+** Clients starten VMs nicht, dnbd3-server auf dem Satelliten meldet "Image list full: Could not add image" **
+Der dnbd3-server kann nur ~2000 Dateien/Images indizieren. Überprüfen Sie, ob auf dem NFS/SMB-Share, den der Satellitenserver nutzt, noch andere Ordner vorhanden sind, die evtl. viele Dateien enthalten.
+** Automatisch konfigurierter Proxy startet keine Hintergrundreplikation, obwohl entsprechende Option im SLX-Admin aktiviert wurde **
+Die automatische Hintergrundreplikation wird deaktiviert, wenn die ID45-Partition des Proxys < 120GB ist.
+** Raumzuweisung bzw. Hintergrundreplikation für einen Proxy wurden geändert, aber nicht angewendet **
+Konfigurationsänderungen erfordern einen Neustart des Proxys.

Zuletzt angesehen:

Unterschiede

Suche

Navigation

Drucken/exportieren

Werkzeuge