Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen RevisionVorhergehende Überarbeitung
Nächste Überarbeitung
Vorhergehende Überarbeitung
Nächste ÜberarbeitungBeide Seiten der Revision
dnbd3_fuse_cow [2022/09/08 16:10 CEST] – Struktur der Daten und Blockmetadata mscherlednbd3_fuse_cow [2022/09/09 18:28 CEST] – Threads und Locks mscherle
Zeile 77: Zeile 77:
  
 == Ubuntu 22.04 == == Ubuntu 22.04 ==
 +
 Beispiel Ubuntu 22.04 Beispiel Ubuntu 22.04
  
Zeile 110: Zeile 111:
 </code> </code>
  
-=== Bau des cow_merger_service ===+=== Bau und Installation ===
  
 <code> <code>
Zeile 123: Zeile 124:
 </code> </code>
  
-Erzeugte Dateien (Serverprogramm und Konfigurationsdatei) werden in cow_merger_service/publish/ abgelegt. Kopieren Sie die ausführbare Datei cow_merger_service und die Konfiguration appsettings.json an einen geeigneten Ort, beispielsweise in ein eigenes Verzeichnis hinter /opt.+Erzeugte Dateien (Serverprogramm und Konfigurationsdatei) werden in cow_merger_service/publish/ abgelegt. Kopieren Sie die ausführbare Datei cow_merger_service und die Konfiguration appsettings.json an einen geeigneten Ort, beispielsweise in ein eigenes Verzeichnis hinter /opt. Hier wird angenommen, daß die beiden Datein in ein Verzeichnis /opt/cow_merger_service kopiert wurden.
  
 === Autostart === === Autostart ===
Zeile 149: Zeile 150:
 … und führen anschließend den Befehl 'systemctl enable cow_merger_service' aus. 'systemctl daemon-reload && systemctl start cow_merger_service' startet den Dienst direkt. … und führen anschließend den Befehl 'systemctl enable cow_merger_service' aus. 'systemctl daemon-reload && systemctl start cow_merger_service' startet den Dienst direkt.
  
-==== Konfiguration ====+===== Konfiguration ===== 
 + 
 +==== dnbd3-Server ==== 
 + 
 +Die Konfigurationsdatei **server.conf** wird standardmässig in /etc/dnbd3 abgelegt. Eine Beispieldatei ist in im bauverzeichnis unter **pkg/config/server.conf** zu finden. Diese kann nach /etc/dnbd3 kopiert werden; der Pfad wird kann dem dnbd3-Server mit dem Startparamerter **--config** übergeben. Die wichtigste Konfigurationsoption ist **basePath**, die das Verzeichnis bezeichnet, in dem die vom Server bereitgestellten Images liegen. Die Abbilddateien müssen auf .r[1-9][0-9]* enden. 
 + 
 +Der dnbd3-Server wird üblicherweise beim Systemstart [[#autostart|aktiviert]]. Ein Neustart des dnbd3-Servers erfolgt am zweckmäßigsten mittels 'systemctl restart dnbd3-server'
 + 
 +==== cow_merger_service ====
  
 Serverseitig sollten 3 Verzeichnisse erstellt werden: Serverseitig sollten 3 Verzeichnisse erstellt werden:
Zeile 157: Zeile 166:
 mkdir [OriginalImageDirectory] mkdir [OriginalImageDirectory]
 mkdir [DestinationDirectory] mkdir [DestinationDirectory]
-</code> 
- 
-=== dnbd3-Server === 
- 
-Die Konfiguration des dnbd3-Servers erfolgt per **server.conf**. Eine Beispielkonfiguration ist in **pkg/config/server.conf** zu finden. Diese kann an einen passenden Ort kopiert werden; der Pfad kann dem dnbd3-Server mit dem Startparamerter **--config** übergeben werden. Die wichtigste Konfigurationsoption ist **basePath**, die das Verzeichnis bezeichnet, in dem die von Server bereitgestellten Images liegen. Die Abbilddateien müssen auf .r[1-9][0-9]* enden. Nach Ablage der Images in diesem Ordner kann der Server gestartet werden. 
- 
-<code> 
-dnbd3-server --config [Pfad zur Config] 
 </code> </code>
  
Zeile 373: Zeile 374:
 (4033085440 mod COW_L2_STORAGE_CAPACITY) / COW_METADATA_STORAGE_CAPACITY = 5 (4033085440 mod COW_L2_STORAGE_CAPACITY) / COW_METADATA_STORAGE_CAPACITY = 5
 </code> </code>
 +
 +===Leseanfrage===
 +Wird eine Lese anfrage gestellt werden alle benötigten "cow_block_metadata_t" berechnet. In den bitfields wird dann geschaut ob die benötigten dnbd3 Blöcke Daten enthalten, also ob das bitfield an der stelle 1 ist.
 +Falls ja werden die daten aus der Daten Datei geladen. Das Offset ist dabei das cow_block_metadata_t Offset plus 4096 * blocknummer im Cow Block.
 +Falls das bit im bitfield jedoch 0 ist, gibt es zwei Fälle. Ist das offset kleiner als die Origial Image Größe werden die Daten mit 0 aufegfüllt (die Origial Image Größe Variable kann bei einem truncate die kleiner ist als das uhrprünglich Image weiter reuziert werden).
 +Abdernfalls werden die Daten von dem dnbd3 server geladen.
 +Da die Leseanfragen an den dnbd3 server asyncron ausgeführt werden, gibt es eine workCounter variable, die Anzahl der Parallelen anfragen plus der einzelnen lokalen enthält.
 +Erst wenn diese Variable 0 ist, wird die Fuse-Anfrage beendet.
 +
 +===Schreibanfrage===
 +Wenn bei einer Schreibanfrage der Anfang oder das Ende nicht mit einem Vielfachen von 4096 übereinstimmt, muss der Anfangs- und/oder Endblock aufgefüllt werden.
 +Das liegt daran, dass jeder 4096-Byte-Block vollständige Daten benötigt, denn wenn das Bit im Bitfeld für diesen Block gesetzt ist, werden alle Daten lokal gelesen.
 +Um den Block aufzufüllen, werden die fehlenden Bytes vom dnbd3-Server angefordert, wenn er sich noch im Bereich der ursprünglichen Imagegröße befindet.
 +Liegt er außerhalb der ursprünglichen Imagegröße (weil z.B. das Image größer geworden ist), werden die fehlenden Bytes mit 0 aufgefüllt.
 +Die Schreibanfrage errechnet aus dem Offset die entsprechenden cow_block_metadata_t.
 +Wenn die entsprechende cow_block_metadata_t noch nicht existiert, wird sie angelegt.
 +Die Daten werden in die Datendatei geschrieben, und zwar an den in cow_block_metadata_t gespeicherten Offset.
 +Dann wird das entsprechende Bit in den Bitfeldern gesetzt und die timeChanged aktualisiert.
 +Wenn mehr Daten zu schreiben sind, wird die nächste cow_block_metadata_t berechnet und die obigen Schritte werden wiederholt.
 +Die Variable workCounter wird auch hier verwendet, um sicherzustellen, dass das Auffüllen der Daten erfolgt, bevor die Fuse-Anfrage bendet wird.
 +
 +===Block-Upload===
 +Für das Hochladen von Blöcken gibt es einen Hintergrund-Thread, der periodisch eine Schleife über alle Cow-Blöcke zieht und prüft,
 +ob timeChanged ungleich 0 ist und die Zeitdifferenz zwischen now und timeChanged größer als COW_MIN_UPLOAD_DELAY ist.
 +Ist dies der Fall, wird der Block hochgeladen. Die timeChanged Variable vor dem Upload wird zwischengespeichert.
 +Nach dem Hochladen wird timeChanged auf 0 gesetzt, wenn es noch die gleiche Zeit wie die zwischengespeicherte hat (wenn nicht, gab es eine Änderung während des Hochladens und es muss erneut hochgeladen werden).
 +Sobald das Image ausgehängt ist, wird COW_MIN_UPLOAD_DELAY ignoriert und alle Blöcke, die eine andere Zeit als 0 haben, werden hochgeladen.
 +Das Hochladen erfolgt über einen REST-Request. Es gibt zwei verschiedene Limits für die Anzahl der parallelen Uploads, diese können in der config.h konfiguriert werden.
 +
 +===Dateien===
 +Wenn eine neue CoW-Sitzung gestartet wird, werden eine neue Meta-, Daten- und, falls in den Befehlszeilenargumenten festgelegt, eine status.txt-Datei erstellt.
 +
 +==status.txt==
 +Die Datei status.txt kann mit dem Kommandozeilenparameter --cowStatFile aktiviert werden.
 +
 +Die Datei enthält die folgende Informationen:
 +<code>
 +uuid=<uuid>
 +state=backgroundUpload
 +inQueue=0
 +modifiedBlocks=0
 +idleBlocks=0
 +totalBlocksUploaded=0
 +activeUploads:0
 +ulspeed=0.00
 +</code>
 +
 +  * Die **uuid** ist die Sitzungs-Uuid, die vom Cow-Server zur Identifizierung der Sitzung verwendet wird.
 +
 +  * Der **Status** ist **backgroundUpload**, wenn das Image noch eingehängt ist und die Cow- Blöcke im Hintergrund hochgeladen werden. Er ist **uploading**, wenn das Image ausgehängt wurde und alle noch nicht hochgeladenen Blöcke hochgeladen werden. Es ist **done**, wenn das Image ausgehängt wurde und alle Blöcke hochgeladen wurden.
 +
 +  * **Queue** sind die CoW Blöcke, die gerade hochgeladen werden oder auf einen freien Slot warten.
 +
 +  * **ModifiedBlocks** sind CoW Blöcke, die Änderungen aufweisen, die noch nicht auf den Server hochgeladen wurden, weil die Änderungen zu aktuell sind.
 +
 +  * **totalBlocksUploaded** die Gesamtanzahl der CoW Blöcke, die seit dem Einhängen des Images hochgeladen wurden.
 +
 +  * **activeUploads** ist die Anzahl der Blöcke, die gerade hochgeladen werden.
 +
 +  * **ulspeed** die aktuelle Upload-Geschwindigkeit in kb/s.
 +
 +Sobald alle Blöcke hochgeladen wurden, wird der Status auf erledigt gesetzt. Wenn Sie COW_DUMP_BLOCK_UPLOADS festlegen (in config.h), wird eine Liste aller Blöcke, sortiert nach der Anzahl der Uploads, in die Datei status.txt kopiert, nachdem der Block-Upload abgeschlossen ist.
 +
 +Mit dem Kommandozeilenparameter --cowStatStdout wird die gleiche Ausgabe der Statistikdatei in stdout ausgegeben.
 +
 +==meta==
 +Die Metadatei enthält die folgenden Header:
 +<code>
 +// cowfile.h
 +typedef struct cowfile_metadata_header
 +{
 +    uint64_t magicValue;                    // 8byte
 +    atomic_uint_least64_t imageSize;        // 8byte
 +    int32_t version;                        // 4byte
 +    int32_t blocksize;                      // 4byte
 +    uint64_t originalImageSize;             // 8byte
 +    uint64_t metaDataStart;                 // 8byte
 +    int32_t bitfieldSize;                   // 4byte
 +    int32_t nextL2;                         // 4byte
 +    atomic_uint_least64_t metadataFileSize; // 8byte
 +    atomic_uint_least64_t dataFileSize;     // 8byte
 +    uint64_t maxImageSize;                  // 8byte
 +    uint64_t creationTime;                  // 8byte
 +    char uuid[40];                          // 40byte
 +    char imageName[200];                    // 200byte
 +} cowfile_metadata_header_t;
 +</code>
 +Nach diesem Header beginnt bei Byte 8192 die oben erwähnte l1- und dann die l2-Datenstruktur.
 +==data==
 +Die Datendatei enthält den magicValue und am Offset 40 * 8 * 4096 (Kapazität eines cowfile_metadata_header_t) beginnt der erste Datenblock.
 +
 +==magic values in den Headern der Dateien==
 +Die magic values in beiden Dateien werden verwendet, um sicherzustellen, dass eine geeignete Datei gelesen wird und dass der Rechner die richtige Endianness hat.
 +<code>
 +//config.h
 +#define COW_FILE_META_MAGIC_VALUE ((uint64_t)0xEBE44D6E72F7825E) // Magic Value to recognize a Cow meta file
 +#define COW_FILE_DATA_MAGIC_VALUE ((uint64_t)0xEBE44D6E72F7825F) // Magic Value to recognize a Cow data file
 +</code>
 +
 +===Threads===
 +Diese Erweiterung verwendet zwei neue Threads:
 +<code>
 +tidCowUploader
 +tidStatUpdater
 +</code>
 +  * **tidCowUploader** ist der Thread, der die Blöcke auf den Cow-Server hochlädt.
 +
 +  * **tidStatUpdater** aktualisiert die Statistiken in stdout oder die Statistikdateien (je nach Parametern).
 +
 +===Locks===
 +Diese Erweiterung verwendet einen neuen Lock cow.l2CreateLock. Er wird verwendet, wenn ein neues L2-Array zugewiesen wird.
 +
 <note warning>To do</note> <note warning>To do</note>
  
Drucken/exportieren