Publication Date:
2016-06-30
Description:
Verteilte Dateisysteme erlauben es zusätzliche Replikate von Dateien anzulegen, um Client-Zugriffe auf mehrere Server zu verteilen. Bei einer einheitlichen Festlegung des Replikationsfaktors für alle Dateien wird der beschränkte verfügbare Speicherplatz jedoch nicht effizient genutzt, da es nur einen geringen Anteil von Dateien gibt, die häufig angefragt werden, während die restlichen Dateien unnötig Speicherplatz belegen.
Der erste Teil dieser Arbeit beschreibt daher ein Verfahren den Replikationsfaktor einer Datei in Abhängigkeit ihrer Popularität festzulegen. Im Kontext des verteilten Dateisystems XtreemFS wurde dazu ein zentraler Dienst für die dynamische Replikation implementiert und mit einem Trace simuliert. Die Auswertung zeigt, dass die popularitätsbasierte Anpassung ein geeignetes Verfahren ist den Replikationsfaktor dynamisch festzulegen, da bei einer wöchentlichen Ermittlung der Popularität weniger als durchschnittlich 3,1% zusätzliche Replikate angelegt wurden.
Da der Dienst selbst nicht mit einer beliebigen Anzahl von Dateien skaliert, muss er in mehrere Partitionen unterteilt und dezentral ausgeführt werden. Darum entwickelt der zweite Teil der Arbeit eine dezentrale Variante des Dienstes und zeigt, dass der Replikationsfaktor identisch zum zentralen Fall festgelegt werden kann. Nur im Fall eines Netzwerkausfalls oder nicht synchronisierter lokaler Uhren tritt eine Abweichung der Replikationsfaktoren auf, deren Ausmaß in der Simulation untersucht wurde.
Description:
Distributed file systems allow the creation of additional file replicas in order to spread requests across several servers. However, setting a uniform number of replicas for every file would not utilize the available storage space in an efficient manner. As there are only few popular files, the majority of files would unnecessarily use up the limited space.
Therefore the first part of this thesis presents a method to adjust the replication factor depending on the popularity of the files. This method was implemented as a central service for dynamic replication in the context of the distributed file system XtreemFS. The service was then simulated using a trace. A weekly observation of the popularity resulted in an average creation rate of 3.1% compared to all replicas. This shows that popularity-based adjustment is a feasible way to set the replication factor dynamically.
As the service itself does not scale with the number of observed files, it needs to be partitioned and executed in a distributed manner. Therefore the second part of this thesis develops a distributed version of the service and shows that it determines replication factors equal to the result of the central version. However, the replication factor may vary if there is a network outage or a drift of the local clocks. The degree of variation was analyzed in simulations.
Language:
German
Type:
masterthesis
,
doc-type:masterThesis
Permalink
