10 ZFS (Zettabyte File System) ist ein hochmodernes Dateisystem, das unter anderem für seine robusten Integritätsmechanismen, sein Volume-Management und seine bemerkenswerten Zusatzfunktionen wie Kompression und Deduplizierung bekannt ist. Gerade wer einen NAS oder Heimserver aufbaut – sei es mit FreeNAS, TrueNAS, Linux (ZFS on Linux) oder einem anderen ZFS-fähigen System – wird irgendwann vor der Frage stehen: Soll ich Kompression und/oder Deduplizierung aktivieren? Dieser Artikel beleuchtet, wie die beiden Features funktionieren, wie sie in der Praxis wirken und worauf man achten sollte. Warum ZFS? Kurz zum Hintergrund ZFS wurde ursprünglich von Sun Microsystems für Solaris entwickelt und wird heute u.a. in OpenZFS weitergeführt. Es kombiniert Dateisystem- und Volume-Management, wodurch beispielsweise RAID-Funktionen (RAIDZ) und Snapshots direkt ins Dateisystem integriert sind. Dank Copy-on-Write und integrierter Prüfsummen gilt es als extrem verlässlich beim Schutz vor stillen Datenkorruptionen.Zusätzlich bietet ZFS eine Reihe optionaler Features:Kompression (z.B. LZ4, gzip)Deduplizierung (jedes Datenblock-Duplikat wird nur einmal auf Disk gespeichert)Snapshots und ClonesTransparente Verschlüsselung (je nach ZFS-Implementierung)Doch jedes dieser Features kostet Rechenressourcen. Kompression und Deduplizierung sind hierfür Paradebeispiele: Sie können teils wertvolle Speichereinsparungen ermöglichen, aber den Datendurchsatz und die CPU-Belastung beeinflussen. Was ist Kompression und wie funktioniert sie in ZFS? Kompression bedeutet, dass ZFS Datenblöcke vor dem Schreiben auf die Festplatte „verpackt“. Ein einfaches Beispiel ist, wenn man Textdateien oder andere leicht komprimierbare Daten speichert. Bei aktivierter Kompression versucht ZFS automatisch, jeden Block zu reduzieren (z.B. per LZ4).Vorteile der KompressionSpeicherplatz sparen: Je nach Dateninhalten ist manchmal ein Faktor von 1.5x, 2x oder noch höher möglich. Text- oder Logdateien lassen sich gut packen, während bereits komprimierte Formate (z.B. JPEG, MP4, ZIP) kaum weiter reduziert werden können.Schnellere I/O: Klingt zunächst paradox, aber bei ausreichend leistungsstarker CPU kann sich die Datenrate sogar verbessern: Die Platte schreibt oder liest weniger Roh-Daten, was u.U. schneller geht.Nachteile der KompressionCPU-Belastung: Jedes Komprimieren und Dekomprimieren kostet CPU-Zeit. Auf schwächeren Prozessoren kann das den Durchsatz mindern.Grenzen bei bereits komprimierten Formaten: Wenn man primär MP4, JPEG, ZIP oder andere Dateien speichert, gewinnt man kaum etwas.Meine PraxiserfahrungenIch habe festgestellt, dass Kompression in meinen Archiven selten viel bringt. Da ich hauptsächlich bereits komprimierte ISO-Images, Videos und andere Medien speichere, ergibt sich nur eine geringe Ersparnis. Für andere Workloads, z.B. Text-Logs oder Datenbankdumps, kann das jedoch deutlich effektiver sein. Was ist Deduplizierung und wie funktioniert sie in ZFS? Deduplizierung (auch „Dedup“ genannt) zielt darauf ab, identische Datenblöcke nur einmal auf die Festplatte zu schreiben. Findet ZFS heraus, dass ein neuer Block identisch zu einem bereits vorhandenen ist, wird kein zusätzlicher Speicher belegt – stattdessen verweist ZFS intern auf den existierenden Block.Vorteile der DeduplizierungSpeicherplatzersparnis: Insbesondere bei Datensätzen mit vielen Dubletten (z.B. VM-Images, mehrere ISO-Kopien, Backups) kann man massiv Platz sparen.Weniger redundante Daten: Jegliche Duplikate werden nur einmal physisch existieren.Nachteile der DeduplizierungHohe RAM-Belastung: Die Deduplizierung in ZFS benötigt große Mengen an Arbeitsspeicher oder SSD-Cache, um die blockbasierten Hash-Tabellen schnell verwalten zu können.Rechenleistung: Die fortwährende Block-Hash-Berechnung kann den Datendurchsatz bremsen.Komplexere Verwaltung: ZFS-Dedup einzuschalten ist ein „Point of no return“ – man kann nicht einfach rückgängig machen, dass Daten dedupliziert wurden.Neuerung: „Fast Dedup“ in ZFS 2.3.0Mit OpenZFS 2.3.0 (veröffentlicht Januar 2025) kam ein Feature namens Fast Dedup (#15896), das die Performanceprobleme bei Deduplizierung abmildern soll. Dennoch bleibt Dedup leistungsintensiv und benötigt sorgfältige Planung (v.a. ausreichenden RAM). Meine persönliche Testumgebung: RaidZ1 mit 4×10 TB Ich selbst nutze die ZFS Version 2.3.0. Um die neuen Features zu erproben, habe ich:Ein RaidZ1-Pool aus vier 10-TB-Festplatten erstellt (Gesamtkapazität ca. 30 TB nutzbar).Rund 11 TB meiner Daten hineinkopiert: ISO-Images, heruntergeladene Videos, Server-Backups, Musik, B-Roll-Footage, Filme, Dokumente usw. – ein typischer Mix im Terabyte-Bereich.Mein System: Ein i7-9700T mit 40 GB RAM – also relativ potente CPU und angemessener Arbeitsspeicher. Ergebnisse: Dedup 1.16× und Kompression 1.03× Nach dem Kopieren zeigte zpool list bzw. zfs get compressratio Folgendes:Dedup: 1.16x → 16% an SpeicherersparnisKompression: 1.03x → 3% an ErsparnisUnterm Strich bedeutet das, dass ich ca. 1.49 TB durch Deduplizierung und rund 300 GB durch Kompression gespart habe. Insgesamt also etwas mehr als 1.7–2 TB Reduktion, verglichen mit einer komplett unkomprimierten, nicht deduplizierten Ablage der 11 TB.PerformanceeinbußenOhne Kompression/Deduplizierung lag mein Durchsatz bei ca. 580 MB/s.Mit Kompression allein sank es minimal auf ~560 MB/s – also kein großer Unterschied.Mit Deduplizierung aktiv fällt die Rate spürbar auf ~470 MB/s.Das sind rund 20% weniger Datendurchsatz durch Deduplizierung. Für ein 1-GBit/s-Netzwerk (max ~125 MB/s) mag das nicht bedeutsam sein, aber bei 10-GBit/s oder höheren Übertragungen kann es zum Flaschenhals werden. Lohnt es sich? In Zahlen: Ich habe ~2 TB an Platz gespart, was bei aktuellen HDD-Preisen von ~17 EUR pro TB (Beispiel: 16-TB Seagate Exos um 270 EUR) eine Ersparnis von ~34 EUR bedeutet. Dafür musste ich aber mit einem Performanceverlust von bis zu 20% leben.In meinem Szenario bin ich daher zum Schluss gekommen, dass ich auf beides verzichten werde (oder zumindest auf Deduplizierung). Kompression (LZ4) allein lohnt sich meist, da sie moderat Ressourcen verbraucht. Dedup sorgt für deutlich mehr Einbußen bei vergleichsweise geringem Speichergewinn, denn meine Daten sind größtenteils bereits komprimiert bzw. nicht sehr redundant. Für wen lohnt sich Dedup und Kompression dennoch? Dedup lohnt sich bei hochredundanten Daten:VM-Images mit identischen SystemdateienBackups, die sich nur minimal unterscheidenDatenbanken, die oft Duplikate enthaltenE-Mail-Server, bei denen Attachments mehrfach abgelegt sindWenn man so 2-fachen, 3-fachen oder höheren Dedup-Faktor erzielt, kann das enorm viel Platz sparen. Dann ist der Performanceverlust akzeptabel – speziell wenn man über ein sehr leistungsstarkes System mit reichlich RAM verfügt.Kompression lohnt sich, wenn man viel unkomprimiertes Material (Textfiles, Logdaten, CSV, DB-Dumps) speichert oder wenn die CPU stark genug ist, den Overhead zu kompensieren. Manchmal beschleunigt LZ4 sogar die I/O, weil weniger Bytes geschrieben/gelesen werden.Hochperformante Hardware: Wer extrem viel RAM hat (Faustregel: 1 GB RAM pro TB Nutzdaten) und schnelle CPU-Kerne, kann Deduplizierung besser abfedern. Fazit Deduplizierung – Ja oder Nein?Ich bin persönlich zu dem Schluss gekommen, dass sich Deduplizierung in meinem Anwendungsfall (viele Medien und ISO-Images) kaum lohnt, da es nur ~16% Platz einspart, aber ~20% Durchsatz kostet. Für andere Use-Cases kann Dedup jedoch einen viel stärkeren Effekt erzielen. Man sollte vorher realistisch einschätzen: Sind meine Daten wirklich so redundant, dass Dedup 2x oder 3x Ersparnis bietet? Dann lohnt es sich eher, Zeit und Systemressourcen zu investieren.Kompression – LZ4 als StandardKompression (besonders LZ4) schadet meist wenig, weil LZ4 sehr schnell ist und auf moderner Hardware kaum limitiert. In meinem Beispiel brachte sie 3% Ersparnis. Wer viel Text oder unkomprimierte Formate hat, könnte höhere Raten erzielen. Da der Overhead minimal bleibt, ist eine Aktivierung von LZ4 oft empfehlenswert.Kosten gegen Nutzen abwägenLetztlich muss jeder selbst einschätzen, ob 20% Performanceeinbußen die Ersparnis von 2 TB (bei 11 TB Daten) rechtfertigen oder ob es leichter wäre, eine etwas größere HDD zu kaufen. Festplatten sind zwar nicht mehr so billig wie früher, aber im Verhältnis zu CPU-/RAM-Mehrbedarf kann es günstiger sein, die Extra-Kapazität physisch zu beschaffen.Mein persönlicher Rat: Aktivieren Sie Kompression (LZ4) standardmäßig, solange es keinen signifikanten Geschwindigkeitsnachteil gibt. Seien Sie mit Deduplizierung vorsichtig und prüfen Sie, ob Ihre Daten wirklich einen hohen Anteil an Duplikaten aufweisen. Sollten Sie dedizierte Workloads mit massivem Duplikationspotenzial haben, kann sich Dedup sehr wohl lohnen – vorausgesetzt, Sie haben ausreichend Arbeitsspeicher und CPU-Power. Kurz gesagt: ZFS ist ein fantastisches Dateisystem mit vielfältigen Features. Deduplizierung und Kompression sind technische Werkzeuge, die in einigen Szenarien hervorragende Vorteile bringen – in anderen hingegen den Arbeitsablauf eher verkomplizieren und Performance mindern. Ein genauer Blick auf die eigene Datenstruktur und Hardware ist unerlässlich, um die richtige Entscheidung zu treffen. ZFS Vorheriger Beitrag Wieviel Platz braucht ein Hund? Eine persönliche Einschätzung You may also like Kostenpflichtiger vs. kostenloser SSH Client: Welche Lösung passt zu Ihnen? Januar 29, 2025 Rufus Boot Stick erstellen: Ein umfassender Leitfaden für Windows und Linux Januar 22, 2025 BIOS Öffnen: So startest du deinen PC ins BIOS bzw. UEFI Januar 21, 2025 USV Anlage – 5 Kriterien zur richtigen Auswahl Juni 12, 2022 Festplatten Ausbauen aka „Shucking“ – Günstige Terrabytes bekommen Februar 1, 2021 LSI SAS 3008 HBA (z.B. IBM M1215) in den IT mode flashen... Januar 24, 2021 Hinterlasse einen Kommentar Cancel Reply Save my name, email, and website in this browser for the next time I comment.
