Objekt- / Langzeitspeicher (LZS)

Das RRZ betreibt unter dem Namen Objekt- / Langzeitspeicher (LZS) einen hochskalierbaren Objektspeicher, der als Ergänzung zu dem Dateidienst UHHDisk und der Zentrale Speicherinfrastruktur ZSI den stetig wachsenden Bedarf an Speicherplatz für Daten aus Wissenschaft und Forschung deckt.

Der LZS eignet sich unter anderem für folgende Einsatzzwecke:

Backend für Dateidienste
Backend für Archivierungslösungen
Backend für Forschungsdaten-Management oder CMS
Backend für die Auslieferung von Multimediadateien
Ablage von Messdaten oder Ergebnissen aus Simulationsrechnungen
Ablage größerer Sammlungen von Fotos, Filmen oder digitalisierten Büchern
On-Premise-Cloud-Speicher für die Nutzung im Rahmen wissenschaftlicher Kooperation als sichere und günstige Alternative zu Amazon Simple Storage Service (S3)

Zielgruppe des LZS sind Systeme, die nativ S3 sprechen und größere Datenmengen bei geringer Datenänderungsrate speichern müssen. Für die Speicherung von Dateien, z.B. für Home-Laufwerke oder Projektverzeichnisse, bietet das RRZ mit der UHHDisk eine geeignete Plattform an.

Aufgrund der Systemarchitektur und Konfiguration eignet sich der LZS nicht zur Nutzung für strukturierte Daten (Backend für Datenbanken) oder Virtualisierungsumgebungen. Hierfür bietet das RRZ mit der Zentralen Speicherinfrastruktur ZSI einen geeigneten Dienst an.

Bei weiteren Fragen zum S3-Objekt- und Langzeitspeicher schicken Sie bitte eine E-Mail an die RRZ-ServiceLine(rrz-serviceline"AT"uni-hamburg.de?subject=Anfrage zum S3-Objekt- und Langzeitspeicher (RRZ#SRQ-LZS)).

Zugriff und Protokolle

Das primäre Protokoll für den Zugriff auf die Objektspeicher ist Amazon AWS S3. Der Hersteller der vom LZS genutzten Software sichert volle Kompatibilität zum S3-Standard zu. Dadurch ist der Zugriff über Amazon AWS S3 Tools und APIs möglich.

Amazon AWS S3 wird aktuell von vielen Repositorien-Systemen und Messeinrichtungen mit Cloudanbindung unterstützt. Für die gängigen Betriebssysteme stehen Clients zur Verfügung, beispielsweise das AWS CLI.
Darüber hinaus existieren Bibliotheken für alle gängigen Programmiersprachen und Entwicklungsumgebungen.

Über spezielle Gateways ist die Nutzung des LZS auch über die UHHDisk und damit über das Protokoll SMB/CIFS möglich.

Verfügbarkeit und Datensicherheit

Der Langzeitspeicher ist für die Speicherung von Daten mit hohen Anforderungen an die Verfügbarkeit ausgelegt.

Das betrifft die Ausfallsicherheit gegenüber Defekten und Störungen sowie die Sicherheit gegenüber Datenverlust durch technische Fehler und Fehler bei der Nutzung (versehentliches Löschen, Veränderung von Daten). Verfügbarkeit und Datensicherheit sind durch folgende Merkmale gegeben:

alle Daten verbleiben in Rechenzentren der UHH (On-Premise Cloud)
Betreuung des LZS durch qualifiziertes Personal sowie über Support-Verträge mit den beteiligten Systemherstellern
Aufbau aller Komponenten in zugangsgesicherten Bereichen mit hochverfügbarer Infrastruktur (Klimatisierung, Stromversorgung und Netz)
redundante Speicherung aller Objekte im Primärsystem an drei Standorten der UHH mittels Erasure Coding
Cluster von Load-Balancern an allen Standorten erlauben den verteilten Zugang mit hoher Verfügbarkeit
volle Verfügbarkeit bei Ausfall oder Wartung beliebiger Komponenten
das System bleibt auch beim Ausfall eines kompletten Standorts online
asynchrone Replikation von Daten auf einen zweiten Objektspeicher an einem weiteren Standort der UHH mit Speicherung auf LTO-Bändern (Off-Site- und Offline-Sicherung der Daten)
Versionierung von Buckets. Gelöschte Daten verbleiben durch die Versionierung bis zum regelbasierten Löschen als vorherige Versionen im primären Objektspeicher sowie in der Replikation.
SSL-Verschlüsselung im Transport
optional: WORM Funktion für Buckets zur Archivierung
optional: Verschlüsselung auf dem Client