AWS DataSync – Die Daten Migration Drehscheibe in Ihrer hybriden Umgebung

Die Migration großer Daten von Ihren klassischen Fileserverumgebungen in die AWS Umgebungen kann zu einer Herausforderung werden. Insbesondere dann, wenn die Übernahme in sehr kurzer Zeit erfolgen muss.

Eine der möglichen Lösungsansätze kann der Einsatz von AWS DataSync sein.

DataSync reiht sich in die bereits vorhandenen AWS Migrationstools wie Servermigration Service (SMS) und Database Migration Service (DMS) ein.

Die Daten Migration wird über “Tasks” innerhalb des DataSync Services beschrieben und jeder Task definiert eine Quelle und das entsprechende Ziel.

DataSync QuellenDataSync Ziele
NFS ShareS3
SMB ShareEFS
S3FSx for Windows
EFS 
  • Es können bis zu 100 Tasks gleichzeitig pro Account innerhalb einer Region gestartet werden.
  • Je Task können bis maximal 50 Millionen Dateien übertragen werden
  • Aktiviert wird AWS DataSync entweder über das Herunterladen und Starten einer VM im physikalischen Rechenzentrum oder durch die Nutzung des AMI im AWS Umfeld.
  • In beiden Fällen spricht man vom AWS DataSync Agent. Unterstützt werden die Hypervisor Umgebungen
    • VMware ESXi Hypervisor version 6.0 or 6.5 or 6.7
    • AWS EC2 Hypervisor

folgende zwei Szenarien sind möglich:

1 Migration von Fileserver Daten aus dem klassischen Rechenzentrum nach AWS

2 Migration zwischen AWS Accounts in der selben oder in verschiedenen Regionen

Umsetzung innerhalb eines Kundenprojektes

Ausgangssituation

  • 4 TB Daten ( PDF und Word Dateien ) auf SMB Fileshare im Data Center
  • Klassische Windows Server Anwendungsschicht
  • Anwendung benötigt mount Volumes für den Datenzugriff
  • Anwendung liest zu 99 % Daten im Object Mode
  • Migration der Daten muss innerhalb von 4 Wochen erfolgt sein
  • Neu generierte und modifizierte Daten im Quellverzeichnis müssen nach Go Live bereitgestellt sein

Umsetzung und Zielszenario

  • Einsatz von AWS DataSync
  • Verwendung mehrere Tasks gleichzeitig für initial und inkrementell Migration in S3 Buckets
  • 3rd party Lösung “CloudBerry” zum nativen mounten der jeweiligen S3 Buckets für die Windows Anwendungen
  • durchschnittlich 1000 lesende Zugriffe pro Minute je Windows Node

Benefit der Lösung

  • Schaffung einer hoch redundanten zentralen Speicherlösung
  • Reduzierung des operativen Aufwandes da keine SMB File Server Lösung und oder FSx for Windows
  • eingesetzt wird
  • Reduzierung der laufenden Betriebskosten, Abrechnung nach tatsächlich belegtem Speicherplatz