Dateien mit der AWS CLI zu S3 kopieren

Wenn Sie große Datenmengen in die AWS Cloud übertragen müssen, müssen die Daten beim Wechsel zu einem Cloud-Dienst wie S3 irgendwie dorthin gelangen. Dafür gibt es mehrere Wege. Einer davon ist, die Dateien mit der AWS CLI zu kopieren. Zwei Befehle übernehmen die Übertragung: copy und sync.

„aws s3 cp“ kopiert einfach Dateien, „aws s3 sync“ kann dagegen zum Beispiel ein lokales Verzeichnis mit AWS S3 synchronisieren. Beim Synchronisieren werden nur geänderte Dateien übertragen, was bei großen Datenmengen erheblich Ressourcen spart. Der einfachste Aufruf dafür lautet:

aws s3 sync . s3://

Damit werden alle Daten im aktuellen Verzeichnis (.) in den angegebenen Bucket kopiert. Vorher müssen Sie die Verbindung zum S3-Bucket einrichten („aws configure“). Wie alle Befehle nimmt auch „sync“ weitere Optionen an, etwa um bestimmte Dateien und Verzeichnisse ausdrücklich ein- oder auszuschließen. Hier ein Beispiel, bei dem nur die Dateien und Verzeichnisse übertragen werden, die mit „1“ beginnen:

aws s3 sync . s3:// —exclude '' —include “1”

Alle S3-Befehle der AWS CLI finden Sie übrigens in der offiziellen Dokumentation. Für manche Anwendungen kann es auch sinnvoll sein, die maximale Übertragungsgeschwindigkeit zu S3 zu drosseln.