3. S3 Object Storage

Inhaltsverzeichnis

• S3 Object Storage
  • Übersicht S3 Elemente
  • Manage S3 Dashboard Permissions
  • Übersicht S3 Dashboard
  • Create Project
  • Manage Project User
  • Create EC2 Credentials
  • Create Bucket
    • Einschränkungen Bucket-Name
  • Upload Files
    • Resume Upload
    • MPU - Multi Part Upload
  • Download File

In diesem Bereich verwalten Sie ihre S3 Objekte (Buckets, Files) inklusive der Projekt und Panel User-Berechtigungen und S3 EC2 Credentials (Access Key und Secret).

3.1. Übersicht S3 Elemente

Das folgende Bild veranschaulicht die Elemente welche Sie im Cloud Service Portal unter S3 Object Storage verwalten können. Die Struktur bezieht sich auf ein Projekt. Sie können bei Bedarf mehrere Projekte anlegen und verwalten.

Damit Sie S3 nutzen können, benötigen Sie mindestens:

• ein Projekt
• ein User mit S3 Panel Berechtigungen
• EC2 Credentials (API & Secred Key)
• ein Bucket

Legende Übersicht S3 Verwaltung

Element	Beschrieb
Project	Berechtigungen, Buckets und EC2 Credentials gehören immer zu einem Projekt.
Client Admin	Der Client Admin ist ein User mit erweiterten Rechten und verwaltet die Projekte und User und regelt deren Berechtigung.
Client User	Der Client User sieht die Projekte und Buckets, für welche er berechtiigt wurde.
Project EC2 Credentials	Der Zugriff auf Buckets innerhalb eines Projektes wird über so genannte EC2 Credentials [1] berechtigt.
Bucket	Buckets [2] ist wie ein Sammelbehälter für die Objekte (Files), welche im Object Storage gespeichert werden sollen.
Objekte	Im S3 Object Storage Panel können einfach einzelne Files Hoch oder Herunter geladen werden [3].
Bucket2	Sie können mehrere Bucket anlegen, um Objekte zu besser zu organisieren.

[1]

Ein EC2 Credential besteht aus einem API- und Secret Key und gehört zum Projekt. Sie können mehrere EC2 Credentials pro Projekt erstellen. Durch den Zugriff über EC2 Credentials sind immer alle Buckets in einem Projekt sichtbar. Es besteht auch die Möglichkeit User gebundene EC2 Credentials zu verwenden.

[2]	Es können im Rahmen des Fair Usage beliebig viele Buckets in einem Projekt erstellt werden.

[3]	Grössere Datenmengen werden üblicher Weise mit einem externen Tool (z.B. S3 Explorer oder S3 CLI) geladen.

3.2. Manage S3 Dashboard Permissions

Damit ein User auf das S3 Dashboard zugreifen kann, müssen hierzu zuerst die nötigen Berechtigungen erteilt werden.

• Navigieren Sie hierzu links auf S3 Object Storage und anschliessend auf Manage permissions.

Bemerkung

Die User Berechtigung auf das S3 Panel ist unabhängig von den Berechtigungen auf ein Projekt oder Bucket. Falls Sie diesen Menüpunkt nicht haben, wenden Sie sich bitte an ihren Reseller Support.

• Klicken Sie dann beim entsprechenden User rechts auf die Schaltfläche Manage permissions

• Legen Sie nun je nach Aufgabe die gewünschten Berechtigungen für diesen User fest und klicken anschliessend auf update.

3.3. Übersicht S3 Dashboard

Das folgende Bild veranschaulicht die Gliederung der Elemente, welche Sie im Cloud Service Portal unter S3 Dashboard verwalten können.

Legende Übersicht S3 Dashboard

Element	Beschrieb
Project Ebene (1)	Isolierte Gruppe von Project Berechtigungen (4), Buckets (2) und EC2 Credentials (3).
Bucket Ebene (2)	Liste der Buckets dieses Projektes
EC2 Credentials (3)	Verwaltung der EC2 Credentials, welche zu diesem Projekt gehören.
Users (4)	Verwaltung der User Berechtigungen für dieses Projekt.

Sobald Sie ein Projekt (1) und anschliessend ein Bucket (2) anklicken, werden falls vorhanden die Bucket Objekte und weitere Features (3) wie z.B. MPUs (Multi Part Uploads) angezeigt.

Bemerkung

MPU - Nachdem Sie einen mehrteiligen Upload (MPU) initiiert und ein oder mehrere Teile hochgeladen haben, werden diese im TAB MPUs aufgelistet. Sie müssen den mehrteiligen Upload entweder abschließen oder stoppen, damit Ihnen der Speicherplatz für die hochgeladenen Teile nicht mehr berechnet wird. Erst nachdem Sie einen mehrteiligen Upload entweder abgeschlossen oder gestoppt haben, gibt S3 den Teilespeicher frei und stellt Ihnen den Teilespeicher nicht mehr in Rechnung.

Legende S3 Bucket Details

Element	Beschrieb
Project (1)	Ausgewähltes Project mit Bucket (2)und Objekt Liste
Feature TAB’s (3)	Objects TAB mit den Objekten und MPU TAB mit der Liste der unvollständigen Multipart Uploads
Objekt-Details (4)	Durch klicken auf Spalte Properties (4) eines Objektes werden weitere Details zum Objekt angezeigt
Schaltflächen (5)	Mit Hilfe der „Upload file“ und „Create Folder“ Schaltflächen (5) können weitere Objekte in diesem Bucket angelegt werden.

3.4. Create Project

Um ihre Buckets, User und EC2-Credentials zu verwalten, erstellen Sie zunächst ein Projekt. In einem Projekt können mehrere Buckets, User und EC2 Credentials verwaltet werden.

Bemerkung

Möglicherweise hat ihr Reseller für Sie bereits ein Projekt erstellt und Sie können direkt mit dem erstellen von Credentials fortfahren.

Im Rahmen des fair use, können Sie je nach Bestellung mehrere Projekte anlegen.

• Navigieren Sie hierzu links auf S3 Object Storage und anschliessend auf S3 dashboard.

• Klicken Sie nun bitte auf die Schaltfläche Create Project
• Geben Sie nun einen Projekt Namen und eine Beschreibung ein.
• Als Quota Profile wählen Sie bitte object-storage [4] aus.
• Klicken Sie dann auf die Schaltfläche Create

[4]	Profile object-storage - Dieses spezielle Quota Profil enthält ausschliesslich #Projects Quotas um eine versehentliche Nutzung anderer Resourcen (z.B. CPU, RAM) zu vermeiden.

• Das Projekt wurde erstellt und wird angezeigt.
• Erteilen Sie nun die User-Berechtigungen für dieses Projekt.

Bemerkung

Es erscheint ein Hinweis, dass Sie noch ein Credential für dieses Projekt erstellen müssen, bevor Sie ein Bucket anlegen können.

3.5. Manage Project User

Falls Sie berechtigt sind Projekte selbst zu erstellen und zu verwalten, können Sie weitere User anlegen und diese für Projekte berechtigen. Für den Zugriff auf ein Bucket ist diese Berechtigung nicht nötig.

Um einen User zu erstellen oder einen bestehenden User auf ein oder mehrere Projekte zu berechtigen, gehen Sie bitte wie folgt vor.

• Navigieren Sie hierzu links auf S3 Object Storage und anschliessend auf S3 dashboard.
• Klicken Sie zunächst das Projekt (1) an, für welche Sie eine User Berechtigung erteilen möchten
• Als nächstes klicken Sie bitte rechts auf den Users TAB (2)
• Nun klicken Sie recht auf der Zeile des entsprechenden User auf Edit roles (3).

• Wählen Sie nun die Rolle „s3“ aus und schliessen ihre Eingabe mit der Schaltfläche update ab.
• Mit der Schaltfläche Create User können Sie direkt einen neuen User erstellen.

3.6. Create EC2 Credentials

Bevor Sie Buckets anlegen können, müssen Sie mindestens ein EC2 Credential in ihrem Projekt erstellt haben.

• Navigieren Sie hierzu links auf S3 Object Storage und anschliessend auf S3 dashboard.
• Klicken Sie zunächst das Projekt (1) an, für welches Sie EC2 Credential erstellen möchten
• Als nächstes klicken Sie rechts im TAB „Credentials“ auf die Schaltfläche Create Credentials (2).

• Es werden die erzeugten EC2 Credentials angezeigt
• Geben Sie eine Beschreibung für die Verwendung dieser Credentials ein
• Falls Sie berechtigt [5] sind, können Sie mit dem Flag is user credentials auch User gebundene EC2 Credentials erstellen
• schliessen Sie den Vorgang ab durch klicken auf create.

[5]	Um User gebundene EC2 Credentials erstellen zu können, müssen Sie sich vorab am OpenStack Management Portal erfolgreich angemeldet haben. Falls diese Voraussetzung nicht erfüllt ist, erscheint die User Credential Option nicht.

• Die EC2 Credentials wurden für dieses Projekt erstellt und werden in der Liste angezeigt.

• A) Access und Secred Key - Duch klicken auf das Augen Symbol wird es angezeigt.
• B) Source - Zeigt an, ob es sich um ein User [6] oder Project gebundenes EC2 Credential handelt.
• C) Selected - Zeigt an, mit welchem EC2 Credential die S3 Objekte im Cloud Service Portal abgefragt werden. Dies können Sie mit der Action Schaltfläche F) Select Credentials festlegen.
• D) Selected - Beschreibung des EC2 Credential
• E) Copy_to_clipboard - Duch klicken auf diese Spalte, wird der API und Secred Key in die Zwischenablage kopiert.
• F) Actions - siehe C). Durch klicken auf den Pfeil erscheint die Auswahl zum löschen des EC2 Credential.

[6]	Es werden nur die User gebundene EC2 Credentials des angemeldeten Users angezeigt!

• Erstellen Sie nun ihr Bucket.

3.7. Create Bucket

Zum erstellen eines Bucket gehen Sie bitte wie folgt vor.

• Navigieren Sie hierzu links auf S3 Object Storage und anschliessend auf S3 dashboard.
• Klicken Sie zunächst das Projekt (1) an, in welchem Sie ein Bucket erstellen möchten
• Als nächstes klicken Sie bitte rechts auf die Schaltfläche Create Bucket (2).

• Geben Sie einen Namen ein und klicken auf create

Bemerkung

Beachten Sie hierbei bitte die Einschränkungen zum Bucket Name.

3.7.1. Einschränkungen Bucket-Name

Im Allgemeinen sollten Bucket-Namen den Einschränkungen für Domainnamen folgen.

• Bucket-Namen können Kleinbuchstaben, Zahlen und Bindestriche enthalten. Jede Beschriftung muss mit einem Kleinbuchstaben oder einer Zahl beginnen und enden.
• Bucket-Namen müssen eindeutig sein.
• Bucket-Namen können nicht als IP-Adresse formatiert werden.
• Bucket-Namen können zwischen 3 und 63 Zeichen lang sein.
• Bucket-Namen dürfen keine Großbuchstaben oder Unterstriche enthalten.
• Bucket-Namen müssen mit einem Kleinbuchstaben oder einer Zahl beginnen.

3.8. Upload Files

Nachdem Sie ein Bucket erstellt haben, können Sie nun im S3 Panel einzelne Files Hoch- oder Herunterladen.

• Navigieren Sie hierzu links auf S3 Object Storage und anschliessend im entsprechenden project (1) auf das gewünschte Bucket (2).
• Klicken Sie nun rechts auf die Schaltfläche Upload File (3)

• Es erscheint der S3 Upload Manager in einem neuen Browser-TAB
• Öffnen Sie nun ihren File-Explorer und fügen per drag & drop (mit der linken Maus Taste) einzelne Dateien, oder ganze Verzeichnisse der Upload Liste innerhalb des gestrichelten Bereichs (1) hinzu.
• Sobald Sie alle Objekte, welche Sie hochladen möchten hinzugefügt haben, starten Sie den Upload Vorgang durch klicken auf Start uploading (3).

• Alternativ können Sie auch einzelne Dateien durch klicken auf Select files (2) hinzufügen.
• Während des Zusammenstellen der Upload-Liste werden die Objekte unterhalb von Total size aufgelistet.
• Sie können in der Upload-Liste einzelne Objekte löschen oder weitere hinzufügen (C).
• Nach klicken auf die Schaltfläche Start uploading (3) erscheint eine Animation (A) Preparing uploads bis dann der eigentliche upload beginnt.
• Der Status des Ladevorgangs wird in der Objektliste rechts angezeigt (B).

Bemerkung

Sie können während des Upload Vorgang den Browser TAB wechseln und im Cloud Service Portal oder einer anderen Applikation weiterarbeiten, bis der upload fertig ist. Falls Sie den S3 Upload Manager Browser TAB während eines Upload Vorgangs schliessen, wird der Upload abgebrochen und kann später ggf. mit Resume Upload fortgesetzt werden.

3.8.1. Resume Upload

Falls ein Upload unterbrochen wurde, z.B. durch versehentliches schliessen des upload Browser TAB, ist der Upload unvollständig. Sie haben nun zwei Möglichkeiten.

A) Abort all uploads

Um den unterbrochenen Upload Vorgang und die MPU Files zu löschen, gehen Sie bitte wie folgt vor:

• Navigieren Sie hierzu links auf S3 Object Storage und anschliessend im entsprechenden project (1) auf das Bucket (2), wo der Upload Vorgang unterbrochen wurde.

• Klicken Sie nun rechts auf die Schaltfläche Upload File (3)
• Es werden nun die MPU (Multi Part Upload) Dateien (C) des abgebrochenen Upload angezeigt

• Um nun die MPU Dateien und den Upload Vorgang zu bereinigen, klicken Sie auf Abort all uploads (3).
• Bestätigen Sie die Kontrollfrage mit OK
• Die MPU Dateien werden nun gelöscht und Sie können den S3 Upload Manager schliessen, durch klicken auf die Schaltfläche Cancel oder Sie können eine neue Upload List erstellen.

Bemerkung

Die bereits vollständig hochgeladenen Dateien bleiben im Bucket erhalten und werden nicht gelöscht!

B) Resume folder uploading

Um den unterbrochenen Upload Vorgang fortzusetzen, gehen Sie bitte wie folgt vor:

• Navigieren Sie hierzu links auf S3 Object Storage und anschliessend im entsprechenden project (1) auf das Bucket (2), wo der Upload Vorgang unterbrochen wurde.

• Klicken Sie nun rechts auf die Schaltfläche Upload File (3)
• Es werden nun die MPU (Multi Part Upload) Dateien (C) des abgebrochenen Upload angezeigt

• Klicken Sie nun auf Resume folder uploading (B).
• Nun wird ein Explorer Fenster geöffnet, in welchem sich das Source Verzeichnis befindet, welches Sie hochladen wollten. Wählen Sie nun erneut dieses Verzeichnis aus und bestätigen Sie die nächste Kontrollfrage nach dem upload mit der Schaltfläche OK.
• Der Upload Vorgang wird nun fortgesetzt und die restlichen Objekte hochgeladen.
• Nachdem der Upload vollständig ist können Sie den S3 Upload Manager schliessen, durch klicken auf die Schaltfläche Cancel.

3.8.2. MPU - Multi Part Upload

Beim hochladen von Objekten ab einer bestimmten Grösse, werden die Dateien in mehrteilige Upload „Pakete“ oder Teile aufgeteilt (MPU). Jedes Teil ist ein zusammenhängender Teil der Daten des Objekts. Die Objektteile können hierbei unabhängig und in beliebiger Reihenfolge hochgeladen werden.

Wenn die Übertragung eines Teils fehlschlägt, wird nur das fehlende Teil erneut übertragen, ohne dass dies Auswirkungen auf andere Teile hat. Nachdem alle Teile Ihres Objekts hochgeladen sind, fügt S3 diese Teile zusammen und erstellt das Objekt.

Vorteile von Mutlipart Upload (MPU):

• Verbesserter Durchsatz – durch paralleles (bis 100) hochladen wird der Durchsatz erhöht
• Schnelle Wiederherstellung bei Netzwerkproblemen – Die kleinere Teilegröße minimiert die Auswirkungen eines Neustarts eines fehlgeschlagenen Uploads aufgrund eines Netzwerkfehlers.
• Anhalten und Fortsetzen von Objekt-Uploads – Sie können Objektteile über eine Zeit verteilt hochladen. Sie müssen aber den mehrteiligen Upload ausdrücklich abschließen oder abbrechen.

3.9. Download File

Nachdem Sie ein Bucket erstellt und Files Hochgeladen haben, können Sie nun im S3 Panel auch einzelne Files Herunterladen.

• Navigieren Sie hierzu links auf S3 Object Storage und anschliessend im entsprechenden project (1) auf das gewünschte Bucket (2) in welchem sich das File befindet.
• Klicken Sie nun in der Liste beim gewünschten File auf den Namen, dann wird das File automatisch Heruntergeladen.

Bemerkung

Je nach Einstellungen ihres Browsers, wird das File Herunter geladen oder angezeigt, beziehungsweise im Fall eines MP4 File abgespielt.

• Das File wird in ihrem Download Verzeichnis abgelegt.

Bemerkung

Grössere Datenmengen können auch mit einem externen Tool (z.B. S3 Explorer oder S3cmd) Hoch- oder Herunterladen werden.