Amazon Kinesis-Datenströme ist ein serverloser Daten-Streaming-Dienst, der die einfache Erfassung, Verarbeitung und Speicherung von Streaming-Daten in jeder Größenordnung ermöglicht. Da Kunden immer mehr Arten von Daten sammeln und streamen, verlangen sie nach einfacheren, elastischen Datenströmen, die mit variablem und unvorhersehbarem Datenverkehr umgehen können. Im November 2021 startete Amazon Web Services die On-Demand-Kapazitätsmodus für Kinesis Data Streams, das einen Schreib- und Lesedurchsatz von Gigabyte pro Minute leisten kann und dazu beiträgt, die betrieblichen Probleme bei der manuellen Aktualisierung der Datenstromkapazität zu reduzieren. Sie können mit einem einzigen Klick einen neuen On-Demand-Datenstrom erstellen oder einen vorhandenen Datenstrom in den On-Demand-Modus konvertieren, ohne Server, Speicher oder Durchsatz bereitstellen und verwalten zu müssen. Standardmäßig kann der On-Demand-Kapazitätsmodus automatisch auf einen Schreibdurchsatz von bis zu 200 MB/s skaliert werden.
Die Akzeptanz des On-Demand-Kapazitätsmodus durch die Kunden hat uns ermutigt, aber als Kunden ihre Arbeitslasten skalierten, stießen einige auf die Datenaufnahmegrenze von 200 MB/s und fragten nach einer Lösung. Das Team arbeitete rückwärts auf der Grundlage des Kundenfeedbacks, um dieses Limit zu erhöhen. Stand März 2023, Kinesis Data Streams unterstützt ein erhöhtes On-Demand-Schreibdurchsatzlimit von 1 GB/s, eine Verfünffachung der aktuellen Grenze von 200 MB/s. Es ist, als ob Sie über einen wirklich serverlosen und elastischen Daten-Streaming-Dienst verfügen, der für alle Ihre Anwendungsfälle geeignet ist. Wenn Sie eine Kapazitätserhöhung benötigen, können Sie sich an uns wenden AWS-Support um die Skalierung von On-Demand-Streams auf einen Schreibdurchsatz von bis zu 1 GB/s für jedes angeforderte Konto zu ermöglichen. Sie zahlen für den verbrauchten Durchsatz und nicht für die bereitgestellten Ressourcen, was das Gleichgewicht zwischen Kosten und Leistung erleichtert. Insgesamt gilt: Wenn Ihr Datenvolumen unvorhersehbar ansteigen kann oder Sie die Anzahl der Shards nicht verwalten möchten, verwenden Sie On-Demand-Streams.
In diesem Beitrag untersuchen wir, wie Sie die On-Demand-Skalierung und Best Practices von Kinesis Data Streams nutzen können, um eine effiziente Daten-Streaming-Lösung aufzubauen. Wir diskutieren verschiedene Szenarien, um Ausnahmen beim Schreibdurchsatz zu vermeiden und die Aufnahmekapazität von Kinesis Data Streams auf 1 GB/s im On-Demand-Kapazitätsmodus zu skalieren.
Kinesis Data Streams On-Demand-Skalierung
Ein Shard dient als Basisdurchsatzeinheit von Kinesis Data Streams. Ein Shard unterstützt 1 MB/s und 1,000 Datensätze/s für Schreibvorgänge und 2 MB/s für Lesevorgänge. Die Shard-Grenzwerte gewährleisten eine vorhersehbare Leistung und erleichtern die Entwicklung und den Betrieb eines äußerst zuverlässigen Daten-Streaming-Workflows. Im On-Demand-Kapazitätsmodus erfolgt die Skalierung auf der Ebene der einzelnen Shards. Wenn die durchschnittliche Aufnahme-Shard-Auslastung in 50 Minute 0.5 % (500 MB/s oder 1 Datensätze/s) erreicht, wird ein Shard in zwei Shards aufgeteilt. Wenn Sie Zufallswerte als Partitionsschlüssel verwenden, haben alle Shards des Streams gleichmäßigen Datenverkehr und werden gleichzeitig skaliert. Wenn Sie einen geschäftsspezifischen Schlüssel als Partitionsschlüssel verwenden, kommt es zu einem ungleichmäßigen Datenverkehr auf den Shards. In diesem Szenario werden nur die Shards skaliert, die eine durchschnittliche Auslastung von 50 % überschreiten. Abhängig von der Anzahl der zu skalierenden Shards dauert die Aufteilung der Shards bis zu 15 Minuten.
Wenn wir einen neuen Kinesis-Datenstrom im On-Demand-Kapazitätsmodus erstellen, stellt Kinesis Data Streams standardmäßig vier Shards bereit, was einen Schreibdurchsatz von 4 MB/s und einen Lesedurchsatz von 8 MB/s bietet. Wenn die Arbeitslast zunimmt, erhöht Kinesis Data Streams die Anzahl der Shards im Stream, indem es den Aufnahmedurchsatz auf Shard-Ebene überwacht. Der standardmäßige Aufnahmedurchsatz von 4 MB/s und die Skalierung auf Shard-Ebene im On-Demand-Kapazitätsmodus funktionieren für die meisten Anwendungsfälle. In einigen spezifischen Szenarien können die Hersteller jedoch konfrontiert werden WriteThroughputExceeded
und Rate Exceeded
Fehler, auch im On-Demand-Kapazitätsmodus. In den folgenden Abschnitten besprechen wir einige dieser Szenarien und Strategien zur Vermeidung dieser Fehler.
Sie können Datensatzvorlagen erstellen und speichern und mit dem einfach Daten an Kinesis Data Streams senden Amazon Kinesis-Datengenerator (KDG) zum Testen der Streaming-Datenlösung. Alternativ können Sie auch das moderne Lasttest-Framework nutzen Heuschrecke um umfangreiche Kinesis Data Streams-Auslastungstests durchzuführen. Für diesen Beitrag verwenden wir das Locust-Tool, um Nachrichten in Kinesis Data Streams für unsere verschiedenen Anwendungsfälle zu erstellen und aufzunehmen.
Szenario 1: Ein grundlegender Aufnahmedurchsatz von mehr als 4 MB/s ist erforderlich
Führen Sie Folgendes aus, um dieses Szenario zu simulieren AWS-Befehlszeilenschnittstelle (AWS CLI)-Befehl zum Erstellen des kds-od-default-shards
Datenstrom im On-Demand-Kapazitätsmodus:
Wenn das kds-od-default-shards
Da der Datenstrom aktiv ist, führen Sie den folgenden AWS CLI-Befehl aus, um die Anzahl der Shards im Datenstrom zu überprüfen:
Sie können beobachten, dass der OpenShardCount-Wert 4 ist, was bedeutet kds-od-default-shards
Der Datenstrom hat eine Aufnahmekapazität von 4 MB/s.
Als Nächstes verwenden wir das Locust-Tool, um die Basislinie auf etwa 25 MB/s-Datensätze festzulegen. Wie im Folgenden dargestellt Amazon CloudWatch Im Metrikdiagramm werden die Datensätze in den ersten paar Minuten gedrosselt. Dann ist die kds-od-default-shards
Der Datenstrom skaliert die Anzahl der Shards, um einen Aufnahmedurchsatz von 25 MB/s zu unterstützen, und Datensätze werden nicht mehr gedrosselt. Sie können das auch erneut ausführen describe-stream-summary
AWS CLI-Befehl zum Überprüfen der erhöhten Anzahl von Shards im Datenstrom.
In einem Szenario, in dem wir unsere Basislinie für den Aufnahmedurchsatz (25 MB/s) im Voraus kennen und keine Schreibdrosseln beobachten möchten, können wir einen Stream im bereitgestellten Modus erstellen, indem wir die Anzahl der Shards (30) angeben. wie im folgenden AWS CLI-Befehl gezeigt (unbedingt löschen). kds-od-default-shards
manuell über die Kinesis Data Streams-Konsole, bevor Sie den folgenden Befehl ausführen):
Wenn das kds-od-default-shards
Wenn der Datenstrom aktiv ist, führen Sie den folgenden AWS CLI-Befehl aus, um den Kapazitätsmodus des Datenstroms in „On-Demand“ zu konvertieren:
Als nächstes senden wir Datensätze mit 25 MB/s an kds-od-default-shards
Datenstrom. Wie im folgenden CloudWatch-Metrikdiagramm dargestellt, können wir keine Schreibdrosseln beobachten und die kds-od-default-shards
Der Datenstrom skaliert die Anzahl der Shards, um den Anstieg des Aufnahmevolumens zu bewältigen.
Nachdem wir für einige Zeit Datenverkehr mit 25 MB/s an den Datenstrom gesendet haben, können wir den folgenden AWS CLI-Befehl ausführen, um zu sehen, dass der OpenShardCount-Wert jetzt auf mehr als 30 erhöht ist:
Szenario 2: Es wird ein erheblicher Aufnahmeanstieg erwartet, der einen Aufnahmedurchsatz erfordert, der größer ist als die Anzahl der Shards im Stream
Um das Szenario zu simulieren, führen Sie den folgenden AWS CLI-Befehl aus, um das zu erstellen kds-od-significant-spike
Datenstrom im On-Demand-Kapazitätsmodus:
Wie bereits erwähnt, standardmäßig kds-od-significant-spike
Der Datenstrom verfügt zunächst über vier Shards, da dieser Stream im On-Demand-Modus erstellt wird. Wenn der Datenstrom aktiv ist, senden wir zunächst einen Aufnahmedurchsatz von 4 MB/s und steigern den Aufnahmedurchsatz alle 30–50 Minuten um 5–10 %. Wie in der folgenden CloudWatch-Metrikgrafik dargestellt, ist die kds-od-significant-spike
Der Datenstrom skaliert die Anzahl der Shards, um den Anstieg des Aufnahmevolumens zu bewältigen.
Führen Sie nach etwa 15 Minuten den folgenden AWS CLI-Befehl aus, um den OpenShardCount-Wert (x) von zu ermitteln kds-od-significant-spike
Datenstrom. Senden Sie dann (x * 2) MB/s Aufnahmedurchsatz im Datenstrom für 2–3 Minuten und reduzieren Sie den Aufnahmedurchsatz auf das vorherige Niveau:
Wie im folgenden CloudWatch-Metrikdiagramm dargestellt, werden die Datensätze einige Minuten lang gedrosselt, und dann verschwindet die Drosselung.
Typischerweise sind wir bei der Durchführung geplanter Veranstaltungen wie Einkaufsferien und Produkteinführungen mit einem erheblichen Spitzenszenario konfrontiert. Um solche Szenarien zu bewältigen, können wir den Kapazitätsmodus proaktiv von „On-Demand“ auf „Bereitgestellt“ ändern. Wir können die Anzahl der Shards konfigurieren und die von uns erwartete Aufnahmekapazität auswählen. Nachdem wir die Anzahl der Shards im Modus „Bereitgestellte Kapazität“ erfolgreich auf unsere gewünschte Spitzenkapazität skaliert haben, können wir den Kapazitätsmodus wieder in den On-Demand-Modus ändern.
Szenario 3: Ein einzelner Partitionsschlüssel beginnt, mehr als 1 MB/s zu übertragen
Partitionsschlüssel werden verwendet, um Datensätze zu trennen und an verschiedene Shards eines Streams weiterzuleiten. Beim Hinzufügen von Daten zum Datenstrom wird vom Datenproduzenten ein Partitionsschlüssel angegeben. Nehmen wir zum Beispiel an, wir haben einen Stream mit zwei Shards (Shard 1 und Shard 2). Wir können den Datenproduzenten so konfigurieren, dass er zwei Partitionsschlüssel (Schlüssel A und Schlüssel B) verwendet, sodass alle Datensätze mit Schlüssel A zu Shard 1 und alle Datensätze mit Schlüssel B zu Shard 2 hinzugefügt werden. Die Auswahl eines Partitionsschlüssels ist sehr wichtig Entscheidung, und wir sollten den Partitionsschlüssel sorgfältig auswählen, um eine gleichmäßige Verteilung der Datensätze auf alle Shards des Streams sicherzustellen. Nachrichten, die an einen einzelnen Partitionsschlüssel A gebunden sind, werden an einen einzelnen Shard (Shard 1) gesendet, und zu einem bestimmten Zeitpunkt können Nachrichten, die an einen einzelnen Partitionsschlüssel A gebunden sind, nicht auf verschiedene Shards verteilt werden. Wie bereits erwähnt, unterstützt ein Shard standardmäßig 1 MB/s und 1,000 Datensätze/s für Schreibvorgänge, und es kann zu einem Grenzfallszenario kommen, in dem wir versuchen, mehr als 1 MB/s für einen bestimmten Partitionsschlüssel zu pushen. In diesem Szenario kommt es bei den Herstellern weiterhin zu Drosselungen und sie versuchen es auf unbestimmte Zeit erneut.
Um das Szenario zu simulieren, führen Sie den folgenden AWS CLI-Befehl aus, um das zu erstellen kds-od-partition-key-throttle
Datenstrom im On-Demand-Kapazitätsmodus:
Wie bereits erwähnt, besteht der Datenstrom standardmäßig zunächst aus vier Shards, da dieser Strom im On-Demand-Modus erstellt wird. Wenn der Datenstrom aktiv ist, senden wir kontinuierlich einen Aufnahmedurchsatz von 1.5 MB/s für den spezifischen Partitionsschlüssel A. Wie im folgenden CloudWatch-Metrikdiagramm dargestellt, können wir beobachten, dass die Drosselung von einem einzelnen Shard aus fortgesetzt wird, selbst wenn wir 1.5 MB/s senden. s Aufnahmedurchsatz und die kds-od-partition-key-throttle
Der Datenstrom hat eine Gesamtaufnahmekapazität von 4 MB/s.
Um dieses Szenario zu vermeiden, sollten wir unseren Partitionsschlüssel sorgfältig auswählen und sicherstellen, dass dieser spezifische Partitionsschlüssel nicht kontinuierlich mehr als 1 MB/s Aufnahmedurchsatz im Datenstrom sendet.
Skalieren Sie die Aufnahmekapazität von Kinesis Data Streams im On-Demand-Kapazitätsmodus auf 1 GB/s
Zum Testen beginnen wir mit einem grundlegenden Aufnahmedurchsatz von etwa 100 MB/s für Kinesis Data Streams im On-Demand-Kapazitätsmodus und erhöhen dann die Aufnahmedurchsatzrate alle 30–50 Minuten um 5–10 % mit dem Locust-Lasttesttool.
Um das Szenario einzurichten, erstellen Sie zunächst das kds-od-1gb-stream
Datenstrom im Modus „bereitgestellte Kapazität“ und geben Sie einen Wert von 120 für das Feld „bereitgestellte Shards“ an:
Wenn das kds-od-1gb-stream
Wenn der Datenstrom aktiv ist, schalten Sie seinen Kapazitätsmodus auf „On-Demand“, wie im folgenden Code gezeigt. Wenn wir den Kapazitätsmodus von „Bereitgestellt“ auf „On-Demand“ ändern, bleibt die Shard-Anzahl (120) für den Datenstrom auch im On-Demand-Kapazitätsmodus gleich.
Wenn das kds-od-1gb-stream
Da sich der Datenstrom im On-Demand-Modus befindet, starten Sie das Experiment. Wir senden mit dem Locust-Tool einen Basis-Ingest-Durchsatz von etwa 100 MB/s und erhöhen den Ingest-Durchsatz alle 30–50 Minuten um 5–10 %. Wie in der folgenden CloudWatch-Metrikgrafik dargestellt, ist die kds-od-1gb-stream
Datenstrom im On-Demand-Kapazitätsmodus nahtlos auf 1 GB/s skalierbar. Wir können auch beobachten, dass die Produzenten keine Schreibdrosseln erlebten, während der Datenstrom im On-Demand-Kapazitätsmodus skaliert wurde.
Aufräumen
Um laufende Kosten zu vermeiden, löschen Sie alle Datenströme, die Sie im Rahmen dieses Beitrags erstellt haben, mithilfe der Kinesis Data Streams-Konsole.
Zusammenfassung
In diesem Beitrag wurde die On-Demand-Skalierungsrichtlinie von Kinesis Data Streams anhand einiger Szenarien unter Verwendung von Best Practices demonstriert und gezeigt, wie die Aufnahmekapazität im On-Demand-Kapazitätsmodus auf 1 GB/s skaliert werden kann. Sie können ein Durchsatzlimit für bedarfsgesteuertes Schreiben festlegen, das fünfmal höher ist als das bisherige Limit von 200 MB/s. Wählen Sie den On-Demand-Modus, wenn Sie neue Datenströme mit unbekannten Arbeitslasten erstellen, unvorhersehbaren Anwendungsverkehr haben oder die Kapazität nicht verwalten möchten. Sie können zweimal pro rollierendem 24-Stunden-Zeitraum zwischen dem On-Demand- und dem bereitgestellten Kapazitätsmodus wechseln. Bitte hinterlassen Sie Feedback im Kommentarbereich.
Über die Autoren
Nihar Sheth ist Senior Product Manager im Amazon Kinesis Data Streams-Team bei Amazon Web Services. Seine Leidenschaft gilt der Entwicklung intuitiver Produkterlebnisse, die komplexe Kundenprobleme lösen und es Kunden ermöglichen, ihre Geschäftsziele zu erreichen.
Pratik Patel ist Senior Technical Account Manager und Streaming-Analytics-Spezialist. Er arbeitet mit AWS-Kunden zusammen und bietet fortlaufenden Support und technische Beratung, um bei der Planung und Erstellung von Lösungen unter Verwendung von Best Practices zu helfen und die AWS-Umgebungen der Kunden proaktiv betriebssicher zu halten.
Nisha Dekhtawala ist Partner Solutions Architect und Datenanalysespezialist. Sie arbeitet mit globalen Beratungspartnern als deren vertrauenswürdige Beraterin zusammen und bietet technische Beratung und Unterstützung beim Aufbau innovativer Well-Architected-Branchenlösungen.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Automobil / Elektrofahrzeuge, Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- BlockOffsets. Modernisierung des Eigentums an Umweltkompensationen. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/big-data/amazon-kinesis-data-streams-on-demand-capacity-mode-now-scales-up-to-1-gb-second-ingest-capacity/
- :hast
- :Ist
- :nicht
- :Wo
- $UP
- 000
- 1
- 100
- 102
- 15%
- 200
- 2021
- 2023
- 25
- 30
- 500
- 7
- 8
- a
- Über Uns
- Konto
- Erreichen
- über
- aktiv
- hinzugefügt
- Hinzufügen
- Adoption
- Berater
- Nach der
- voraus
- Alle
- ebenfalls
- Amazon
- Amazon Kinesis
- Amazon Web Services
- an
- Analytik
- und
- erwarten
- jedem
- Anwendung
- ca.
- SIND
- AS
- gefragt
- annehmen
- At
- Im Prinzip so, wie Sie es von Google Maps kennen.
- durchschnittlich
- vermeiden
- ein Weg
- AWS
- b
- Zurück
- Balance
- Base
- Baseline
- BE
- weil
- Bevor
- Sein
- BESTE
- Best Practices
- zwischen
- bauen
- Building
- Geschäft
- aber
- by
- CAN
- kann keine
- fähig
- Kapazität
- Erfassung
- vorsichtig
- Häuser
- Fälle
- Übernehmen
- aus der Ferne überprüfen
- Auswählen
- Auswahl
- klicken Sie auf
- Code
- sammeln
- Bemerkungen
- Komplex
- Konsul (Console)
- Consulting
- verbraucht
- Kontakt
- fortsetzen
- weiter
- ständig
- verkaufen
- Kosten
- Paar
- erstellen
- erstellt
- Strom
- Kunde
- Kunden
- technische Daten
- Datenanalyse
- Entscheidung
- Standard
- Synergie
- Abhängig
- Design
- erwünscht
- Entwicklung
- anders
- diskutieren
- angezeigt
- verteilt
- Verteilung
- Nicht
- jeder
- Früher
- einfacher
- leicht
- Einfache
- Edge
- effizient
- ermöglichen
- Begegnung
- ermutigt
- Ende
- gewährleisten
- Umgebungen
- gleich
- Fehler
- Äther (ETH)
- Sogar
- Veranstaltungen
- Jedes
- Beispiel
- vorhandenen
- erwartet
- ERFAHRUNGEN
- Erfahrungen
- Experiment
- ERKUNDEN
- Gesicht
- Feedback
- wenige
- Feld
- Finden Sie
- Vorname
- fünf
- Folgende
- Aussichten für
- vier
- Unser Ansatz
- für
- bekommen
- gegeben
- Global
- Ziele
- Goes
- Graph
- mehr
- Wachsen Sie über sich hinaus
- die Vermittlung von Kompetenzen,
- Griff
- das passiert
- Haben
- mit
- he
- gesund
- Hilfe
- hilft
- hoch
- Ferien
- Ultraschall
- Hilfe
- aber
- http
- HTTPS
- if
- wichtig
- in
- Erhöhung
- hat
- Steigert
- Krankengymnastik
- Energiegewinnung
- anfänglich
- innovativ
- Instanz
- in
- intuitiv
- IT
- SEINE
- jpg
- Behalten
- Wesentliche
- Tasten
- Kinesis-Datenströme
- Wissen
- großflächig
- größer
- ins Leben gerufen
- startet
- Verlassen
- Niveau
- Gefällt mir
- LIMIT
- Grenzen
- Line
- Belastung
- um
- MACHT
- Making
- verwalten
- Manager
- manuell
- März
- Kann..
- Mittel
- erwähnt
- Nachrichten
- Metrik
- Minute
- Minuten
- Model
- modern
- Modi
- Überwachung
- mehr
- vor allem warme
- Bedürfnisse
- hört niemals
- Neu
- nicht
- November
- November 2021
- jetzt an
- Anzahl
- beobachten
- of
- on
- On-Demand
- EINEM
- laufend
- einzige
- betreiben
- Betriebs-
- or
- UNSERE
- Gesamt-
- Schmerzen
- Teil
- Partner
- leidenschaftlich
- AUFMERKSAMKEIT
- Haupt
- für
- Leistung
- Zeit
- wählen
- Plan
- geplant
- Plato
- Datenintelligenz von Plato
- PlatoData
- Bitte
- Points
- Datenschutzrichtlinien
- Post
- Praktiken
- Vorhersagbar
- bevorzugen
- früher
- Vor
- Probleme
- Prozessdefinierung
- produziert
- Hersteller
- Producers
- Produkt
- Produkt-Manager
- die
- bietet
- Bereitstellung
- Bereitstellung
- Push
- Schieben
- erhöhen
- Ramps
- zufällig
- Bewerten
- lieber
- Erreicht
- Lesen Sie mehr
- Rekord
- Aufzeichnungen
- Veteran
- Reduziert
- zuverlässig
- bleibt bestehen
- angefordert
- erfordern
- Downloads
- Wenden
- Straße
- Führen Sie
- Laufen
- gleich
- Speichern
- Skalieren
- Waage
- Skalierung
- Szenario
- Szenarien
- nahtlos
- Abschnitt
- Abschnitte
- sehen
- senden
- Sendung
- Senior
- geschickt
- Serverlos
- Fertige Server
- dient
- Lösungen
- Dienst
- kompensieren
- sie
- Shopping
- sollte
- zeigte
- gezeigt
- signifikant
- einfacher
- Single
- So
- Lösung
- Lösungen
- LÖSEN
- einige
- Spezialist
- spezifisch
- angegeben
- Spitze
- gespalten
- Anfang
- beginnt
- Stoppen
- Lagerung
- speichern
- Strategien
- Strom
- Streaming
- Streaming-Service
- Ströme
- Erfolgreich
- so
- Support
- Unterstützt
- sicher
- Schalter
- Nehmen
- Team
- Technische
- Vorlagen
- Test
- Testen
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- ihr
- dann
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- Durchsatz
- Gebunden
- Zeit
- mal
- zu
- Werkzeug
- der Verkehr
- wirklich
- vertraut
- XNUMX
- Typen
- Einheit
- unbekannt
- unberechenbar
- Aktualisierung
- auf
- -
- benutzt
- Verwendung von
- Wert
- Werte
- sehr
- Volumen
- wollen
- wurde
- we
- Netz
- Web-Services
- waren
- wann
- welche
- während
- werden wir
- mit
- gearbeitet
- Arbeitsablauf.
- Werk
- schreiben
- X
- U
- Ihr
- Zephyrnet