В динамичном мире облачных вычислений обеспечение устойчивости и доступности критически важных приложений имеет первостепенное значение. Аварийное восстановление (DR) — это процесс, с помощью которого организация прогнозирует и устраняет катастрофы, связанные с технологиями. Для организаций, реализующих оркестрацию критически важных рабочих нагрузок с помощью Amazon Managed Workflows для Apache Airflow (Amazon MWAA), крайне важно иметь план аварийного восстановления для обеспечения непрерывности бизнеса.
В этой серии мы исследуем необходимость аварийного восстановления Amazon MWAA и предписываем решения, которые защитят среды Amazon MWAA от непредвиденных сбоев. Это позволяет вам определять, избегать и обрабатывать риски сбоев в рамках вашего плана обеспечения непрерывности бизнеса. Этот пост посвящен проектированию общей архитектуры аварийного восстановления. Будущая статья этой серии будет посвящена реализации отдельных компонентов с использованием сервисов AWS.
Необходимость аварийного восстановления Amazon MWAA
Amazon MWAA, полностью управляемый сервис для Воздушный поток Apache, приносит огромную пользу организациям за счет автоматизации оркестровки рабочих процессов для рабочих нагрузок извлечения, преобразования и загрузки (ETL), DevOps и машинного обучения (ML). Amazon MWAA имеет распределенная архитектура с несколькими компонентами, такими как планировщик, рабочий процесс, веб-сервер, очередь и база данных. Это затрудняет реализацию комплексной стратегии аварийного восстановления.
Активная среда Amazon MWAA непрерывно анализирует Airflow. Направленные ациклические графы (DAG), считывая их из настроенного Простой сервис хранения Amazon (Amazon S3) ведро. Недоступность источника DAG из-за недоступности сети, непреднамеренного повреждения или удаления приводит к длительному простою и сбою в обслуживании.
В Airflow база данных метаданных является основным компонентом, хранящим переменные конфигурации, роли, разрешения и историю запуска DAG. Поэтому исправная база данных метаданных имеет решающее значение для вашей среды Airflow. Как и в случае с любым основным компонентом Airflow, крайне важно иметь план резервного копирования и аварийного восстановления для базы данных метаданных.
Amazon MWAA развертывает компоненты Airflow на нескольких Зоны доступности внутри вашего VPC в предпочитаемом вами AWS Регион. Это обеспечивает отказоустойчивость и автоматическое восстановление в случае сбоя одной зоны доступности. Для критически важных рабочих нагрузок устойчивость к нарушениям в едином регионе за счет развертываний в нескольких регионах также важна для обеспечения высокой доступности и непрерывности бизнеса.
Баланс между затратами на поддержание избыточной инфраструктуры, сложностью и временем восстановления имеет важное значение для сред Amazon MWAA. Организации стремятся к экономически эффективным решениям, которые минимизируют их Целевое время восстановления (РТО) и Цель точки восстановления (RPO), чтобы соответствовать соглашениям об уровне обслуживания, быть экономически жизнеспособными и удовлетворять требования своих клиентов.
Обнаружение аварий в основной среде: упреждающий мониторинг с помощью показателей и сигналов тревоги.
Оперативное обнаружение сбоев в основной среде имеет решающее значение для своевременного восстановления после сбоев. Мониторинг Amazon CloudWatch ПланировщикПоказатель Heartbeat предоставляет информацию о состоянии Airflow в активной среде Amazon MWAA. К критериям оценки можно добавить другие показатели проверки работоспособности, например проверку доступности вышестоящих или нижестоящих систем и доступности сети. В сочетании с Тревоги CloudWatch, вы можете отправлять уведомления, если эти пороговые значения за определенный период времени не достигаются. Вы можете добавлять сигналы тревоги на информационные панели, чтобы отслеживать и получать оповещения о ваших ресурсах и приложениях AWS в нескольких регионах.
AWS публикует самую свежую информацию о доступности сервисов на Панель мониторинга работоспособности службы. Вы можете в любое время проверить информацию о текущем статусе или подписаться на RSS-канал, чтобы получать уведомления о перебоях в работе каждой отдельной услуги в вашем регионе эксплуатации. Панель мониторинга состояния AWS предоставляет информацию о событиях AWS Health, которые могут повлиять на вашу учетную запись.
Комбинируя мониторинг показателей, доступные информационные панели и автоматическое оповещение, вы можете быстро обнаружить недоступность вашей основной среды, позволяя принять упреждающие меры для перехода к вашему плану аварийного восстановления. Крайне важно учитывать обнаружение инцидентов, уведомление, эскалацию, обнаружение и декларацию при планировании и реализации аварийного восстановления, чтобы обеспечить реалистичные и достижимые цели, обеспечивающие ценность для бизнеса.
В следующих разделах мы обсудим два стратегических решения Amazon MWAA DR и их архитектуру.
Решение стратегии аварийного восстановления 1: резервное копирование и восстановление
Стратегия резервного копирования и восстановления предполагает создание резервных копий компонентов Airflow в том же или другом регионе, что и ваша основная среда Amazon MWAA. Чтобы обеспечить непрерывность, вы можете асинхронно реплицировать их в свой регион аварийного восстановления с минимальным влиянием на производительность основной среды Amazon MWAA. В случае редкого первичного регионального сбоя или сбоя в обслуживании эта стратегия позволит создать новую среду Amazon MWAA и восстановить в нее исторические данные из существующих резервных копий. Однако важно отметить, что в процессе восстановления будет период, когда ни одна среда Airflow не будет работать для обработки рабочих процессов, пока новая среда не будет полностью подготовлена и помечена как доступная.
Эта стратегия обеспечивает недорогое и простое решение, которое также подходит для предотвращения потери или повреждения данных в вашем основном регионе. Объем резервных копий данных и время создания новой среды Amazon MWAA (обычно 20–30 минут) влияют на скорость восстановления. Чтобы обеспечить быстрое и безошибочное развертывание инфраструктуры, выполните развертывание с помощью инфраструктура как код (ИаК). Без IaC может быть сложно восстановить аналогичную среду аварийного восстановления, что приведет к увеличению времени восстановления и, возможно, к превышению вашего RTO.
Давайте рассмотрим настройку, необходимую, когда ваша основная среда Amazon MWAA активно работает, как показано на следующем рисунке.
Решение состоит из трех ключевых компонентов. Первый компонент — это основная среда, в которой изначально развертываются и активно выполняются рабочие процессы Airflow. Второй компонент — это компонент мониторинга стихийных бедствий, состоящий из CloudWatch и комбинации Шаговые функции AWS государственная машина и AWS Lambda функция. Третий компонент предназначен для создания и хранения резервных копий всех конфигураций и метаданных, необходимых для восстановления. Это может быть тот же регион, что и ваш основной, или реплицированный в ваш регион DR с помощью Межрегиональная репликация S3 (ЦРР). При использовании CRR вы также платите за передачу данных между регионами из Amazon S3 в каждый регион назначения.
Первые три шага рабочего процесса следующие:
- В рамках процесса создания резервной копии метаданные Airflow реплицируются в корзину S3 с помощью экспорт группы доступности базы данных утилиту, запускайте периодически в зависимости от вашего интервала RPO.
- Существующая основная среда Amazon MWAA автоматически передает статус работоспособности планировщика в CloudWatch. ПланировщикHeartbeat Метрика.
- Многошаговые пошаговые функции Государственный аппарат срабатывает из-за периодического Amazon EventBridge график для мониторинга состояния работоспособности планировщика. В качестве основного шага конечного автомата функция Lambda оценивает состояние ПланировщикHeartbeat метрика. Если метрика считается работоспособной, никаких действий не предпринимается.
На следующем рисунке показаны дополнительные шаги рабочего процесса решения.
- Если количество пульсов отклоняется от нормального значения в течение определенного периода времени, инициируется ряд действий по восстановлению в новой среде Amazon MWAA в регионе аварийного восстановления. Эти действия включают начало создания новой среды Amazon MWAA, репликацию конфигураций основной среды и последующее ожидание доступности новой среды.
- Когда среда доступна, импортировать группу обеспечения доступности баз данных Утилита запускается для восстановления содержимого метаданных из резервных копий. Любые запуски группы обеспечения доступности баз данных, которые были прерваны из-за нарушения основной среды, необходимо перезапустить вручную, чтобы сохранить соглашения об уровне обслуживания. Будущие запуски группы обеспечения доступности баз данных ставятся в очередь для выполнения в соответствии со следующим настроенным расписанием.
Решение стратегии аварийного восстановления 2: Активно-пассивные среды с периодической синхронизацией данных
Активно-пассивные среды со стратегией периодической синхронизации данных ориентированы на поддержание периодической синхронизации данных между активной основной и пассивной средой аварийного восстановления Amazon MWAA. Путем периодического обновления и синхронизации хранилищ DAG и баз данных метаданных эта стратегия гарантирует, что среда аварийного восстановления остается актуальной или почти актуальной с основной. Регион аварийного восстановления может совпадать с регионом вашей основной среды Amazon MWAA или отличаться от него. В случае аварии доступны резервные копии для возврата к предыдущему заведомо исправному состоянию, чтобы минимизировать потерю или повреждение данных.
Эта стратегия обеспечивает низкие значения RTO и RPO при частой синхронизации, обеспечивая быстрое восстановление с минимальной потерей данных. Затраты на инфраструктуру и развертывание кода складываются для поддержки как основной среды Amazon MWAA, так и среды аварийного восстановления. Ваша среда аварийного восстановления сразу же доступна для запуска групп обеспечения доступности баз данных.
На следующем рисунке показана настройка, необходимая при активной работе основной среды Amazon MWAA.
Решение состоит из четырех ключевых компонентов. Подобно решению для резервного копирования и восстановления, первый компонент — это основная среда, в которой изначально развертывается и активно выполняется рабочий процесс. Второй компонент — это компонент мониторинга аварийных ситуаций, состоящий из CloudWatch и комбинации конечного автомата Step Functions и функции Lambda. Третий компонент создает и хранит резервные копии всех конфигураций и метаданных, необходимых для синхронизации базы данных. Он может находиться в том же регионе, что и основной, или реплицироваться в регион аварийного восстановления с помощью межрегиональной репликации Amazon S3. Как упоминалось ранее, при использовании CRR вы также платите за передачу данных между регионами из Amazon S3 в каждый регион назначения. Последний компонент представляет собой пассивную среду Amazon MWAA, имеющую тот же код Airflow и конфигурации среды, что и основной. Группы обеспечения доступности баз данных развертываются в среде аварийного восстановления с использованием того же конвейера непрерывной интеграции и непрерывной доставки (CI/CD), что и основной. В отличие от основного, группы обеспечения доступности баз данных хранятся в приостановленном состоянии, чтобы не вызывать повторных запусков.
Первые шаги рабочего процесса аналогичны стратегии резервного копирования и восстановления:
- В рамках процесса создания резервной копии метаданные Airflow реплицируются в корзину S3 с помощью утилиты экспорта DAG, которая периодически запускается в зависимости от вашего интервала RPO.
- Существующая основная среда Amazon MWAA автоматически передает в CloudWatch статус работоспособности планировщика. ПланировщикHeartbeat Метрика.
- Многошаговый конечный автомат Step Functions запускается из периодического расписания Amazon EventBridge для мониторинга состояния работоспособности планировщика. В качестве основного шага конечного автомата функция Lambda оценивает состояние ПланировщикHeartbeat метрика. Если метрика считается работоспособной, никаких действий не предпринимается.
На следующем рисунке показаны заключительные этапы рабочего процесса.
- Когда количество сердцебиений отклоняется от нормального значения в течение определенного периода времени, инициируются действия по аварийному восстановлению.
- В качестве первого шага функция Lambda запускает утилиту импорта DAG для восстановления содержимого метаданных из резервных копий в пассивную среду аварийного восстановления Amazon MWAA. Когда импорт будет завершен, та же группа обеспечения доступности баз данных может возобновить работу других групп обеспечения доступности баз данных Airflow, сделав их активными для будущих запусков. Любые запуски группы обеспечения доступности баз данных, которые были прерваны из-за нарушения основной среды, необходимо перезапустить вручную, чтобы сохранить соглашения об уровне обслуживания. Будущие запуски группы обеспечения доступности баз данных ставятся в очередь для выполнения в соответствии со следующим настроенным расписанием.
Рекомендации по повышению отказоустойчивости Amazon MWAA
Чтобы повысить отказоустойчивость среды Amazon MWAA и обеспечить плавное аварийное восстановление, рассмотрите возможность внедрения следующих рекомендаций:
- Надежные механизмы резервного копирования и восстановления – Крайне важно внедрить комплексные механизмы резервного копирования и восстановления данных Amazon MWAA. Регулярное удаление существующих метаданных в соответствии с политиками хранения вашей организации сокращает время резервного копирования и повышает производительность вашей среды Amazon MWAA.
- Автоматизация с использованием IaC – Использование инструментов автоматизации и оркестрации, таких как AWS CloudFormation, Комплект для разработки облачных сервисов AWS (AWS CDK) или Terraform может упростить развертывание и управление конфигурацией сред Amazon MWAA. Это обеспечивает согласованность, воспроизводимость и более быстрое восстановление во время сценариев аварийного восстановления.
- Идемпотентные DAG и задачи – В Airflow DAG считается идемпотентным, если повторный запуск одного и того же DAG с одними и теми же входными данными несколько раз имеет тот же эффект, что и его запуск только один раз. Разработка идемпотентных групп обеспечения доступности баз данных и сохранение атомарности задач сокращает время восстановления после сбоев, когда вам приходится вручную повторно запускать прерванную группу обеспечения доступности баз данных в восстановленной среде.
- Регулярное тестирование и проверка – Надежная стратегия аварийного восстановления Amazon MWAA должна включать регулярное тестирование и проверку. Моделируя сценарии аварий, вы можете выявить любые пробелы в планах аварийного восстановления, точно настроить процессы и обеспечить полную возможность восстановления сред Amazon MWAA.
Заключение
В этой статье мы рассмотрели проблемы аварийного восстановления Amazon MWAA и обсудили лучшие практики повышения отказоустойчивости. Мы рассмотрели два решения стратегии аварийного восстановления: среды резервного копирования и восстановления и активно-пассивные среды с периодической синхронизацией данных. Внедрив эти решения и следуя передовым практикам, вы сможете защитить свои среды Amazon MWAA, свести к минимуму время простоя и смягчить последствия стихийных бедствий. Регулярное тестирование, проверка и адаптация к меняющимся требованиям имеют решающее значение для эффективной стратегии аварийного восстановления Amazon MWAA. Постоянно оценивая и совершенствуя планы аварийного восстановления, вы можете обеспечить отказоустойчивость и бесперебойную работу сред Amazon MWAA даже перед лицом непредвиденных событий.
Дополнительные сведения и примеры кода для Amazon MWAA см. Руководство пользователя Amazon MWAA и Примеры репозитория Amazon MWAA на GitHub.
Об авторах
Парнаб Басак — старший архитектор решений и специалист по бессерверным технологиям в AWS. Он специализируется на создании новых облачных решений с использованием современных методов разработки программного обеспечения, таких как бессерверные технологии, DevOps и аналитика. Парнаб тесно сотрудничает в сфере услуг аналитики и интеграции, помогая клиентам использовать сервисы AWS для удовлетворения своих потребностей в оркестрации рабочих процессов.
Чандан Рупахети — архитектор решений и специалист по бессерверным технологиям в AWS. Он страстный технический руководитель, исследователь и наставник, обладающий умением создавать инновационные решения в облаке и объединять заинтересованные стороны в их путешествии в облако. Вне своей профессиональной жизни он любит проводить время со своей семьей и друзьями, а также слушать и играть музыку.
Винод Джайендра является руководителем службы поддержки предприятий в отделе поддержки независимых поставщиков программного обеспечения в Amazon Web Services, где он помогает клиентам решать архитектурные, эксплуатационные задачи и задачи по оптимизации затрат. Уделяя особое внимание бессерверным технологиям, он опирается на свой обширный опыт разработки приложений для предоставления решений высшего уровня. Помимо работы, он находит радость в качественном семейном отдыхе, поездках на велосипеде и тренировках молодежной спортивной команды.
Рупеш Тивари — старший архитектор решений в AWS в Нью-Йорке, специализирующийся на финансовых услугах. Он имеет более чем 18-летний опыт работы в сфере ИТ в сфере финансов, страхования и образования и специализируется на разработке крупномасштабных приложений и облачных рабочих нагрузок для работы с большими данными. В свободное время Рупеш любит петь в караоке, смотреть комедийные сериалы и создавать радостные моменты со своей семьей.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/big-data/disaster-recovery-strategies-for-amazon-mwaa-part-1/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 100
- 110
- 400
- a
- О нас
- Учетная запись
- Учетные записи
- достижимый
- через
- Действие
- действия
- активный
- активно
- ациклический
- адаптация
- Добавить
- дополнительный
- Дополнительно
- адреса
- принять
- приключения
- влиять на
- влияет
- против
- соглашения
- цель
- Оповещения
- Все
- Позволяющий
- причислены
- Amazon
- Amazon Web Services
- количество
- an
- аналитика
- и
- предвосхищает
- любой
- апаш
- Применение
- Разработка приложения
- Приложения
- архитектурный
- архитектура
- МЫ
- AS
- At
- Автоматический
- автоматически
- Автоматизация
- автоматизация
- свободных мест
- доступен
- избежать
- AWS
- со спинкой
- фон
- Восстановление
- Операции резервного копирования
- основанный
- BE
- становиться
- не являетесь
- Кроме
- ЛУЧШЕЕ
- лучшие практики
- между
- Beyond
- большой
- Big Data
- изоферменты печени
- Приведение
- Приносит
- Строительство
- бизнес
- Непрерывность бизнеса
- by
- CAN
- Вызывать
- проблемы
- проверка
- контроль
- Город
- тесно
- облако
- облачных вычислений
- Облако родное
- тренировка
- код
- сочетание
- сочетании
- комбинируя
- комедия
- полный
- комплекс
- сложность
- компонент
- компоненты
- усугубляются
- комплексный
- Состоит
- состоит из
- вычисление
- Конфигурация
- Конфигурации
- настроить
- Рассматривать
- считается
- Состоящий из
- содержание
- непрерывность
- (CIJ)
- непрерывно
- Основные
- коррупция
- Цена
- рентабельным
- Расходы
- Создайте
- создает
- Создающий
- создание
- Критерии
- критической
- решающее значение
- Текущий
- Клиенты
- DAG
- щитки
- данным
- Потеря данных
- База данных
- базы данных
- заявление
- уменьшается
- считается
- определять
- доставить
- поставка
- запросы
- развертывание
- развернуть
- развертывание
- развертывания
- развертывает
- проектирование
- назначение
- подробнее
- обнаруживать
- обнаружение
- Развитие
- DevOps
- различный
- трудный
- катастрофа
- бедствия
- открытие
- обсуждать
- обсуждается
- Нарушение
- нарушения
- доменов
- время простоя
- dr
- рисует
- два
- в течение
- динамический
- каждый
- Ранее
- Обучение
- эффект
- Эффективный
- посадка
- включить
- позволяет
- повышать
- обеспечивать
- обеспечивает
- обеспечение
- Предприятие
- Окружающая среда
- средах
- ошибки
- эскалация
- существенный
- Эфир (ETH)
- оценки
- оценка
- Даже
- События
- События
- развивается
- Примеры
- превышать
- упражнения
- существующий
- опыт
- Больше
- Разведанный
- экспорт
- расширенная
- обширный
- извлечение
- Face
- фактор
- Ошибка
- сбои
- семья
- быстрее
- фигура
- окончательный
- финансы
- финансовый
- финансовые услуги
- находит
- Во-первых,
- первые шаги
- Фокус
- фокусируется
- после
- следующим образом
- Что касается
- 4
- частое
- друзья
- от
- полностью
- функция
- Функции
- будущее
- пробелы
- порождающий
- получить
- GitHub
- хорошо
- обрабатывать
- происходить
- Есть
- имеющий
- he
- Медицина
- здоровый
- помощь
- помогает
- High
- его
- исторический
- истории
- Как
- Однако
- HTML
- HTTP
- HTTPS
- МАК
- определения
- if
- иллюстрирует
- немедленно
- огромный
- Влияние
- нарушение
- осуществлять
- реализация
- Осуществляющий
- Импортировать
- важную
- импорт
- улучшать
- in
- инцидент
- включают
- расширились
- individual
- информация
- Инфраструктура
- инфраструктура
- первоначально
- начатый
- инновационный
- затраты
- размышления
- страхование
- интеграции.
- прерванный
- в
- включает в себя
- ISV
- IT
- ЕГО
- путешествие
- радость
- JPG
- хранение
- хранится
- Основные
- известный
- крупномасштабный
- Фамилия
- вести
- лидер
- Лиды
- изучение
- Lets
- уровень
- ЖИЗНЬЮ
- такое как
- Listening
- загрузка
- от
- любит
- Низкий
- бюджетный
- машина
- обучение с помощью машины
- поддерживать
- сохранение
- ДЕЛАЕТ
- Создание
- управляемого
- управление
- вручную
- с пометкой
- Май..
- меры
- механизмы
- Встречайте
- упомянутый
- наставник
- встретивший
- Метаданные
- метрический
- Метрика
- минимальный
- минимизировать
- минут
- смягчать
- смягчающим
- ML
- Модерн
- Моменты
- монитор
- Мониторинг
- БОЛЕЕ
- самых
- с разными
- Музыка
- родной
- почти
- Необходимость
- потребности
- сеть
- Новые
- новые решения
- New York
- Нью-Йорк
- следующий
- нет
- "обычные"
- в своих размышлениях
- уведомление
- Уведомления
- номер
- целей
- of
- on
- консолидировать
- только
- операционный
- операция
- оперативный
- оптимизация
- or
- оркестровка
- организация
- организации
- Другое
- наши
- внешний
- внешнюю
- за
- общий
- Первостепенный
- часть
- особый
- страстный
- пассивный
- приостановлена
- ОПЛАТИТЬ
- для
- производительность
- период
- периодический
- периодов
- Разрешения
- трубопровод
- Часть
- план
- планирование
- Планы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- игры
- Точка
- сборах
- возможно
- После
- практиками
- заранее
- привилегированный
- предписывать
- предыдущий
- первичный
- Проактивная
- процесс
- Процессы
- профессиональный
- для защиты
- обеспечивать
- приводит
- Публикует
- САЙТ
- быстро
- РЕДКИЙ
- Reading
- реалистичный
- Получать
- Recover
- извлекаемые
- выздоровление
- повторяющийся
- снижает
- избыточный
- относиться
- рафинирование
- область
- региональный
- районы
- регулярный
- регулярно
- остатки
- реплицируются
- копирование
- обязательный
- Требования
- исследователь
- упругость
- упругий
- Полезные ресурсы
- восстановление
- восстановление
- сохранение
- возвращаться
- рисках,
- надежный
- роли
- Новости
- Run
- Бег
- работает
- Rupesh
- то же
- Сценарии
- график
- Во-вторых
- разделах
- Отправить
- старший
- Серии
- сервер
- Serverless
- обслуживание
- Услуги
- установка
- должен
- показанный
- аналогичный
- просто
- одинарной
- сгладить
- Software
- разработка программного обеспечения
- Решение
- Решения
- Решение
- Источник
- Space
- специалист
- специализируется
- Расходы
- Спорт
- заинтересованных сторон
- Начало
- Область
- Статус:
- Шаг
- Шаги
- диск
- магазины
- стратегий
- Стратегия
- упорядочить
- подписаться
- такие
- подходящее
- поддержка
- синхронизация
- системы
- приняты
- задачи
- команда
- Технический
- технологии
- Terraform
- Тестирование
- чем
- который
- Ассоциация
- Государство
- их
- Их
- тогда
- Там.
- следовательно
- Эти
- В третьих
- этой
- три
- Через
- время
- своевременно
- раз
- в
- вместе
- терпимость
- инструменты
- перевод
- Transform
- переход
- срабатывает
- tv
- Сериалы
- два
- типично
- непредвиденный
- непрерывный
- В отличие от
- до
- обновление
- Информация о пользователе
- через
- утилита
- Проверка
- ценностное
- переменные
- жизнеспособный
- Ожидание
- наблюдение
- we
- Web
- веб-сервер
- веб-сервисы
- были
- когда
- который
- будете
- в
- без
- Работа
- работник
- рабочий
- Рабочие процессы
- работает
- Мир
- лет
- йорк
- являетесь
- ВАШЕ
- молодежь
- зефирнет