Амазонка Redshift — это быстрое, масштабируемое, безопасное и полностью управляемое хранилище данных, которое позволяет легко и экономично анализировать все ваши данные с помощью стандартного SQL. Амазонка Красное смещение Обмен данными позволяет клиентам безопасно обмениваться оперативными, согласованными по транзакциям данными в одном кластере Amazon Redshift с другим кластером Amazon Redshift между учетными записями и регионами без необходимости копировать или перемещать данные из одного кластера в другой.
Сервис Amazon Redshift Data Sharing изначально был запущен в Март 2021, а в августа 2021. Межрегиональная поддержка стала общедоступной в Февраль 2022. Это обеспечивает полную гибкость и быстроту обмена данными между кластерами Redshift в одной и той же учетной записи AWS, разных учетных записях или в разных регионах.
Amazon Redshift Data Sharing используется для принципиального переопределения архитектуры развертывания Amazon Redshift в виде звездообразной модели сетки данных, чтобы лучше соответствовать соглашениям об уровне обслуживания производительности, обеспечивать изоляцию рабочих нагрузок, выполнять кросс-групповую аналитику, легко внедрять новые варианты использования и, что наиболее важно, выполнять все это без сложности перемещения данных и копирования данных. Некоторые из наиболее распространенных вопросов, которые задают во время развертывания совместного использования данных: «Насколько велики должны быть мои кластеры потребителей и кластеры производителей?» и «Как мне получить наилучшее соотношение цены и производительности для изоляции рабочих нагрузок?». Поскольку характеристики рабочей нагрузки, такие как размер данных, скорость приема, шаблон запросов и действия по обслуживанию, могут влиять на производительность совместного использования данных, следует реализовать непрерывную стратегию по размеру кластеров потребителей и производителей, чтобы максимизировать производительность и минимизировать затраты. В этом посте мы предлагаем пошаговый подход, который поможет вам определить размеры кластеров производителя и потребителя для наилучшего соотношения цены и производительности в зависимости от вашей конкретной рабочей нагрузки.
Общее руководство по потребительским размерам
Следующие шаги показывают общую стратегию определения размера кластеров производителей и потребителей. Вы можете использовать его в качестве отправной точки и изменить соответствующим образом, чтобы удовлетворить ваш конкретный сценарий использования.
Размер кластера производителей
Вы должны всегда следить за тем, чтобы ваш кластер производителя был правильно настроен, чтобы получить производительность, необходимую для соответствия вашему SLA. Вы можете использовать калькулятор размеров из консоли Amazon Redshift, чтобы получить рекомендации для кластера производителя на основе размера ваших данных и характеристики запроса. Искать Помогите выбрать на консоли в регионах AWS, которые поддерживают типы узлов RA3, чтобы использовать этот калькулятор размеров. Обратите внимание, что это всего лишь начальная рекомендация для начала работы, и вам следует протестировать выполнение полной рабочей нагрузки на кластере начального размера и соответствующим образом увеличить или уменьшить размер кластера, чтобы получить наилучшее соотношение цены и производительности.
Размер и настройка начального потребительского кластера
Размер потребительского кластера всегда следует выбирать в соответствии с вашими вычислительными потребностями. Один из способов начать работу — следовать общему руководству по определению размера кластера, подобному приведенному выше кластеру производителя.
Настройте общий доступ к данным Amazon Redshift
Настройте совместное использование данных от производителя к потребителю после настройки кластера производителя и потребителя. Обратитесь к этому после для получения инструкций по настройке обмена данными.
Тестировать рабочую нагрузку только потребителя на начальном потребительском кластере
Протестируйте рабочую нагрузку только потребителя на новом исходном кластере потребителя. Это можно сделать, направив потребительские приложения, например инструменты ETL, приложения бизнес-аналитики и клиенты SQL, на новый потребительский кластер и повторно запустив рабочую нагрузку для оценки производительности в соответствии с вашими требованиями.
Тестирование рабочей нагрузки только потребителя в различных конфигурациях потребительского кластера
Если потребительский кластер начального размера соответствует вашим требованиям к производительности рабочей нагрузки или превосходит их, вы можете либо продолжать использовать эту конфигурацию кластера, либо протестировать конфигурации меньшего размера, чтобы увидеть, можно ли дополнительно снизить затраты и при этом получить необходимую производительность.
С другой стороны, если потребительский кластер начального размера не соответствует вашим требованиям к производительности рабочей нагрузки, вы можете дополнительно протестировать более крупные конфигурации, чтобы получить конфигурацию, соответствующую вашему SLA.
Как правило, постепенно увеличивайте размер потребительского кластера в 2 раза по сравнению с исходной конфигурацией кластера, пока он не будет соответствовать требованиям вашей рабочей нагрузки.
Как только вы спланируете, какую конфигурацию вы хотите протестировать, используйте эластичное изменение размера, чтобы изменить размер исходного кластера до конфигурации целевого кластера. После завершения эластичного изменения размера выполните тот же тест рабочей нагрузки и оцените производительность в соответствии с соглашением об уровне обслуживания. Выберите конфигурацию, которая соответствует вашей целевой цене.
Проверка рабочей нагрузки только производителя в различных конфигурациях кластера производителя
Как только вы переместите рабочую нагрузку потребителя в кластер потребителя с оптимальным соотношением цены и производительности, может появиться возможность сократить вычислительные ресурсы производителя, чтобы сэкономить на затратах.
Чтобы достичь этого, вы можете повторно запустить рабочую нагрузку только производителя с 1/2-кратным размером исходного производителя и оценить производительность рабочей нагрузки. Изменение размера кластера в зависимости от результата зависит от результата, а затем вы выбираете минимальную конфигурацию производителя, которая соответствует вашим требованиям к производительности рабочей нагрузки.
Повторная оценка после выполнения полной рабочей нагрузки с течением времени
По мере того, как Amazon Redshift продолжает развиваться и постоянно выходят выпуски, улучшающие производительность и масштабируемость, производительность обмена данными будет продолжать улучшаться. Кроме того, на производительность запросов на обмен данными могут влиять многочисленные переменные. Ниже приведены лишь некоторые примеры:
- Скорость приема и количество изменений данных
- Шаблон и характеристика запроса
- Изменения рабочей нагрузки
- совпадение
- Работы по техническому обслуживанию, например вакуум, анализ и ATO
Вот почему вы должны время от времени переоценивать размер кластера производителя и потребителя, используя описанную выше стратегию, особенно после развертывания полной рабочей нагрузки, чтобы получить новую лучшую производительность по цене от конфигурации вашего кластера.
Автоматизированные решения по размеру
Если ваша среда включает более сложную архитектуру, например, с несколькими инструментами или приложениями (BI, прием или потоковая передача, ETL, наука о данных), то использование ручного метода из приведенного выше общего руководства может оказаться нецелесообразным. Вместо этого вы можете использовать решения в этом разделе для автоматического воспроизведения рабочей нагрузки из рабочего кластера на тестовых кластерах потребителя и производителя для оценки производительности.
Простая утилита воспроизведения будет использоваться как автоматизированное решение, которое проведет вас через процесс получения нужного размера кластеров производителей и потребителей для наилучшего соотношения цены и качества.
Simple Replay — это инструмент для проведения анализа «что, если» и оценки того, как ваша рабочая нагрузка работает в различных сценариях. Например, вы можете использовать этот инструмент для сравнения вашей фактической рабочей нагрузки с новым типом экземпляра, таким как RA3, для оценки новой функции или оценки различных конфигураций кластера. Он также включает расширенную поддержку воспроизведения конвейеров приема и экспорта данных с операторами COPY и UNLOAD. Чтобы приступить к работе и воспроизвести свои рабочие нагрузки, загрузите инструмент с веб-сайта Репозиторий Amazon Redshift на GitHub.
Здесь мы рассмотрим шаги по извлечению журналов рабочих нагрузок из исходного производственного кластера и воспроизведению их в изолированной среде. Это позволяет беспрепятственно проводить прямое сравнение между этими кластерами Amazon Redshift и выбирать конфигурацию кластеров, которая лучше всего соответствует вашей целевой цене и производительности.
На следующей схеме показана архитектура решения.
Пошаговое руководство по решению
Выполните следующие действия, чтобы пройти через решение для определения размера кластеров потребителей и производителей.
Размер вашего производственного кластера
Вы всегда должны убедиться, что ваш существующий производственный кластер имеет правильный размер, чтобы получить производительность, необходимую для удовлетворения требований вашей рабочей нагрузки. Вы можете использовать калькулятор размеров из консоли Amazon Redshift, чтобы получить рекомендации по рабочему кластеру на основе размера ваших данных и характеристик запроса. Искать Помогите выбрать на консоли в регионах AWS, которые поддерживают типы узлов RA3, чтобы использовать этот калькулятор размеров. Обратите внимание, что это всего лишь начальная рекомендация для начала работы. Вы должны протестировать полную рабочую нагрузку на кластере начального размера и эластично изменить размер кластера вверх и вниз соответственно, чтобы получить наилучшее соотношение цены и производительности.
Определите рабочую нагрузку, которую нужно изолировать
В исходном кластере могут выполняться разные рабочие нагрузки, но первым шагом является определение наиболее важной рабочей нагрузки для бизнеса, которую мы хотим изолировать. Это связано с тем, что мы хотим убедиться, что новая архитектура соответствует требованиям вашей рабочей нагрузки. Этот после является хорошим справочником по варианту использования изоляции рабочей нагрузки для совместного использования данных, который может помочь вам решить, какую рабочую нагрузку можно изолировать.
Настройка простого воспроизведения
Как только вы узнаете свою критическую рабочую нагрузку, вы должны включить ведение журнала аудита в вашем производственном кластере, где выполняется критическая рабочая нагрузка, указанная выше, для захвата запросов и сохранения в Сервис Amazon Simple Storage (Amazon S3). Обратите внимание, что доставка журналов аудита в Amazon S3 может занять до трех часов. Как только журнал аудита будет доступен, перейдите к настроить простой повтор , а затем извлечение критическая рабочая нагрузка из журнала аудита. Обратите внимание, что start_time и end_time можно использовать в качестве параметров для фильтрации критической рабочей нагрузки, если эти рабочие нагрузки выполняются в определенные периоды времени, например с 9:11 до XNUMX:XNUMX. В противном случае он извлечет все зарегистрированные действия.
Базовая рабочая нагрузка
Создайте базовый кластер с той же конфигурацией, что и кластер-производитель, путем восстановления из рабочего моментального снимка. Цель запуска с той же конфигурацией — установить базовый уровень производительности в изолированной среде.
Как только базовый кластер станет доступен, повторить извлеченная рабочая нагрузка в базовом кластере. Выходные данные этого повтора будут основой для сравнения с последующими повторами в различных конфигурациях потребителей.
Настройка начальных тестовых кластеров производителя и потребителя
Создайте кластер-производитель с той же конфигурацией рабочего кластера, восстановив его из рабочего моментального снимка. Создайте потребительский кластер с рекомендуемым исходным размером потребителя из предыдущего руководства. Кроме того, настройте обмен данными между производителем и потребителем.
Воспроизвести рабочую нагрузку на начальном производителе и потребителе
переигровка рабочая нагрузка только производителя на кластере производителей начального размера. Этого можно добиться с помощью параметра фильтра «Исключить», чтобы исключить потребительские запросы, например пользователя, выполняющего потребительские запросы.
переигровка рабочая нагрузка только потребителя на потребительском кластере начального размера. Этого можно добиться с помощью параметра фильтра «Включить», чтобы исключить потребительские запросы, например пользователя, выполняющего потребительские запросы.
Оцените производительность этих повторов в сравнении с базовыми требованиями и требованиями к производительности рабочей нагрузки.
Воспроизведение рабочей нагрузки потребителя в разных конфигурациях
Если потребительский кластер начального размера соответствует вашим требованиям к производительности рабочей нагрузки или превосходит их, вы можете либо использовать эту конфигурацию кластера, либо выполнить следующие шаги, чтобы протестировать меньшие конфигурации, чтобы увидеть, можно ли еще больше снизить затраты и при этом получить необходимую производительность.
Сравните первоначальные результаты производительности потребителя с требованиями вашей рабочей нагрузки:
- Если результат превышает требования к производительности вашей рабочей нагрузки, вы можете постепенно уменьшить размер потребительского кластера, начиная с 1/2x, повторить попытку воспроизведения и оценить производительность, а затем изменить размер соответственно вверх или вниз в зависимости от результата, пока он не будет соответствовать вашей рабочей нагрузке. требования. Цель состоит в том, чтобы получить золотую середину, где вас устраивают требования к производительности, и получить самую низкую цену.
- Если результат не соответствует вашим требованиям к производительности рабочей нагрузки, вы можете постепенно увеличивать размер кластера, начиная с 2-кратного исходного размера, повторять повтор и оценивать производительность до тех пор, пока она не будет соответствовать вашим требованиям к производительности рабочей нагрузки.
Воспроизведение рабочей нагрузки производителя в разных конфигурациях
После того, как вы разделите свои рабочие нагрузки на кластеры-потребители, нагрузка на кластер-производитель должна быть снижена, и вам следует оценить производительность рабочей нагрузки кластера-производителя, чтобы найти возможность уменьшить его для экономии затрат.
Шаги аналогичны потребительскому воспроизведению. Elastic постепенно изменяет размер кластера производителя, начиная с 1/2 исходного размера, воспроизводит рабочую нагрузку только производителя и оценивает производительность, а затем увеличивает или уменьшает размер кластера до тех пор, пока он не будет соответствовать требованиям к производительности вашей рабочей нагрузки. Цель состоит в том, чтобы получить золотую середину, где вас устраивают требования к производительности рабочей нагрузки, и получить самую низкую цену. Получив желаемую конфигурацию кластера производителя, повторите попытку воспроизвести рабочие нагрузки потребителя в кластере потребителя, чтобы убедиться, что изменения конфигурации кластера производителя не повлияли на производительность. Наконец, вы должны одновременно воспроизвести рабочие нагрузки производителя и потребителя, чтобы убедиться, что производительность достигается в сценарии с полной рабочей нагрузкой.
Повторная оценка после выполнения полной рабочей нагрузки с течением времени
Как и в общем руководстве, вам следует время от времени переоценивать размер кластеров производителя и потребителя, используя предыдущую стратегию, особенно после развертывания полной рабочей нагрузки, чтобы получить новую лучшую производительность по цене от конфигурации вашего кластера.
Убирать
Выполнение этих тестов определения размера в вашей учетной записи AWS может иметь некоторые финансовые последствия, поскольку при этом выделяются новые кластеры Amazon Redshift, за которые может взиматься плата как за инстансы по требованию, если у вас нет зарезервированных инстансов. Когда вы завершите свои оценки, мы рекомендуем удалить кластеры Amazon Redshift, чтобы сэкономить на расходах. Мы также рекомендуем приостанавливать кластеры, когда они не используются.
Применение Amazon Redshift и лучшие практики обмена данными
Правильный выбор размера кластеров производителя и потребителя даст вам хороший старт для получения наилучшего соотношения цены и качества при развертывании Amazon Redshift. Однако размер — не единственный фактор, который может максимизировать вашу производительность. В этом случае понимание и следование лучшим практикам одинаково важны.
Общие рекомендации по настройке производительности Amazon Redshift применимы к развертыванию совместного использования данных. Убедитесь, что ваше развертывание соответствует этим лучшие практики.
Существует множество конкретных рекомендаций по совместному использованию данных, которым вы должны следовать, чтобы убедиться, что вы максимизируете производительность. Обратитесь к этому после Больше подробностей.
Обзор
Не существует универсальной рекомендации по размерам кластеров производителей и потребителей. Это зависит от рабочих нагрузок и соглашения об уровне обслуживания производительности. Цель этого поста — предоставить вам рекомендации о том, как вы можете оценить производительность вашей конкретной рабочей нагрузки по обмену данными, чтобы определить размеры кластера потребителя и производителя, чтобы получить наилучшую производительность по цене. Попробуйте протестировать свои рабочие нагрузки на производителях и потребителях с помощью простого воспроизведения, прежде чем внедрять его в производство, чтобы получить наилучшее соотношение цены и качества.
Об авторах
БП Яу является старшим менеджером по продуктам в AWS. Он увлечен тем, что помогает клиентам разрабатывать решения для больших данных для обработки данных в масштабе. До AWS он помогал компании Amazon.com Supply Chain Optimization Technologies перенести хранилище данных Oracle на Amazon Redshift и создать платформу аналитики больших данных нового поколения с использованием технологий AWS.
Сидхант Муралидхар является главным техническим менеджером по работе с клиентами в AWS. Он работает с крупными корпоративными клиентами, которые выполняют свои рабочие нагрузки на AWS. Он увлечен работой с клиентами и помогает им спроектировать рабочие нагрузки с точки зрения затрат, надежности, производительности и операционного превосходства в масштабе их перехода к облаку. Он также проявляет большой интерес к аналитике данных.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/big-data/how-to-get-best-price-performance-from-your-amazon-redshift-data-sharing-deployment/
- 100
- a
- О нас
- выше
- соответственно
- Учетная запись
- Учетные записи
- Достигать
- достигнутый
- через
- активно
- добавленный
- Принятие
- После
- против
- Все
- позволяет
- всегда
- Amazon
- Amazon.com
- количество
- анализ
- аналитика
- анализировать
- и
- Другой
- отношение
- Приложения
- подхода
- архитектура
- аудит
- Автоматизированный
- автоматически
- доступен
- AWS
- основанный
- Базовая линия
- , так как:
- до
- эталонный тест
- ЛУЧШЕЕ
- лучшие практики
- Лучшая
- между
- большой
- Big Data
- строить
- бизнес
- захватить
- случаев
- случаев
- определенный
- цепь
- изменения
- характеристика
- характеристика
- заряженный
- клиентов
- облако
- Кластер
- COM
- удобный
- Общий
- сравнить
- сравнение
- полный
- Заполненная
- комплекс
- сложность
- Вычисление
- проведение
- Конфигурация
- Рассматривать
- последовательный
- Консоли
- потребитель
- продолжать
- продолжается
- (CIJ)
- Цена
- Расходы
- может
- Создайте
- критической
- Клиенты
- данным
- Анализ данных
- наука о данных
- обмен данными
- поставляется
- зависит
- развертывание
- подробнее
- Определять
- различный
- направлять
- Dont
- вниз
- скачать
- в течение
- легко
- или
- позволяет
- расширение
- Предприятие
- Окружающая среда
- одинаково
- особенно
- Эфир (ETH)
- оценивать
- оценки
- развивается
- пример
- Примеры
- превышает
- Превосходство
- существующий
- экспорт
- извлечение
- не удается
- БЫСТРО
- выполнимый
- Особенность
- фильтр
- в заключение
- First
- Трансформируемость
- следовать
- после
- следующим образом
- от
- полный
- принципиально
- далее
- Более того
- Gain
- в общем
- поколение
- получить
- получающий
- GitHub
- Дайте
- Go
- хорошо
- инструкция
- помощь
- помог
- помощь
- ЧАСЫ
- Как
- How To
- Однако
- HTTPS
- идентифицированный
- определения
- Влияние
- влияние
- в XNUMX году
- последствия
- важную
- улучшение
- улучшение
- in
- включает в себя
- Увеличение
- начальный
- первоначально
- пример
- вместо
- интерес
- вовлеченный
- изолированный
- изоляция
- IT
- путешествие
- Острый
- Знать
- большой
- больше
- запустили
- Lets
- Кредитное плечо
- жить
- загрузка
- посмотреть
- техническое обслуживание
- сделать
- менеджер
- руководство
- Максимизировать
- Встречайте
- Соответствует
- метод
- может быть
- мигрировать
- минимальный
- модель
- БОЛЕЕ
- самых
- двигаться
- движение
- с разными
- Необходимость
- нуждающихся
- потребности
- Новые
- следующий
- узел
- многочисленный
- раз
- Onboard
- ONE
- оперативный
- Возможность
- оптимизация
- оптимальный
- оракул
- оригинал
- Другие контрактные услуги
- в противном случае
- параметр
- параметры
- страстный
- шаблон
- выполнять
- производительность
- выполняет
- периодов
- план
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Точка
- возможное
- После
- практиками
- предыдущий
- цена
- Основной
- процесс
- производитель
- Продукт
- Менеджер по продукции
- Производство
- должным образом
- обеспечивать
- приводит
- цель
- Вопросы
- Обменный курс
- рекомендовать
- Рекомендация
- Управление по борьбе с наркотиками (DEA)
- уменьшить
- Цена снижена
- районы
- публикации
- надежность
- Требования
- зарезервированный
- ресурс
- восстановление
- результат
- Итоги
- Правило
- Run
- Бег
- то же
- Сохранить
- Масштабируемость
- масштабируемые
- Шкала
- Сценарии
- Наука
- легко
- Раздел
- безопасный
- безопасно
- Искать
- обслуживание
- установка
- Поделиться
- разделение
- должен
- показывать
- Шоу
- аналогичный
- просто
- Размер
- Размеры
- меньше
- Снимок
- Решение
- Решения
- некоторые
- Источник
- конкретный
- раскол
- Спотовая торговля
- стандарт
- Начало
- и политические лидеры
- Начало
- отчетность
- Шаг
- Шаги
- По-прежнему
- диск
- магазин
- Стратегия
- потоковый
- последующее
- поставка
- цепочками поставок
- Оптимизация цепочки поставок
- поддержка
- сладкий
- взять
- цель
- Технический
- технологии
- тестXNUMX
- Тестирование
- тестов
- Ассоциация
- Источник
- их
- три
- Через
- время
- в
- инструментом
- инструменты
- Типы
- понимание
- использование
- прецедент
- Информация о пользователе
- вакуум
- Что
- который
- КТО
- будете
- без
- работает
- работает
- ВАШЕ
- зефирнет