یہ پوسٹ بلیو اسٹون سے ٹونی تھامس اور بین وینجروسکی کے ساتھ مل کر لکھی گئی ہے۔
In the ever-evolving world of finance and lending, the need for real-time, reliable, and centralized data has become paramount. بلیوسٹون, a leading financial institution, embarked on a transformative journey to modernize its data infrastructure and transition to a data-driven organization. In this post, we explore how Bluestone uses AWS services, notably the cloud data warehousing service ایمیزون ریڈ شفٹ, to implement a cutting-edge data mesh architecture, revolutionizing the way they manage, access, and utilize their data assets.
The challenge: Legacy to modernization
Bluestone was operating with a legacy SQL-based lending platform, as illustrated in the following diagram. To stay competitive and responsive to changing market dynamics, they decided to modernize their infrastructure. This modernization involved transitioning to a software as a service (SaaS) based loan origination and core lending platforms. Because these new systems produced vast amounts of data, the challenge of ensuring a single source of truth for all data consumers emerged.
Birth of the Bluestone Data Platform
To address the need for centralized, scalable, and governable data, Bluestone introduced the Bluestone Data Platform. This platform became the hub for all data-related activities across the organization. AWS played a pivotal role in bringing this vision to life.
The following are the key components of the Bluestone Data Platform:
- ڈیٹا میش فن تعمیر – Bluestone adopted a data mesh architecture, a paradigm that distributes data ownership across different business units. Each data producer within the organization has its own data lake in Apache Hudi format, ensuring data sovereignty and autonomy.
- Four-layered data lake and data warehouse architecture – The architecture comprises four layers, including the analytical layer, which houses purpose-built facts and dimension datasets that are hosted in Amazon Redshift. These datasets are pivotal for reporting and analytics use cases, powered by services like Amazon Redshift and tools like Power BI.
- Machine learning analytics – Various business units, such as Servicing, Lending, Sales & Marketing, Finance, and Credit Risk, use machine learning analytics, which run on top of the dimensional model within the data lake and data warehouse. This enables data-driven decision-making across the organization.
- Governance and self-service – The Bluestone Data Platform provides a governed, curated, and self-service avenue for all data use cases. AWS services like AWS جھیل کی تشکیل اس کے ساتھ اتلان help govern data access and policies.
- Data quality framework – To ensure data reliability, they implemented a data quality framework. It continuously assesses data quality and syncs quality scores to the Atlan governance tool, instilling confidence in the data assets within the platform.
The following diagram illustrates the architecture of their updated data platform.
AWS and third-party services
AWS played a pivotal and multifaceted role in empowering Bluestone’s Data Platform to thrive. The following AWS and third-party services were instrumental in shaping Bluestone’s journey toward becoming a data-driven organization:
- ایمیزون ریڈ شفٹ – Bluestone harnessed the power of Amazon Redshift and its features like ڈیٹا شیئرنگ to create a centralized repository of data assets. This strategic move facilitated seamless data sharing and collaboration across diverse business units, paving the way for more informed and data-driven decision-making.
- جھیل کی تشکیل – Lake Formation emerged as a cornerstone in Bluestone’s data governance strategy. It played a critical role in enforcing data access controls and implementing data policies. With Lake Formation, Bluestone achieved protection of sensitive data and compliance with regulatory requirements.
- ڈیٹا کے معیار کی نگرانی – To maintain data reliability and accuracy, Bluestone deployed a robust data quality framework. AWS services were essential in this endeavor, because they complemented open source tools to establish an in-house data quality monitoring system. This system continuously assesses data quality, providing confidence in the reliability of the organization’s data assets.
- Data governance tooling – Bluestone chose Atlan, available through AWS مارکیٹ پلیٹ فارم, to implement comprehensive data governance tooling. This SaaS service played a pivotal role in onboarding multiple business teams and fostering a data-centric culture within Bluestone. It empowered teams to efficiently manage and govern data assets.
- Orchestration using Amazon MWAA – Bluestone heavily relied on Apache Airflow کے لیے Amazon کے زیر انتظام ورک فلوز (Amazon MWAA) to manage workflow orchestrations efficiently. This orchestration framework seamlessly integrated with various data quality rules, which were evaluated using عظیم توقعات operators within the Airflow environment.
- AWS DMS – Bluestone used AWS ڈیٹا بیس مائیگریشن سروس (AWS DMS) to streamline the consolidation of legacy data into the data platform. This service facilitated the smooth transfer of data from legacy SQL Server warehouses to the data lake and data warehouse, providing data continuity and accessibility.
- AWS گلو – Bluestone used the AWS گلو PySpark environment for implementing data extract, transform, and load (ETL) processes. It played a pivotal role in processing data originating from various source systems, providing data consistency and suitability for analytical use.
- AWS گلو ڈیٹا کیٹلاگ – Bluestone centralized their data management using the AWS گلو ڈیٹا کیٹلاگ. This catalog served as the backbone for managing data assets within the Bluestone data estate, enhancing data discoverability and accessibility.
- AWS CloudTrail – Bluestone implemented AWS CloudTrail to monitor and audit platform activities rigorously. This security-focused service provided essential visibility into platform actions, providing compliance and security in data operations.
AWS’s comprehensive suite of services has been integral in propelling the Bluestone Data Platform towards data-driven success. These services have not only enabled efficient data governance, quality assurance, and orchestration, but have also fostered a culture of data centricity within the organization, ultimately leading to better decision-making and competitive advantage. Bluestone’s journey showcases the power of AWS in transforming organizations into data-driven leaders in their respective industries.
Bluestone data architecture
Bluestone’s data architecture has undergone a dynamic transformation, transitioning from a lake house framework to a data mesh architecture. This evolution was driven by the organization’s need for data products with distributed ownership and the necessity for a centralized mechanism to govern and access these data products across various business units.
The following diagram illustrates the solution architecture and its use of AWS and third-party services.
Let’s delve deeper into how this architecture shift has unfolded and what it entails:
- تبدیلی کی ضرورت ہے – The catalyst for this transformation was the growing demand for discrete data products tailored to the unique requirements of each business unit within Bluestone. Because these business units generated their own data assets in their respective domains, the challenge lay in efficiently managing, governing, and accessing these diverse data stores. Bluestone recognized the need for a more structured and scalable approach.
- Data products with distributed ownership – In response to this demand, Bluestone adopted a data mesh architecture, which allowed for the creation of distinct data products aligned with each business unit’s needs. Each of these data products exists independently, generating and curating data assets specific to its domain. These data products serve as individual data hubs, ensuring data autonomy and specialization.
- Centralized catalog integration – To streamline the discovery and accessibility of the data assets that are dispersed across these data products, Bluestone introduced a centralized catalog. This catalog acts as a unified repository where all data products register their respective data assets. It serves as a critical component for data discovery and management.
- Data governance tool integration – Ensuring data governance and lineage tracking across the organization was another pivotal consideration. Bluestone implemented a robust data governance tool that connects to the centralized catalog. This integration makes sure that the overarching lineage of data assets is comprehensively mapped and captured. Data governance processes are thereby enforced consistently, guaranteeing data quality and compliance.
- Amazon Redshift data sharing for control and access – To facilitate controlled and secure access to data assets residing within individual data product Redshift instances, Bluestone used Amazon Redshift data sharing. This capability allows data assets to be exposed and shared selectively, providing granular control over access while maintaining data security and integrity.
In essence, Bluestone’s journey from a lake house to a data mesh architecture represents a strategic shift in data management and governance. This transformation empowers different business units to operate autonomously within their data domains while ensuring centralized control, governance, and accessibility. The integration of a centralized catalog and data governance tooling, coupled with the flexibility of Amazon Redshift data sharing, creates a harmonious ecosystem where data-driven decision-making thrives, ultimately contributing to Bluestone’s success in the ever-evolving financial landscape.
نتیجہ
Bluestone’s journey from a legacy SQL-based system to a modern data mesh architecture on AWS has improved the way the organization interacts with data and positioned them as a data-driven powerhouse in the financial industry. By embracing AWS services, Bluestone has successfully achieved a centralized, scalable, and governable data platform that empowers its teams to make informed decisions, drive innovation, and stay ahead in the competitive landscape. This transformation serves as compelling proof that Amazon Redshift and AWS Cloud data sharing capabilities are a great pathway for organizations looking to embark on their own data-driven journeys with AWS.
مصنفین کے بارے میں
Toney Thomas is a Data Architect and Data Engineering Lead at Bluestone, renowned for his role in envisioning and coining the company’s pioneering data strategy. With a strategic focus on harnessing the power of advanced technology to tackle intricate business challenges, Toney leads a dynamic team of Data Engineers, Reporting Engineers, Quality Assurance specialists, and Business Analysts at Bluestone. His leadership extends to driving the implementation of robust data governance frameworks across diverse organizational units. Under his guidance, Bluestone has achieved remarkable success, including the deployment of innovative platforms such as a fully governed data mesh business data system with embedded data quality mechanisms, aligning seamlessly with the organization’s commitment to data democratization and excellence.
Ben Vengerovsky is a Data Platform Product Manager at Bluestone. He is passionate about using cloud technology to revolutionize the company’s data infrastructure. With a background in mortgage lending and a deep understanding of AWS services, Ben specializes in designing scalable and efficient data solutions that drive business growth and enhance customer experiences. He thrives on collaborating with cross-functional teams to translate business requirements into innovative technical solutions that empower data-driven decision-making.
Rada Stanic is a Chief Technologist at Amazon Web Services, where she helps ANZ customers across different segments solve their business problems using AWS Cloud technologies. Her special areas of interest are data analytics, machine learning/AI, and application modernization.
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/big-data/empowering-data-driven-excellence-how-the-bluestone-data-platform-embraced-data-mesh-for-success/
- : ہے
- : ہے
- : نہیں
- :کہاں
- 100
- a
- ہمارے بارے میں
- تک رسائی حاصل
- ڈیٹا تک رسائی۔
- رسائی پذیری
- تک رسائی حاصل
- درستگی
- حاصل کیا
- کے پار
- اعمال
- سرگرمیوں
- کام کرتا ہے
- پتہ
- اپنایا
- اعلی درجے کی
- جدید ٹیکنالوجی
- فائدہ
- آگے
- منسلک
- سیدھ میں لانا
- تمام
- کی اجازت
- کی اجازت دیتا ہے
- بھی
- ایمیزون
- ایمیزون ویب سروسز
- مقدار
- an
- تجزیہ کار کہتے ہیں
- تجزیاتی
- تجزیاتی
- اور
- ایک اور
- اپاچی
- درخواست
- نقطہ نظر
- فن تعمیر
- کیا
- علاقوں
- AS
- تشخیص
- اثاثے
- یقین دہانی
- At
- آڈٹ
- خود مختاری سے
- خود مختاری
- دستیاب
- ایونیو
- AWS
- ریڑھ کی ہڈی
- پس منظر
- کی بنیاد پر
- BE
- بن گیا
- کیونکہ
- بن
- بننے
- رہا
- بین
- بہتر
- آ رہا ہے
- کاروبار
- لیکن
- by
- صلاحیتوں
- صلاحیت
- پر قبضہ کر لیا
- مقدمات
- کیٹلوگ
- عمل انگیز
- مرکزی
- چیلنج
- چیلنجوں
- تبدیل کرنے
- چیف
- کا انتخاب کیا
- بادل
- کلاؤڈ ٹیکنالوجی
- تعاون
- تعاون
- COM
- وابستگی
- کمپنی کی
- زبردست
- مقابلہ
- تکمیل شدہ
- تعمیل
- جزو
- اجزاء
- وسیع
- پر مشتمل ہے
- آپکا اعتماد
- مجموعہ
- جڑتا
- غور
- مستقل مزاجی
- مسلسل
- سمیکن
- صارفین
- تسلسل
- مسلسل
- تعاون کرنا
- کنٹرول
- کنٹرول
- کنٹرول
- کور
- سنگ بنیاد
- مل کر
- تخلیق
- پیدا
- مخلوق
- کریڈٹ
- اہم
- کراس فنکشنل ٹیمیں
- ثقافت
- cured
- curating
- گاہک
- گاہکوں
- جدید
- اعداد و شمار
- ڈیٹا تک رسائی
- ڈیٹا تجزیات
- ڈیٹا انفراسٹرکچر
- ڈیٹا لیک
- ڈیٹا مینجمنٹ
- ڈیٹا پلیٹ فارم
- ڈیٹا کی معیار
- ڈیٹا کی حفاظت
- ڈیٹا شیئرنگ
- ڈیٹا کی حکمت عملی
- ڈیٹا گودام
- اعداد و شمار پر مبنی ہے
- ڈیٹا بیس
- ڈیٹاسیٹس
- فیصلہ کیا
- فیصلہ کرنا
- فیصلے
- گہری
- گہرے
- ڈیلے
- ڈیمانڈ
- جمہوری بنانا
- تعینات
- تعیناتی
- ڈیزائننگ
- آریھ
- مختلف
- طول و عرض
- دریافت
- متفرد
- منتشر
- مختلف
- تقسیم کئے
- متنوع
- ڈومین
- ڈومینز
- ڈرائیو
- کارفرما
- ڈرائیونگ
- متحرک
- حرکیات
- ہر ایک
- ماحول
- ہنر
- مؤثر طریقے سے
- سوار ہونا
- شروع کیا
- ایمبیڈڈ
- گلے لگا لیا
- منحصر ہے
- ابھرتی ہوئی
- بااختیار
- با اختیار بنایا
- بااختیار بنانے
- بااختیار بنانا
- چالو حالت میں
- کے قابل بناتا ہے
- کوشش کریں
- نافذ کیا
- نافذ کرنا
- انجنیئرنگ
- انجینئرز
- بڑھانے کے
- بڑھانے
- کو یقینی بنانے کے
- کو یقینی بنانے ہے
- لازمی ہے
- ماحولیات
- جوہر
- ضروری
- قائم کرو
- اسٹیٹ
- Ether (ETH)
- اندازہ
- ارتقاء
- ایکسیلنس
- موجود ہے
- تجربات
- تلاش
- ظاہر
- توسیع
- نکالنے
- سہولت
- سہولت
- حقائق
- خصوصیات
- کی مالی اعانت
- مالی
- مالیاتی ادارے
- لچک
- توجہ مرکوز
- کے بعد
- کے لئے
- فارمیٹ
- قیام
- فروغ دیا
- فروغ
- چار
- فریم ورک
- فریم ورک
- سے
- مکمل طور پر
- پیدا
- پیدا کرنے والے
- حکومت
- گورننس
- حکومت کی
- گورننگ
- دانے دار
- عظیم
- بڑھتے ہوئے
- ترقی
- رہنمائی
- ہموار
- استعمال کرنا
- ہے
- he
- بھاری
- مدد
- مدد کرتا ہے
- اس کی
- ان
- میزبانی کی
- ہاؤس
- مکانات
- کس طرح
- HTML
- HTTP
- HTTPS
- حب
- مرکز
- وضاحت کرتا ہے
- پر عملدرآمد
- نفاذ
- عملدرآمد
- پر عمل درآمد
- بہتر
- in
- سمیت
- آزادانہ طور پر
- انفرادی
- صنعتوں
- صنعت
- مطلع
- انفراسٹرکچر
- جدت طرازی
- جدید
- واقعات
- انسٹی
- اہم کردار
- اٹوٹ
- ضم
- انضمام
- سالمیت
- انٹرایکٹو
- دلچسپی
- میں
- پیچیدہ
- متعارف
- ملوث
- IT
- میں
- سفر
- سفر
- فوٹو
- کلیدی
- جھیل
- زمین کی تزئین کی
- رکھو
- پرت
- تہوں
- قیادت
- رہنماؤں
- قیادت
- معروف
- لیڈز
- سیکھنے
- کی وراست
- قرض دینے
- قرض دینے کا پلیٹ فارم
- زندگی
- کی طرح
- نسب
- لوڈ
- قرض
- تلاش
- مشین
- مشین لرننگ
- برقرار رکھنے کے
- برقرار رکھنے
- بنا
- بناتا ہے
- انتظام
- میں کامیاب
- انتظام
- مینیجر
- مینیجنگ
- مارکیٹ
- مارکیٹنگ
- میکانزم
- نظام
- میش
- منتقلی
- ماڈل
- جدید
- جدیدیت
- جدید خطوط پر استوار
- کی نگرانی
- نگرانی
- زیادہ
- رہن
- منتقل
- کثیر جہتی
- ایک سے زیادہ
- ضرورت
- ضرورت ہے
- ضروریات
- نئی
- خاص طور پر
- of
- on
- جہاز
- صرف
- کھول
- اوپن سورس
- کام
- کام
- آپریشنز
- آپریٹرز
- آرکیسٹرا
- تنظیم
- تنظیمی
- تنظیمیں
- شروع کرنا
- سنجیدگی
- پر
- بہت زیادہ
- خود
- ملکیت
- پیرا میٹر
- پیراماؤنٹ
- جذباتی
- راستہ
- ہموار
- پرانیئرنگ
- اہم
- پلیٹ فارم
- پلیٹ فارم کی مصنوعات
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- کھیلا
- پالیسیاں
- پوزیشن میں
- پوسٹ
- طاقت
- پاور بی
- طاقت
- بجلی گھر
- مسائل
- عمل
- پروسیسنگ
- تیار
- پروڈیوسر
- مصنوعات
- پروڈکٹ مینیجر
- حاصل
- ثبوت
- پروپیلنگ
- تحفظ
- فراہم
- فراہم کرتا ہے
- فراہم کرنے
- معیار
- اصل وقت
- تسلیم شدہ
- رجسٹر
- ریگولیٹری
- وشوسنییتا
- قابل اعتماد
- قابل ذکر
- معروف
- رپورٹ
- ذخیرہ
- کی نمائندگی کرتا ہے
- ضروریات
- متعلقہ
- جواب
- قبول
- انقلاب
- انقلاب ساز
- رسک
- مضبوط
- کردار
- قوانین
- رن
- ساس
- فروخت
- فروخت اور مارکیٹنگ
- توسیع پذیر
- اسکور
- ہموار
- بغیر کسی رکاوٹ کے
- محفوظ بنانے
- سیکورٹی
- حصوں
- خود خدمت
- حساس
- خدمت
- خدمت کی
- سرور
- کام کرتا ہے
- سروس
- سروسز
- سروسنگ
- تشکیل دینا۔
- مشترکہ
- اشتراک
- وہ
- منتقل
- showcases
- ایک
- ہموار
- سافٹ ویئر کی
- ایک خدمت کے طور پر سافٹ ویئر
- حل
- حل
- حل
- ماخذ
- خود مختاری
- خصوصی
- ماہرین
- مہارت دیتا ہے
- مخصوص
- SQL
- رہنا
- پردہ
- حکمت عملی
- حکمت عملی
- کارگر
- منظم
- کامیابی
- کامیابی کے ساتھ
- اس طرح
- مناسب
- سویٹ
- اس بات کا یقین
- کے نظام
- سسٹمز
- ٹیکل
- موزوں
- ٹیم
- ٹیموں
- ٹیکنیکل
- ٹیکنالوجی
- تکنیکی ماہر
- ٹیکنالوجی
- کہ
- ۔
- مرکز
- ان
- ان
- اس طرح
- یہ
- وہ
- تیسری پارٹی
- اس
- تھامس
- ترقی کی منازل طے
- پنپتا ہے
- کے ذریعے
- کرنے کے لئے
- کے آلے
- اوزار
- سب سے اوپر
- کی طرف
- کی طرف
- ٹریکنگ
- منتقل
- تبدیل
- تبدیلی
- تبدیلی
- تبدیل
- منتقلی
- منتقلی
- ترجمہ کریں
- حقیقت
- آخر میں
- کے تحت
- گزرا
- افہام و تفہیم
- متحد
- منفرد
- یونٹ
- یونٹس
- اپ ڈیٹ
- استعمال کی شرائط
- استعمال کیا جاتا ہے
- استعمال
- کا استعمال کرتے ہوئے
- استعمال
- مختلف
- وسیع
- کی نمائش
- نقطہ نظر
- گودام
- سٹوریج
- تھا
- راستہ..
- we
- ویب
- ویب خدمات
- تھے
- کیا
- جس
- جبکہ
- ساتھ
- کے اندر
- کام کا بہاؤ
- کام کے بہاؤ
- دنیا
- زیفیرنیٹ