Ring Zero لمعالجة البيانات في الوقت الفعلي: حصلت Redpanda على تمويل بقيمة 50 مليون دولار من السلسلة B لتنمية منصة البث الخاصة بها

معالجة البيانات في الوقت الحقيقي ساخنة. يقوم رواد مثل Netflix بذلك منذ سنوات وجني الثمار. كبير في البيانات كان على هذا منذ سنوات أيضًا. الآن يبدو أن بقية العالم يلحق بالركب.

من المتوقع أن ينمو سوق التحليلات المتدفقة (التي قد تكون مجرد جزء واحد من معالجة البيانات في الوقت الفعلي بناءً على التعريفات) من 15.4 مليار دولار في عام 2021 إلى 50.1 مليار دولار في عام 2026 ، بمعدل نمو سنوي مركب (CAGR) يبلغ 26.5٪ خلال فترة التوقعات حسب الأسواق والأسواق.

اليوم، بيانات Redpanda أعلنت (Vectorized سابقًا) أنها جمعت 50 مليون دولار في تمويل السلسلة B ، بقيادة GV بمشاركة من Lightspeed Venture Partners (LSVP) و Haystack VC. تم إطلاق Redpanda في أوائل عام 2021 ، ويوصف بأنه منصة بث حديثة تمنح المطورين نظام تسجيل أبسط وأسرع وأكثر موثوقية وموحدًا لبيانات المؤسسة في الوقت الفعلي والتاريخي.

التقينا بمؤسس Redpanda والرئيس التنفيذي Alex Gallego لمناقشة أصول المنصة وفرضيتها الرئيسية ، بالإضافة إلى أساسيات العمل وخريطة الطريق.

التطور الطبيعي

شيء واحد يجب معرفته حول سوق معالجة البيانات في الوقت الفعلي هو أن هناك نوعًا من المعايير الواقعية هناك: أباتشي كافكا. تابعنا شركة كافكا وكونفلوينت التي تقوم بتسويقها ، منذ 2017. في زدنيت كان توني باير وأندرو بروست مواكبة لذلك ، مع تلخيص باير لتطور كافكا وكونفلوينت في أبريل 2021 ، عندما Confluent المقدمة بشكل سري للاكتتاب العام.

في عام 2019 ، اعتبر أكثر من 90٪ من الأشخاص الذين أجابوا على استطلاع Confluent أن كافكا مهمة بالغة الأهمية للبنية التحتية للبيانات الخاصة بهم ، ونمت الاستفسارات حول Stack Overflow بنسبة تزيد عن 50٪ خلال العام. على الرغم من أنه قد يكون ناجحًا ومتبنا على نطاق واسع مثل كافكا ، إلا أن الحقيقة تبقى: تم وضع أسس كافكا في عام 2008.

نظرًا لأن معالجة البيانات في الوقت الفعلي تزداد اعتمادًا ، تزداد المخاطر وتزداد المتطلبات صعوبة. يعمل Gallego في معالجة الدفق منذ حوالي 13 عامًا قبل بدء العمل في محرك Redpanda. في عام 2016 ، باع شركة Concord ، وهي شركة أخرى تعمل في مجال معالجة البيانات في الوقت الفعلي ، لشركة Akamai.

بدأ Redpanda كـ "التطور الطبيعي" لما اعتقد Gallego أن التدفق يجب أن يكون. كان دافعه هو فهم الفجوة بين ما يمكن أن يفعله الجهاز وما يمكن أن يفعله البرنامج:

"لقد قمت فعليًا بتوصيل أجهزة كمبيوتر حافة بالكابل من الخلف إلى الخلف فقط للتأكد من عدم وجود أي شيء بين هذين الجهازين. وأردت فقط القياس والفهم: ما هو التطور الأساسي للأجهزة ، وهل استفادت البرامج بالفعل من الأجهزة الحديثة؟ " قال جاليغو.

أشارت النتائج التي توصل إليها إلى أن الحلول الحالية ، المصممة للأجهزة التي مضى عليها عقد من الزمن ، كانت موجهة نحو معالجة ما كان يمثل القيد الأساسي للأجهزة في ذلك الوقت: القرص الدوار. ووجد أن القيد الجديد هو في الواقع تنسيق وحدة المعالجة المركزية.

في بعض الأحيان ، يمكنك حقًا إعادة اختراع العجلة عندما يتغير الطريق ، هكذا لخص جاليغو النتائج التي توصل إليها. في عام 2017 ، شارك نتائجه علنًا ، وفي عام 2019 ، بدأ العمل على Redpanda. قال جاليغو في الأصل كان Redpanda عبارة عن منصة للخبراء من قبل الخبراء: "لقد تم تصميمه للأشخاص الذين كانوا مثلي: دفق الخبراء الذين يريدون شيئًا أكثر مع التخزين".

جاليجو ليس وحده في مشيرا إلى النواقص في كافكا. قال جاليغو إن حوالي 40٪ من عملاء Redpanda هم خبراء في المحركات. بشكل حاسم ، تم اختيار الحفاظ على التوافق مع واجهة برمجة تطبيقات كافكا ونظام كافكا البيئي بأكمله في وقت مبكر. تمت كتابة محرك التخزين Redpanda قبل الشروع في بناء شركة.

كان Redpanda في البداية مغلق المصدر. في أواخر عام 2020 ، أصبح المصدر متاحًا ، معتمداً على رخصة BSL ، مستوحاة من CockroachDB. قال جاليغو إن Redpanda بدأ في عام 2021 بمئات العملاء. بحلول منتصف العام ، كانوا بالآلاف ، وأنهىوا العام بمئات الآلاف من مجموعات Redpanda.

الحلقة صفر لمعالجة البيانات في الوقت الفعلي

إلى جانب الخبراء ، جذبت Redpanda أيضًا أشخاصًا لم يسمعوا عن البث من قبل ، كما أشار جاليغو. في الوقت نفسه ، يشعر أن الفضل يرجع إلى كافكا ، وكذلك بولسار ، ورابيت إم كيو ، وجميع أنظمة البث التي جاءت قبل Redpanda.

أيضا: تنتقل البيانات إلى السحابة في الوقت الفعلي ، وكذلك ScyllaDB 5.0

اعترف جاليغو بأن وسيط كافكا كان جزءًا أساسيًا في بناء البنية التحتية لتدفق البيانات. أقوى شيء فعله كافكا هو أنه أنشأ نظامًا بيئيًا. حقيقة أن كافكا يتصل بشفافية بمنصات تتراوح من Spark Streaming و Flink و Materialize إلى MongoDB و Clickhouse تعني أن Redpanda يفعل ذلك أيضًا.

لا توجد قصص ترحيل بطل ، ولا تغييرات في التعليمات البرمجية ، فقط بعض التغييرات في التكوين ، وكل ذلك يعمل ، هو الوعد. يبدو هذا بالتأكيد مقنعًا للجميع في قاعدة كافكا الكبيرة المثبتة. أصدرت Redpanda معيارًا لمقارنة منصتها بمنصة كافكا لدعم مزاعم الأداء المتفوق.

تشمل حالات استخدام الحقول الخضراء والحقول الخضراء في Redpanda شركات Fintech ، وشركات الألعاب وتكنولوجيا Adtech ، ومصنعي السيارات الكهربائية ، وأكبر CDN في العالم ، وبعض أكبر البنوك ، بالإضافة إلى أمثال Alpaca و Snapchat.

الميزة التي تميز Redpanda عن بعضها البعض ، ويعتقد Gallego أن هذا ساعد المستخدمين الجدد على البث ، وهي حقيقة أنه يأتي في ملف ثنائي واحد ، بدون أي تبعيات خارجية على الإطلاق. لكن هناك المزيد. بالنسبة للمبتدئين ، حقيقة أن Redpanda يتم تنفيذه في C ++. هذه قصة رأيناها من قبل - ScyllaDB مقابل كاساندرا يتبادر إلى الذهن.

الفرضية الرئيسية لـ Redpanda هي - محرك بسيط وسريع وموثوق به متوافق مع كافكا. لكن Gallego اختار التأكيد على شيء آخر: موحد ، يعني الوصول الموحد إلى البيانات. قال جاليغو إن هذا يسمح للمطورين ببناء فئة جديدة من التطبيقات التي لم يتمكنوا من بنائها من قبل:

"بالنسبة للمطور ، فإن الاحتفاظ غير المحدود بالبيانات يعني أنه لا داعي للقلق بشأن التعافي من الكوارث ، ولديهم الآن نسخة احتياطية. لا داعي للقلق بشكل مسبق بشأن قواعد البيانات الأخرى أو الأنظمة النهائية التي يحتاجون إلى تحقيقها. إنهم يقومون ببساطة بدفع بياناتهم إلى Redpanda ، ونحن هنا بشفافية ، ومن ناحية التكلفة نسبيًا تخزين حتى بيتابايت من البيانات ".

ما يركز عليه Redpanda ، وفقًا لـ Gallego ، هو ما أسماه "Ring Zero": وجود نظام دفق كمصدر للحقيقة ، وهي ليست مشكلة محلولة ، لكن Redpanda تتعامل معها بشكل مباشر. ومع ذلك ، يجب أن نلاحظ أيضًا أن هناك بعض أجزاء أحجية البث التي لن يجدها المستخدمون في Redpanda ، مثل المعالجة المعقدة أو واجهة SQL.

يقسم Gallego المعالجة النهائية إلى معالجة تدفق معقدة وتحويلات بسيطة. ادعى جاليغو أن التحولات البسيطة ، مثل إخفاء المعلومات الخاصة والحساسة ، يمكن إجراؤها بكفاءة أكبر باستخدام Redpanda. ذلك لأن التحويل يتم في Redpanda بدلاً من إرساله إلى محرك خارجي مثل Flink أو Spark.

للمضي قدما

بالنسبة إلى معالجة الدفق المعقدة ، سواء كانت SQL أو أي شيء آخر ، تعتمد Redpanda على نظام بيئي شريك. تعتقد Gallego أن وجود شركات تركز على طبقات معينة ينتج عنه منتج أفضل. يمتد هذا المبدأ أيضًا إلى كيفية تعامل Redpanda مع التعلم الآلي في الوقت الفعلي.

بينما يعتقد جاليغو ذلك التعلم الآلي في الوقت الحقيقي آخذ في الارتفاع، لا يرى Redpanda مناسبًا لهذه القصة في جزء خوارزميات التعلم الآلي. يقر أن TensorFlows و SparkMLs في العالم تغطي ذلك. ما يجلبه Redpanda إلى الطاولة هو صمام ضغط رجعي قابل للتطوير يسمح لخوارزمية التعلم الآلي بإعادة التشغيل.

يعد اكتشاف الاحتيال مثالًا نموذجيًا للتعلم الآلي في الوقت الفعلي. قال جاليغو: في السيناريو الذي يتم فيه اكتشاف التحيز في تطبيق درجة الائتمان ، ستحتاج إلى العودة وإعادة معالجة السجل بأكمله ، وهنا يضيء Redpanda:

"استخدام Redpanda يعني أنك لست مضطرًا إلى تغيير التطبيق الخاص بك لتتمكن من إعادة معالجة السجل الكامل لجميع الأحداث التي أدت إلى هذا القرار. ما يتم إنشاؤه حقًا هو محرك جديد للتسجيل يسمح لخوارزميات التعلم الآلي بإعادة معالجة البيانات ، والحصول على عناصر تحكم في الوصول ، وتسبب انسكاب الضغط المرتد على القرص في حالة حصولك على قدر كبير من الحمل ".

فيما يتعلق بمستقبل معالجة البيانات في الوقت الفعلي ، يفكر جاليغو في كافكا وواجهة برمجة التطبيقات (API) الخاصة به على أنه قطعة أثرية تاريخية - بطريقة إيجابية. اشترى المطورون النظام البيئي ، وقاموا ببناء ملايين الأسطر من التعليمات البرمجية ، لكن المستقبل هو واجهة برمجة تطبيقات مختلفة ، كما يعتقد جاليغو:

"أعتقد أن المستقبل بلا خادم. أعتقد أن المستقبل هو بروتوكول أقل ثقلًا من بروتوكول كافكا. أعتقد أن Redpanda هي شركة يمكنها أن تمنح الأشخاص كلاً من A و B. A متوافقًا مع هذا النظام البيئي الغني جدًا والذي سيكون دائمًا مهمًا ، و B لأننا مرتبطون أكثر بتطور السوق من الدفعة إلى الحقيقية- الوقت.

اليوم يحدث أن كافكا API هي أفضل طريقة يمكننا القيام بذلك. لكنني أعتقد أنها ستكون واجهة برمجة تطبيقات مختلفة في المستقبل ، وستكون واجهة برمجة تطبيقات جديدة مصممة حقًا للطريقة التي يتم بها إنشاء التطبيقات الحديثة. هكذا أرى قصة قصة Redpanda ".

يبدو هذا وكأنه نهج يحاول التزاوج بين البراغماتية والبصر. لا يزال يتعين رؤية مدى قدرة Redpanda على تنمية قاعدة مستخدميها في مجال البناء والتشييد ، ومع ذلك ، تبدو علامات التبني مشجعة ، وتساعد إيماءة الثقة من المستثمرين.

من خلال ضخ رأس المال الأخير ، جمعت Redpanda 76 مليون دولار حتى الآن وتخطط لتنمية فرقها الهندسية العالمية والذهاب إلى السوق مع تسارع تبني العملاء. بدأت الشركة عام 2021 بأقل من 20 موظفًا بقليل وانتهت العام بـ 60 موظفًا.