في مجال الداتا حياتنا كانت متمحورة حوالين DWH ومع زيادة حجم الداتا وتنوعها semi/unstructured بدأنا نفكر إننا نعمل DataLake "جردل" نرمي فيه أي شكل من أشكال الداتا ويكون فيه نفس المواصفات وسعره يناسب حجم الداتا. بس بسبب التعقيدات اللي بقت موجودة ظهر مصطلح جديد أسمه DataMesh
ثريد.
ثريد.
عشان نبدأ على أساس تعالوا نعرف للDataLake: خلونا نقول هي المكان المركزي اللي بنحط فيها كل أنواع الداتا من كل ال sources في المؤسسة مهما كان عددها ولها خاصيتين
- Proper documentation
- Fine-grained access control.
اللي بيبني هم DataEngineers وبنبني عليها BI/DL use cases
يتبع
- Proper documentation
- Fine-grained access control.
اللي بيبني هم DataEngineers وبنبني عليها BI/DL use cases
يتبع
من فترة مش قصيرة بدأت "المؤسسات الكبيرة" يبقى عندها مشكلة إن بسبب التعقيدات الموضوع بقى صعب إدارته سواء من نواحي مالية أو نواحي تنظيمية. وبدأ ناس كتير تبني DataLake من غير هدف رئيس لخدمة البيزنس. بدأ يبقى برده في رغبة إن ليه منفصلش DataLake تبقى Per Domain عشان نقلل التعقيد
يتبع.
يتبع.
برده بقى فيه مشكلة مش صغيرة بيناقشها المقال ده Build it; they will come
بالعربي تعالى نبني وزبونها هيجي بعدين. وأنا مش ضد الكونسبت بس أحياناً ده ممكن يخليك تبني حاجة ضخمة وتصرف عليها وأنت مش متأكد هل أنت محتاج كل التعقيد والsource systems ديه ولا لأ؟
يتبع
thoughtworks.com
بالعربي تعالى نبني وزبونها هيجي بعدين. وأنا مش ضد الكونسبت بس أحياناً ده ممكن يخليك تبني حاجة ضخمة وتصرف عليها وأنت مش متأكد هل أنت محتاج كل التعقيد والsource systems ديه ولا لأ؟
يتبع
thoughtworks.com
بالتالي DataEngineers كتير بقوا متعقدين إحنا ليه نبني كل الحاجات ديه وبعدين نقعد فترة أطول نشوف أزاي نوصل ال DataDomain ببعضها سواء DataProducer أو DataConsumer بالتالي قالك متيجي بدل لما نبني حاجة معقدة تعالي نبني PerDomain
يتبع
يتبع
بدأ الأفكار مثلا إننا نعمل DataLake مخصوص لل Alerts وبعدين نحط الSourceSystems اللي ليها علاقة بAlerts في المثال هنا Customer/Weather وبالتالي لو حد مهتم بAlerts داتا هيروح ياخدها access على Alerts بس والتيم اللي بيعملmanage لAlerts بيركز على حاجة صغيرة مش تنين كبير
يتبع.
يتبع.
بدأت الفكرة تكبر وتسطع وبدأ شركات كبيرة تعملها تطبيق مثال JPMorgan
وقالوا تعالو نعملها تطبيق بس كانت الفكرة إزاي نحط أُسس نبني عليها DataLake بالشكل المعقد ده؟ بدأ مصطلح DataMesh يظهر وبدأ ناس تحط أساس ليه عشان الناس تقدر تستخدمه
يتبع
aws.amazon.com
وقالوا تعالو نعملها تطبيق بس كانت الفكرة إزاي نحط أُسس نبني عليها DataLake بالشكل المعقد ده؟ بدأ مصطلح DataMesh يظهر وبدأ ناس تحط أساس ليه عشان الناس تقدر تستخدمه
يتبع
aws.amazon.com
قبل لما نخش على ال DataMesh نفسها خلينا نقول برده إن الناس بقت تقول إننا مش هنضيف SourceSystem ولا هنعمل DataLake إلا لو اعتبرناه Product وهتلاقوا الناس كتير بقت تتكلم Data as Products يعني في منتج هنبدأ نفكر مفيش خلاص فكك منه دلوقتي.
فيديو لطيف
يتبع
youtu.be
فيديو لطيف
يتبع
youtu.be
من أشهر أو أشهر مقال اتكتب كانت من Zhamak Dehghani
واتكلمت إنها عايزة تشيل الكلاكيع ديه وتفصلها زي الصورة التانية. طيب نيجي للنقطة المهمة هي أزاي نعمل الكلام ده مهو ده عكس المنطق إحنا كده خلينا الDataLake موزعة وكده ال access محتاج يتنظم هنعملها أزاي؟
يتبع
martinfowler.com
واتكلمت إنها عايزة تشيل الكلاكيع ديه وتفصلها زي الصورة التانية. طيب نيجي للنقطة المهمة هي أزاي نعمل الكلام ده مهو ده عكس المنطق إحنا كده خلينا الDataLake موزعة وكده ال access محتاج يتنظم هنعملها أزاي؟
يتبع
martinfowler.com
في الكتاب ده DataMesh الكاتبة (وهي اللي كاتبة المقال اللي فات) حطط اربع حاجات محتاجة تتحقق عشان تقدر تعمل DataMesh
- Data as a Product
- Domain-Oriented Ownership
- Federated Governance
- Serfe-serve data platform
وقالتلك لو عرفت تعمل كده يبقى أنت قدرت تبني DataMesh بشكل صحيح
- Data as a Product
- Domain-Oriented Ownership
- Federated Governance
- Serfe-serve data platform
وقالتلك لو عرفت تعمل كده يبقى أنت قدرت تبني DataMesh بشكل صحيح
هل التطبيق DataMesh سهل؟ اعتقد لأ وده خلى في خيارين قصاد الشركات "الكبيرة"
- إنها تعمل الديزاين بنفسها
- إنها تشوف منتج بيعمل الحاجات ديه
طيب هل في منتج بيعمل بينظم الحاجات ديه؟ مفيش منتج على حد علمي ١٠٠٪ جاهز بيعمل الحاجات ديه بس فيه echo-systems ممكن يحققها مثال في الصورة
يتبع
- إنها تعمل الديزاين بنفسها
- إنها تشوف منتج بيعمل الحاجات ديه
طيب هل في منتج بيعمل بينظم الحاجات ديه؟ مفيش منتج على حد علمي ١٠٠٪ جاهز بيعمل الحاجات ديه بس فيه echo-systems ممكن يحققها مثال في الصورة
يتبع
شوية تعليقات من فهمي
- الكلام ده للشركات الكبيرة مش الصغيرة ولا المتوسطة.
- المنتج مش معناه One SourceSystem ممكن يكون أكتر من System مع بعض هم المنتج.
- الDataMesh صعوبتها تنظيم ال Access مش الفصل بين الDataLake
- في شركات شايفة تطبيق مختلف عن اللي الكاتبة بتقوله في الكتاب
يتبع
- الكلام ده للشركات الكبيرة مش الصغيرة ولا المتوسطة.
- المنتج مش معناه One SourceSystem ممكن يكون أكتر من System مع بعض هم المنتج.
- الDataMesh صعوبتها تنظيم ال Access مش الفصل بين الDataLake
- في شركات شايفة تطبيق مختلف عن اللي الكاتبة بتقوله في الكتاب
يتبع
في ناس برده ضد ال DataMesh وشايفاه صعب وشايفة إن One DataLake تنظيمها واستخدامها أسهل. وطبعاً لما نلاقي حاجة زي كده ظهرت لازم نقول إن الشباب وراها هم بتوع MicroServices و AppMesh وطبعاً كلنا عارفين بتوع الأبلكشن لما يخشوا في الداتا بيعملوا فينا ايه 🤣
هدف الثريد هو نشر موضوع مش منتشر كتير بس في شركات كتيرة شغالة عليه بشكل عنيف وحبيت انشره ومش هدف الثريد الشرح لأن الشرح في الثريد يغلب عليه فهم اللي بيكتب وممكن يكون صح شوفوا الكتاب هو ببلاش واقرأوا المقالات وكونوا وجهة نظركم عن الموضوع وياريت تقولوا لينا هل هي مفيدة ولا لأ.
يتبع
يتبع
هنحاول نزود تفاصيل أكتر ونحط مصادر أكتر عن الموضوع بس حالياً ممكن تقرأوا الكتاب ده ببلاش ولسه مش كامل بس هو ينفع للقراءة في المترو أو في أي مكان سهل الفهم ومش معقد.
starburst.io
الثريد متجدد وممكن نزود عليه لاحقاً إن شاء الله شوية تفاصيل
starburst.io
الثريد متجدد وممكن نزود عليه لاحقاً إن شاء الله شوية تفاصيل
جاري تحميل الاقتراحات...