عند تحليل البيانات وإنشاء تقارير و dashboards قد تلاحظ مشاكل في الاداء من حيث البطء في تحديث التقارير.
بعض النصائح لحل هذه المشكلة
Performance issues
#علم_البيانات
#قواعد_البيانات
بعض النصائح لحل هذه المشكلة
Performance issues
#علم_البيانات
#قواعد_البيانات
بعض النقاط خاصة بال Power BI لكن الفكرة واحدة سواء استخدمت PBI أو tableau أو عن طريق .net أو غيرها من اللغات
في البداية عندنا تقريبا خيارين للاتصال بمصدر البيانات
١ تحميل البيانات في البرنامج نفسه مثل الPower BI
٢ الاتصال المباشر بمصدر البيانات DirectQuery مثلا في SQL Server
في البداية عندنا تقريبا خيارين للاتصال بمصدر البيانات
١ تحميل البيانات في البرنامج نفسه مثل الPower BI
٢ الاتصال المباشر بمصدر البيانات DirectQuery مثلا في SQL Server
النقطة الأولى:
Performance tuning
قياس الاداء في مصدر البيانات نفسه.
إذا كان مصدر البيانات على SQL Server Oracle.ال Performance tuning خدمات وممارسات تساعدك في مراقبة أداء قاعدة البيانات
هذا المفهوم فيه تفاصيل لكن كنصائح تجنب الloops و Subqueries و joins الكثيرة
استخدم ال indexes
Performance tuning
قياس الاداء في مصدر البيانات نفسه.
إذا كان مصدر البيانات على SQL Server Oracle.ال Performance tuning خدمات وممارسات تساعدك في مراقبة أداء قاعدة البيانات
هذا المفهوم فيه تفاصيل لكن كنصائح تجنب الloops و Subqueries و joins الكثيرة
استخدم ال indexes
النقطة الثانية:
Process as much data as possible in the original data source
عالج البيانات قدر المستطاع في المصدر نفسه مثلا SQL Server
مثلاً تغيير نوع البيانات للأعمدة
إعادة تسمية الأعمدة
تنظيف البيانات وحذف التكرار
التجميع عن طريق aggregate functions
جميعها تتم في المصدر نفسه
Process as much data as possible in the original data source
عالج البيانات قدر المستطاع في المصدر نفسه مثلا SQL Server
مثلاً تغيير نوع البيانات للأعمدة
إعادة تسمية الأعمدة
تنظيف البيانات وحذف التكرار
التجميع عن طريق aggregate functions
جميعها تتم في المصدر نفسه
بالمختصر عند تحضير البيانات لأي أداة لعمل تقارير تكون هذه البيانات جاهزة ولا تحتاج مجهود لتنظيفها ومعالجتها في ال Power BI كمثال.
النقطة الثالثة
DirectQuery
إذا كان حجم البيانات كبير لا تعمل لها importing في البرنامج نفسه مثل Power BI
أتصل بمصدر البيانات بشكل مباشر مثلاً SQL Server or Azure
DirectQuery
إذا كان حجم البيانات كبير لا تعمل لها importing في البرنامج نفسه مثل Power BI
أتصل بمصدر البيانات بشكل مباشر مثلاً SQL Server or Azure
النقطة الثالثة
Use native SQL queries
في الاتصال المباشر يتم جلب البيانات عن طريق الاستعلام فالافضل استخدام select مباشر وليس stored procedure أو common table expressions (CTEs).
مثلاً
Select * From DimEmployees
Use native SQL queries
في الاتصال المباشر يتم جلب البيانات عن طريق الاستعلام فالافضل استخدام select مباشر وليس stored procedure أو common table expressions (CTEs).
مثلاً
Select * From DimEmployees
النقطة الرابعة
Separate date and time, if bound together
التاريخ والوقت مهمة دائما في التحليل الوصفي descriptive
والمعنى أن هذه النقطة حتى في تصميم قاعدة البيانات من الأفضل أن يكون التاريخ في حقل (عمود) والوقت في حقل أخر.
ممكن عمل هذا في النقطة الثانية أيضاً
Separate date and time, if bound together
التاريخ والوقت مهمة دائما في التحليل الوصفي descriptive
والمعنى أن هذه النقطة حتى في تصميم قاعدة البيانات من الأفضل أن يكون التاريخ في حقل (عمود) والوقت في حقل أخر.
ممكن عمل هذا في النقطة الثانية أيضاً
النقطة الخامسة السادسة خاصة بال Power Bi
يقدم ال PBI خدمات مثل
Query folding
Query diagnostics
وهي تساعد في تحسين الأداء واستكشاف أماكن الخلل والتأخر في الحصول على نتيجة الاستعلام
سأحاول توضيحها بشكل مختصر
يقدم ال PBI خدمات مثل
Query folding
Query diagnostics
وهي تساعد في تحسين الأداء واستكشاف أماكن الخلل والتأخر في الحصول على نتيجة الاستعلام
سأحاول توضيحها بشكل مختصر
Query folding
أي transformations أو edits تقوم به على ال PBI يتحول إلى native select query
ليتم تنفيذه على المصدر نفسه مثلاً أوراكل
والهدف تخفيف العبء على ال PBI
كمثال عند إعادة تسمية حقل في PBI يتم تحويله إلى
select name as FirstName
وتنفيذها في الأوراكل كمصدر للبيانات
أي transformations أو edits تقوم به على ال PBI يتحول إلى native select query
ليتم تنفيذه على المصدر نفسه مثلاً أوراكل
والهدف تخفيف العبء على ال PBI
كمثال عند إعادة تسمية حقل في PBI يتم تحويله إلى
select name as FirstName
وتنفيذها في الأوراكل كمصدر للبيانات
Query diagnostics
خدمة لتسجيل كل الأحداث التي تتم على ال PBI من تحميل البيانات والمعالجة والتحديث. وأنت كمحلل تشاهد النتيجة وتراقب وتحدد أماكن الخلل.
خدمة لتسجيل كل الأحداث التي تتم على ال PBI من تحميل البيانات والمعالجة والتحديث. وأنت كمحلل تشاهد النتيجة وتراقب وتحدد أماكن الخلل.
جاري تحميل الاقتراحات...