هناك خمسة أنواع لتحليل البيانات - البعض يختصرها في أربعة أنواع-
في هذه السلسلة سأحاول توضيح هذه الأنواع بشيء من التفصيل
⁃Descriptive Analytics
⁃Diagnostic Analytics
⁃Predictive Analytics
⁃Prescriptive Analytics
⁃Cognitive Analytics
#علم_البيانات
في هذه السلسلة سأحاول توضيح هذه الأنواع بشيء من التفصيل
⁃Descriptive Analytics
⁃Diagnostic Analytics
⁃Predictive Analytics
⁃Prescriptive Analytics
⁃Cognitive Analytics
#علم_البيانات
تحليل البيانات هناك مصطلحات الأنماط patterns و الاتجاهات trends
النمط هو علامة insight تلاحظ أنها متكرر عدة مرات. مثلاً تلاحظ أن منتج A يكثر طلبه من مدينة الدمام وهذا النمط تكرر خلال الثلاث أشهر الماضية.
النمط هو علامة insight تلاحظ أنها متكرر عدة مرات. مثلاً تلاحظ أن منتج A يكثر طلبه من مدينة الدمام وهذا النمط تكرر خلال الثلاث أشهر الماضية.
أيضاً ممكن تلاحظ في الاسهم أن سهم يغلق ٤ شمعات -اسبوعياً- صعود ثم ٤ نزول لمدة ٤ أشهر ويتكرر عدة مرات
فهذا نمط في البيانات
أما ال trend هو وصف لمقدار تغيير حركة متغير (مثلاً السعر- المبيعات) خلال فترة من الزمن
مثلا إتجاه صاعد للسهم خلال ٤ أشهر. زيادة في المبيعات خلال وقت معين
فهذا نمط في البيانات
أما ال trend هو وصف لمقدار تغيير حركة متغير (مثلاً السعر- المبيعات) خلال فترة من الزمن
مثلا إتجاه صاعد للسهم خلال ٤ أشهر. زيادة في المبيعات خلال وقت معين
١- التحليل الوصفي Descriptive Analytics
يعتبر هذا النوع أبسط أنواع التحليل وهو يُجيب على سؤال "ماذا حدث في الماضي"
هذا التحليل يركز على المتوسطات و أكثر/أقل منتج مبيعات (دوال Max, Min) ومقاييس التشتت والتحليلات الإحصائي في شكل رسومات مثلا scatter-plots, cross-tabs وغيرها
يعتبر هذا النوع أبسط أنواع التحليل وهو يُجيب على سؤال "ماذا حدث في الماضي"
هذا التحليل يركز على المتوسطات و أكثر/أقل منتج مبيعات (دوال Max, Min) ومقاييس التشتت والتحليلات الإحصائي في شكل رسومات مثلا scatter-plots, cross-tabs وغيرها
له ٥ عمليات كما في الصورة.الثلاث الأول تتكرر في معظم أنواع التحليل
⁃الBusiness understanding هذا يفضل أن يكون المحلل على علم بطبيعة العمل نفسه. فمثلاً تحليل بيانات متجر تختلف عن تحليل بيانات المرضى
⁃الData understanding هنا تفهم البيانات التي تم جمعها من حيث ترتيبها ونوعها
⁃الBusiness understanding هذا يفضل أن يكون المحلل على علم بطبيعة العمل نفسه. فمثلاً تحليل بيانات متجر تختلف عن تحليل بيانات المرضى
⁃الData understanding هنا تفهم البيانات التي تم جمعها من حيث ترتيبها ونوعها
⁃في الخطوة الثالثة يتم معالجة البيانات مثل حذف القيم الشاذة ومعالجة القيم الفارغة وغيرها
⁃ال Data Analysis هنا يتم التحليل الوصفي مثلا حساب متوسط مبيعات الشهر
⁃الخطوة الأخيرة هي عرض النتائج في شكل رسومات أو جداول وغيرها
⁃ال Data Analysis هنا يتم التحليل الوصفي مثلا حساب متوسط مبيعات الشهر
⁃الخطوة الأخيرة هي عرض النتائج في شكل رسومات أو جداول وغيرها
يتميز هذا النوع بأنه سهل ولا يتطلب التعمق الكبير في الإحصاء. يعتبر ركيزة لأنواع أخرى مثل ال Diagnostic
من عيوبه يظهر لك النمط المتكرر لكن لا يظهر السبب وهذا ما يقودنا للنوع الثاني
من عيوبه يظهر لك النمط المتكرر لكن لا يظهر السبب وهذا ما يقودنا للنوع الثاني
٢- التحليل التشخيصي Diagnostic Analytics
هنا يتم التعمق أكثر في البيانات وهو عملية توسع للنوع الأول.حيث تم في التحليل الوصفي أكتشاف أنماط،هنا يتم البحث عن السبب "لماذا"
من عملياته
⁃Drill down, drill up, drill through
⁃Descriptive data mining tasks
⁃Correlation
هنا يتم التعمق أكثر في البيانات وهو عملية توسع للنوع الأول.حيث تم في التحليل الوصفي أكتشاف أنماط،هنا يتم البحث عن السبب "لماذا"
من عملياته
⁃Drill down, drill up, drill through
⁃Descriptive data mining tasks
⁃Correlation
ال Drill down هو عملية النزول في التسلسل الهرمي مثلاً عندنا أعمد رسومية تعرض المبيعات خلال السنوات عند الضغط على سنة محددة يتم عرض المبيعات خلال الأشهر. والضغط على الشهر يعرضها بالأيام كما في الصورة
أيضاً نفس الفكرة دولة - مدن - أحياء هذا تسلسل هرمي
أيضاً نفس الفكرة دولة - مدن - أحياء هذا تسلسل هرمي
ال Drill up هو عملية عكسية تعرض الأيام ثم بالضغط يتم تجميعها بالأشهر وهكذا
ال Drill through هو عملية تفصيلية أكثر بحيث يكون التقرير الأول يعرض المبيعات حسب مدن السعودية
عند الضغط على مدينة يتم فتح تقرير مفصل عن المدينة المختارة لا يكون مثلاً حصري على فقط المبيعات - ليس تسلسل هرمي
ال Drill through هو عملية تفصيلية أكثر بحيث يكون التقرير الأول يعرض المبيعات حسب مدن السعودية
عند الضغط على مدينة يتم فتح تقرير مفصل عن المدينة المختارة لا يكون مثلاً حصري على فقط المبيعات - ليس تسلسل هرمي
الData mining هنا ممكن نعمل clusters للعملاء مثلاً حسب العمر أو الدخل
أيضا ممكن نعمل association rules بحيث نعرف المنتجات التي يتم شراءها مع بعض.مثلاً الخبز والحليب.
الcorrelation هنا نحاول إكتشاف العلاقات بين المتغيرات.هل كلما زاد العمر زاد الشراء. علاقة بين متغير العمر والشراء
أيضا ممكن نعمل association rules بحيث نعرف المنتجات التي يتم شراءها مع بعض.مثلاً الخبز والحليب.
الcorrelation هنا نحاول إكتشاف العلاقات بين المتغيرات.هل كلما زاد العمر زاد الشراء. علاقة بين متغير العمر والشراء
ممكن ربط عدة جوانب مثلاً ميزانية التسويق في الدمام هي السبب في زيادة مبيعاته أو وسيلة التسويق.أقصد يكون شيء يتم إكتشافه بتحليل بشري
النوع الأول والثاني يكثر استخدامهما في ذكاء الأعمال BI
وتكون غالبا مدمجة مع بعضها.
يمكن استخدام برامج مثل
Excel, SSPS, Power BI , Tableau etc
النوع الأول والثاني يكثر استخدامهما في ذكاء الأعمال BI
وتكون غالبا مدمجة مع بعضها.
يمكن استخدام برامج مثل
Excel, SSPS, Power BI , Tableau etc
٣-التحليل التنبؤي Predictive Analytics
هذا النوع أصعب من النوعين السابقة. وتطبيقاته كثيرة جداً. يهدف إلى بناء نموذج Model للتنبؤ بقيمة مستقبلية.
تساعد التحليلات التنبؤية على التنبؤ باحتمالية حدوث نتيجة مستقبلية باستخدام الطرق الإحصائية أو تعلم الآلة
هذا النوع أصعب من النوعين السابقة. وتطبيقاته كثيرة جداً. يهدف إلى بناء نموذج Model للتنبؤ بقيمة مستقبلية.
تساعد التحليلات التنبؤية على التنبؤ باحتمالية حدوث نتيجة مستقبلية باستخدام الطرق الإحصائية أو تعلم الآلة
من مهام هذا النوع: التصنيف classification و الانحدار regression
التصنيف يكون المُخرج فئوي categorical وقد يكون ثنائي ويكون مثلاً التنبؤ مريض/غير مريض
و هل سينتقل العميل لشركة أخرى أو لا churn
أو يكون التصنيف متعدد multiclass مثلاً تصنيف رضا العميل ( راضي - طبيعي - غير راضي)
التصنيف يكون المُخرج فئوي categorical وقد يكون ثنائي ويكون مثلاً التنبؤ مريض/غير مريض
و هل سينتقل العميل لشركة أخرى أو لا churn
أو يكون التصنيف متعدد multiclass مثلاً تصنيف رضا العميل ( راضي - طبيعي - غير راضي)
الانحدار وهو التنبؤ بقيمة رقمية مستمرة مثلاً التنبؤ بدرجة الطالب بناء على بياناته التاريخية أو التنبؤ بسعر المنزل. وقد يكون simple أي متغير واحد تابع (سعر المنزل) ومتغير مستقل (عمر المنزل)
أو متعدد مثلاً التنبؤ بسعر المنزل من خلال عمر المنزل ومساحته
أو متعدد مثلاً التنبؤ بسعر المنزل من خلال عمر المنزل ومساحته
يمكن تطبيق النماذج الإحصائية وتعلم الآلة والتعلم العميق في هذا التحليل من خلال عدة لغات وأدوات مثل
Python، R, Alteryx, RapidMiner, Weka
Python، R, Alteryx, RapidMiner, Weka
٤- التحليل التوجيهي Prescriptive Analytics
هنا يزداد التعقيد أكثر. ويعتمد هذا النوع - بالإضافة لبعض القواعد الخاصة به -على التحليل الوصفي والتنبؤي لتحديد ماهو الفعل action الذي يجب اتخاذه
هنا يزداد التعقيد أكثر. ويعتمد هذا النوع - بالإضافة لبعض القواعد الخاصة به -على التحليل الوصفي والتنبؤي لتحديد ماهو الفعل action الذي يجب اتخاذه
لو هناك شخص لديه أعراض الزكام وزار الطبيب. يقوم الطبيب بناءً على الاعراض بتشخيصه بالزكام ثم يوجهه لما يجب فعل (مثلاً الراحة ويأخذ فيتامين سي). هنا اعتمد الطبيب على الاعراض (الماضي) وتم التشخيص (الحاضر) ما يجبل فعله (المستقبل)
بنفس الفكرة يعمل هذا النوع
بنفس الفكرة يعمل هذا النوع
أيضا في مثال لتقريب الفكرة تقنياً في Google Map يعرض لك التطبيق عدة خيارات للوصول لهدفك مثلاً الأقصر مسافة أو الأقل زمناً بناءً على عدة عوامل.
ومن جانب تحليلي لو تم بناء نموذج للقروض ويعتمد على تحليل البطاقة أو السجل الائتماني للعميل.
ومن جانب تحليلي لو تم بناء نموذج للقروض ويعتمد على تحليل البطاقة أو السجل الائتماني للعميل.
لا يقف هذا النوع على فقط نعم/لا كقرار لمنح القرض. بل يطبق مجموعة من rules بعد التنبؤ لبعض التوجيهات مثلاً مقدار القرض نسبة الفائدة القسط. سنوات السداد وغيرها.
يعتمد هذت النوع على نماذج إحصائية و رياضية مثل Markov Models و Monte Carlo simulation وغيرها من التقنيات كما في الصورة
يعتمد هذت النوع على نماذج إحصائية و رياضية مثل Markov Models و Monte Carlo simulation وغيرها من التقنيات كما في الصورة
٥- التحليل المعرفي - إن جازت الترجمة- Cognitive Analytics
هذا النوع يحاول محاكاة عمل البشر. بمعنى يتعامل معك بتوجيهات ونصائح وتصرف كأنه إنسان.
من أمثلته Siri و Alexa وكذلك السيارة ذاتية الحركة والساعات الذكية
هذا النوع يحاول محاكاة عمل البشر. بمعنى يتعامل معك بتوجيهات ونصائح وتصرف كأنه إنسان.
من أمثلته Siri و Alexa وكذلك السيارة ذاتية الحركة والساعات الذكية
الساعات الذكية تلاحظ أنها تفهم المحيط الخاص بك context awareness وتعطي توجيهات تنفس - تحرك - قم ببعض التمارين الخ
هذا النوع يعتمد على real time data بالإضافة البيانات التاريخية مع الوعي بال context والبيئات المحيطة
هذا النوع يعتمد على real time data بالإضافة البيانات التاريخية مع الوعي بال context والبيئات المحيطة
ممكن تقرأ عن pervasive computing أسأل الله أن يشفي دكتورنا اللي درسنا عنده هذه المادة
وهذا الصورة توضح الفكرة
يمكن تحقيق هذا النوع بنفس التقنيات في Prescriptive من خلال الذكاء الاصطناعي وتعلم الآلة والتعلم العميق
وهذا الصورة توضح الفكرة
يمكن تحقيق هذا النوع بنفس التقنيات في Prescriptive من خلال الذكاء الاصطناعي وتعلم الآلة والتعلم العميق
جاري تحميل الاقتراحات...