ساتحدث معكم اليوم عن أزمة جديدة تواجه صناعة #الذكاء_الاصطناعي ولكن قد يكون لها حل في المستقبل.
المشكلة تتمثل في ان نماذج الذكاء الاصطناعي مثل #ChatGPT لا تستطيع التعلم أثناء عملها مثلما يفعل البشر.
فبعد مرحلة التدريب الأولية، لا تستطيع خوارزميات الذكاء الاصطناعي التحديث والتعلم من البيانات الجديدة، مما يعني أن شركات التكنولوجيا يجب أن تستمر في تدريب نماذج جديدة من الصفر، مما يجبر شركات التكنولوجيا على إنفاق مليارات الدولارات على هذا التدريب.
وفي حين كان هذا مصدر قلق كبير في الصناعة، تشير دراسة جديدة إلى التوصل الى اصل المشكلة المتأصلة في الطريقة التي يتم بها تصميم النماذج - و قد يكون هناك حل لها.
1️⃣
المشكلة تتمثل في ان نماذج الذكاء الاصطناعي مثل #ChatGPT لا تستطيع التعلم أثناء عملها مثلما يفعل البشر.
فبعد مرحلة التدريب الأولية، لا تستطيع خوارزميات الذكاء الاصطناعي التحديث والتعلم من البيانات الجديدة، مما يعني أن شركات التكنولوجيا يجب أن تستمر في تدريب نماذج جديدة من الصفر، مما يجبر شركات التكنولوجيا على إنفاق مليارات الدولارات على هذا التدريب.
وفي حين كان هذا مصدر قلق كبير في الصناعة، تشير دراسة جديدة إلى التوصل الى اصل المشكلة المتأصلة في الطريقة التي يتم بها تصميم النماذج - و قد يكون هناك حل لها.
1️⃣
تعتبر معظم أنظمة #الذكاء_الاصطناعي اليوم ما يسمى بالشبكات #العصبية المستوحاة من كيفية عمل الأدمغة، مع وحدات معالجة تُعرف باسم #الخلايا_العصبية الاصطناعية. تمر عادةً بمراحل مميزة في تطورها.
🔅أولاً، يتم تدريب الذكاء الاصطناعي، مما يؤدي إلى ضبط الخلايا العصبية الاصطناعية الخاصة به بواسطة خوارزمية لتعكس بشكل أفضل مجموعة بيانات معينة.
🔅بعد ذلك، يمكن استخدام الذكاء الاصطناعي للاستجابة للبيانات الجديدة، مثل مدخلات النص مثل تلك التي يتم إدخالها في ChatGPT. ومع ذلك، بمجرد ضبط الخلايا العصبية للنموذج في مرحلة التدريب، لا يمكنها التحديث والتعلم من البيانات الجديدة.
هذا يعني أنه يجب إعادة تدريب معظم نماذج الذكاء الاصطناعي الكبيرة إذا أصبحت البيانات الجديدة متاحة، وهو ما قد يكون مكلفًا للغاية، خاصة عندما تتكون مجموعات البيانات الجديدة هذه من أجزاء كبيرة من الإنترنت بالكامل.
وتساءل الباحثون عما إذا كانت هذه النماذج قادرة على دمج المعرفة الجديدة بعد التدريب الأولي، مما قد يقلل التكاليف، لكن لم يكن من الواضح ما إذا كانت قادرة على ذلك.
🔅🔅 الآن، اختبر شيبانش دوهاري من جامعة ألبرتا في كندا وزملاؤه ما إذا كان من الممكن تكييف نماذج الذكاء الاصطناعي الأكثر شيوعًا للتعلم المستمر. وجد الفريق أنهم يفقدون بسرعة القدرة على تعلم أي شيء جديد، مع وجود أعداد هائلة من الخلايا العصبية الاصطناعية عالقة على قيمة الصفر بعد تعرضها لبيانات جديدة.
يقول دوهاري: "إذا فكرت في الأمر على أنه دماغك، فسيكون الأمر وكأن 90 في المائة من الخلايا العصبية ميتة". "لم يتبق ما يكفي لك للتعلم".
2️⃣
🔅أولاً، يتم تدريب الذكاء الاصطناعي، مما يؤدي إلى ضبط الخلايا العصبية الاصطناعية الخاصة به بواسطة خوارزمية لتعكس بشكل أفضل مجموعة بيانات معينة.
🔅بعد ذلك، يمكن استخدام الذكاء الاصطناعي للاستجابة للبيانات الجديدة، مثل مدخلات النص مثل تلك التي يتم إدخالها في ChatGPT. ومع ذلك، بمجرد ضبط الخلايا العصبية للنموذج في مرحلة التدريب، لا يمكنها التحديث والتعلم من البيانات الجديدة.
هذا يعني أنه يجب إعادة تدريب معظم نماذج الذكاء الاصطناعي الكبيرة إذا أصبحت البيانات الجديدة متاحة، وهو ما قد يكون مكلفًا للغاية، خاصة عندما تتكون مجموعات البيانات الجديدة هذه من أجزاء كبيرة من الإنترنت بالكامل.
وتساءل الباحثون عما إذا كانت هذه النماذج قادرة على دمج المعرفة الجديدة بعد التدريب الأولي، مما قد يقلل التكاليف، لكن لم يكن من الواضح ما إذا كانت قادرة على ذلك.
🔅🔅 الآن، اختبر شيبانش دوهاري من جامعة ألبرتا في كندا وزملاؤه ما إذا كان من الممكن تكييف نماذج الذكاء الاصطناعي الأكثر شيوعًا للتعلم المستمر. وجد الفريق أنهم يفقدون بسرعة القدرة على تعلم أي شيء جديد، مع وجود أعداد هائلة من الخلايا العصبية الاصطناعية عالقة على قيمة الصفر بعد تعرضها لبيانات جديدة.
يقول دوهاري: "إذا فكرت في الأمر على أنه دماغك، فسيكون الأمر وكأن 90 في المائة من الخلايا العصبية ميتة". "لم يتبق ما يكفي لك للتعلم".
2️⃣
في دراسة قام بها دوهاري وفريقه ونشرتها مجلة nature:👇
nature.com
قام أولاً بتدريب أنظمة الذكاء الاصطناعي من قاعدة بيانات ImageNet، والتي تتكون من 14 مليون صورة مصنفة لأشياء بسيطة مثل المنازل أو القطط. ولكن بدلاً من تدريب الذكاء الاصطناعي مرة واحدة ثم اختباره من خلال محاولة التمييز بين صورتين عدة مرات، كما هو معتاد، أعادوا تدريب النموذج بعد كل زوج من الصور.
لقد اختبروا مجموعة من خوارزميات التعلم المختلفة بهذه الطريقة ووجدوا أنه بعد بضعة آلاف من دورات إعادة التدريب، بدت الشبكات غير قادرة على التعلم وأداءها ضعيفًا، حيث ظهرت العديد من الخلايا العصبية "ميتة"، أو بقيمة صفر.
كما قام الفريق بتدريب الذكاء الاصطناعي لمحاكاة نملة تتعلم المشي من خلال التعلم التعزيزي، وهي طريقة شائعة حيث يتم تعليم الذكاء الاصطناعي كيف يبدو النجاح ويحدد القواعد باستخدام التجربة والخطأ. عندما حاولوا تكييف هذه التقنية لتمكين التعلم المستمر من خلال إعادة تدريب الخوارزمية بعد المشي على أسطح مختلفة، وجدوا أنها تؤدي أيضًا إلى عدم القدرة على التعلم بشكل كبير.
يقول دوهاري إن هذه المشكلة تبدو متأصلة في الطريقة التي تتعلم بها هذه الأنظمة، ولكن هناك طريقة ممكنة للتغلب عليها.
🔅🔅لقد طور الباحثون خوارزمية تقوم بتشغيل بعض الخلايا العصبية بشكل عشوائي بعد كل جولة تدريب، ويبدو أنها تقلل من الأداء الضعيف. يقول دوهاري: "إذا ماتت [خلية عصبية]، فإننا نعيد إحيائها، والآن أصبحت قادرة على التعلم مرة أخرى".
تبدو الخوارزمية واعدة، ولكن يجب اختبارها لأنظمة أكبر بكثير قبل أن نتمكن من التأكد من أنها ستساعد، كما يقول مارك فان دير ويلك من جامعة أكسفورد.
"إن إيجاد حل للتعلم المستمر هو سؤال بمليار دولار"، كما يقول. "إن الحل الحقيقي الشامل الذي يسمح لك بتحديث نموذج ما بشكل مستمر من شأنه أن يقلل من تكلفة تدريب هذه النماذج بشكل كبير".
3️⃣
nature.com
قام أولاً بتدريب أنظمة الذكاء الاصطناعي من قاعدة بيانات ImageNet، والتي تتكون من 14 مليون صورة مصنفة لأشياء بسيطة مثل المنازل أو القطط. ولكن بدلاً من تدريب الذكاء الاصطناعي مرة واحدة ثم اختباره من خلال محاولة التمييز بين صورتين عدة مرات، كما هو معتاد، أعادوا تدريب النموذج بعد كل زوج من الصور.
لقد اختبروا مجموعة من خوارزميات التعلم المختلفة بهذه الطريقة ووجدوا أنه بعد بضعة آلاف من دورات إعادة التدريب، بدت الشبكات غير قادرة على التعلم وأداءها ضعيفًا، حيث ظهرت العديد من الخلايا العصبية "ميتة"، أو بقيمة صفر.
كما قام الفريق بتدريب الذكاء الاصطناعي لمحاكاة نملة تتعلم المشي من خلال التعلم التعزيزي، وهي طريقة شائعة حيث يتم تعليم الذكاء الاصطناعي كيف يبدو النجاح ويحدد القواعد باستخدام التجربة والخطأ. عندما حاولوا تكييف هذه التقنية لتمكين التعلم المستمر من خلال إعادة تدريب الخوارزمية بعد المشي على أسطح مختلفة، وجدوا أنها تؤدي أيضًا إلى عدم القدرة على التعلم بشكل كبير.
يقول دوهاري إن هذه المشكلة تبدو متأصلة في الطريقة التي تتعلم بها هذه الأنظمة، ولكن هناك طريقة ممكنة للتغلب عليها.
🔅🔅لقد طور الباحثون خوارزمية تقوم بتشغيل بعض الخلايا العصبية بشكل عشوائي بعد كل جولة تدريب، ويبدو أنها تقلل من الأداء الضعيف. يقول دوهاري: "إذا ماتت [خلية عصبية]، فإننا نعيد إحيائها، والآن أصبحت قادرة على التعلم مرة أخرى".
تبدو الخوارزمية واعدة، ولكن يجب اختبارها لأنظمة أكبر بكثير قبل أن نتمكن من التأكد من أنها ستساعد، كما يقول مارك فان دير ويلك من جامعة أكسفورد.
"إن إيجاد حل للتعلم المستمر هو سؤال بمليار دولار"، كما يقول. "إن الحل الحقيقي الشامل الذي يسمح لك بتحديث نموذج ما بشكل مستمر من شأنه أن يقلل من تكلفة تدريب هذه النماذج بشكل كبير".
3️⃣
جاري تحميل الاقتراحات...