الرئيسيةالتكنولوجيا3 موظفين سابقين فى OpenAI يحذرون: لا تفقدوا القدرة على مراقبة الذكاء...

3 موظفين سابقين فى OpenAI يحذرون: لا تفقدوا القدرة على مراقبة الذكاء الاصطناعى

spot_imgspot_imgspot_imgspot_img
spot_imgspot_imgspot_imgspot_img

حذر ثلاثة موظفين سابقين في OpenAI من خطورة فقدان القدرة على مراقبة طريقة عمل نماذج الذكاء الاصطناعي المتقدمة، مطالبين الشركة بالحفاظ على أدوات تتيح للباحثين فهم كيفية تعامل النماذج مع المشكلات واتخاذها للقرارات، ووجه الموظفون الثلاثة، جاسمين وانج وتوميك كورباك وميكيتا باليسني، خطابًا إلى مجلس إدارة OpenAI ولجان السلامة بالشركة، بعد إنهاء عملهم، مؤكدين أن الصناعة لا تزال لا تعرف كيفية تطوير ونشر نماذج قوية بأمان إذا لم تتمكن من مراقبتها بشكل فعال.

يركز التحذير على ما يعرف باسم Chain-of-Thought، وهي آلية بحثية تُستخدم لفهم خطوات التفكير التي يعتمد عليها النموذج في الوصول إلى إجابة أو حل مشكلة.

ويرى الباحثون أن هذه الآلية ليست مؤشرًا كاملًا على سلوك النموذج أو نواياه، لكنها يمكن أن تكون أداة مفيدة للباحثين في مراقبة الأنظمة الأكثر تطورًا واكتشاف بعض أشكال السلوك غير المرغوب فيه، ويحذر الموظفون السابقون من أن تقليل القدرة على مراقبة هذه العمليات قد يجعل من الصعب على الباحثين اكتشاف المشكلات مبكرًا، خصوصًا مع تطور نماذج أكثر استقلالية وقدرة.

اقرأ ايضا: بعد الهزة الأرضية.. خطوات تفعيل تنبيهات الزلازل والطوارئ على الهواتف

دعا الخطاب أيضًا إلى تعاون أكبر بين OpenAI وجهات مستقلة متخصصة في تقييم سلامة الذكاء الاصطناعي، بهدف تقليل مخاطر وقوع حوادث خطيرة مع تطور قدرات النماذج.

وقالت OpenAI، في مذكرة نقلتها صحيفة Wall Street Journal، إنها تتفق بشكل كبير مع التوصيات المتعلقة بأهمية مراقبة النماذج، مؤكدة أن الاستعانة بجهات تقييم خارجية تمثل جزءًا مهمًا من منظومة السلامة، وأوضحت الشركة أن إنهاء عمل الموظفين لم يكن بسبب إثارة مخاوف تتعلق بالسلامة أو التعبير عن آرائهم.

تأتي هذه التحذيرات بالتزامن مع زيادة الاهتمام بمخاطر وكلاء الذكاء الاصطناعي القادرين على تنفيذ مهام أكثر استقلالية عبر الإنترنت، ويرى مؤيدو تعزيز الرقابة أن تطور قدرات هذه الأنظمة يجعل من الضروري امتلاك أدوات تسمح للباحثين باكتشاف السلوك غير المتوقع قبل أن تتحول الأنظمة إلى أدوات أكثر استقلالية يصعب التحكم فيها.

كما شارك كورباك وباليسني في تأليف بحث سابق حول استخدام مراقبة Chain-of-Thought لاكتشاف السلوك غير المرغوب فيه، وأشار البحث إلى أن الطريقة ليست مثالية وقد تكون قابلة للتجاوز، لكنها تستحق الحفاظ عليها ودراستها كإحدى أدوات مراقبة نماذج الذكاء الاصطناعي المتقدمة.

spot_imgspot_imgspot_imgspot_img
مقالات ذات صلة
spot_imgspot_imgspot_imgspot_img
- Advertisment -spot_imgspot_imgspot_imgspot_img

الأكثر شهرة

- Advertisment -spot_imgspot_imgspot_imgspot_img

احدث التعليقات