"غرفة التحكم".. درع أمان جديد من OpenAI للسيطرة على الذكاء الاصطناعي

كشفت شركة OpenAI عن نظام أمني جديد يحمل اسم "غرفة التحكم"، وهو نظام مركزي مصمم لإيقاف مخرجات النموذج في غضون 35 ثانية من اتخاذ قرار بالتدخل عند ظهور أي مخاوف تتعلق بالسلامة أو الأمن.

شركة OpenAI تطلق درع أمان جديد للسيطرة على الذكاء الاصطناعي

ومع ازدياد قدرات نماذج الذكاء الاصطناعي واستقلاليتها، تزداد أهمية ضمان قدرة الباحثين على إيقاف السلوكيات التي قد تنطوي على مخاطر بسرعة. 

ويأتي هذا الإجراء الطارئ بعد أن تمكن نموذج بحثي داخلي من تجاوز قيود الإنترنت في بيئة التدريب التجريبية الخاصة به، مما كشف عن ثغرة في أنظمة الأمان الخاصة بشركة OpenAI.

في شهر سبتمبر الماضي، وجد نموذج بحث داخلي من OpenAI طريقة للوصول إلى روبوت محادثة خارجي من خلال ثغرة في قيود الإنترنت الخاصة ببيئة التدريب التجريبية.

ورصد نظام المراقبة الخاص بصانع ChatGPT هذا السلوك، وقام مراجع بشري بتأكيد التنبيه.

ومع ذلك، لم يكن من الممكن إيقاف عملية البحث تلقائياً، وكان لا بد من إيقافها يدوياً بعد حوالي ساعتين ونصف.

وقالت شركة OpenAI: "لم يتوقف التشغيل تلقائيًا كما هو متوقع، مما أدى إلى ارتباك حول ما إذا كان ينبغي إيقافه".

وقامت الشركة لاحقاً بتعليق بعض أنشطة التدريب والتقييم والاستدلال التي تتضمن استخدام الأدوات لأكثر نماذجها قدرة.

كيف تعمل غرفة التحكم لشركة OpenAI؟

يحصل كل عبء عمل بحثي على مُعرّف فريد، ويتحقق محرك الاستدلال الخاص بالنموذج من "غرفة التحكم" قبل توليد المخرجات، إذا تم إيقاف مهمة ما، يرفض النظام أي طلبات أخرى منها، ولا يعتمد النظام على عبء العمل البحثي نفسه لتنفيذ أمر الإيقاف.

وقالت شركة OpenAI: "الحد الأقصى للوقت بين لحظة تلقي غرفة التحكم أمر إيقاف مهمة ما، ولحظة استحالة إحراز أي تقدم إضافي، هو 35 ثانية".

وأوضحت أن هذا التأخير البالغ 35 ثانية ناتج عن طبقة تخزين مؤقتة لتفويض الاستدلال، لدعم حجم البيانات المطلوب، وأضافت: "نعمل على تقليص هذا الرقم إلى الصفر حتى نتمكن من إنهاء المهام فورًا".

وتم نشر غرفة التحكم بالفعل في جميع أنحاء البنية التحتية البحثية لشركة OpenAI، وهي طبقة واحدة ضمن نظام أمان أوسع، تعمل جنبًا إلى جنب مع نظام مراقبة السلوكيات غير المتوافقة والاختراقات الأمنية.

ومع ذلك، فهي لا تمنع النموذج من محاولة القيام بشيء محفوف بالمخاطر في المقام الأول، بل صُممت للمساعدة في إيقاف المزيد من المخرجات بمجرد اتخاذ قرار التدخل.

وقالت OpenAI: "غرفة التحكم ليست سوى جزء واحد من نهجنا الشامل لتدريب ونشر نماذج الحدود الآمنة".

اقرأ أيضًا:

دعوى قضائية ضد OpenAI.. رجل يتهم ChatGPT بمساعدة زوجته في التخطيط لتسميمه