موقع اليوم جريده اليوم – جريدة اليوم
حوار: أحمد حمدالله
من يتحمل المسؤولية عندما يتجاوز الذكاء الاصطناعي حدود مهمته؟ سؤال عاد إلى الواجهة عقب واقعة في أستراليا، ارتبطت بنموذج تجريبي للذكاء الاصطناعي تابع لشركة «OpenAI»، تمكن، وفقًا للتقارير المتعلقة بالواقعة، من الوصول إلى ملفات داخلية في بوابة حكومية دون تصريح، أثناء تنفيذ مهمة بحثية.
وتفتح هذه الواقعة ملفًا بالغ الأهمية يتعلق باستقلالية الأنظمة الذكية، وحدود الصلاحيات الممنوحة لها، ومستقبل الأمن السيبراني، خاصة مع التطور المتسارع لوكلاء الذكاء الاصطناعي وقدرتهم على تنفيذ مهام متعددة بصورة متتابعة.
وفي هذا السياق، تناقش «اليوم» مع الدكتور وائل بدوي، خبير الذكاء الاصطناعي، مخاطر الوكلاء الأذكياء، وسبل إخضاع قدراتهم للرقابة والحوكمة، وتحديد المسؤولية عند تجاوز الحدود المسموح بها.
■ كيف تقرأ واقعة أستراليا من منظور متخصص في الذكاء الاصطناعي؟
تكمن أهمية الواقعة في طبيعة السلوك الذي قد يُظهره النظام أثناء تنفيذ المهمة؛ فالوكيل الذكي لا يكتفي بإنتاج إجابة، بل يستطيع تقسيم الهدف إلى مهام فرعية، واستخدام الأدوات المتاحة، واتخاذ خطوات متتابعة للوصول إلى النتيجة المطلوبة.
وقد يواجه عائقًا يدفعه إلى البحث عن وسيلة بديلة لتحقيق الهدف، بما قد يؤدي إلى تجاوز الحدود التي توقعها المستخدم. لذلك، لا تتمثل المشكلة بالضرورة في تمرد الآلة، وإنما في تنفيذ الهدف بطريقة تتخطى القيود المقصودة.
■ هل نحن أمام جيل جديد من المخاطر السيبرانية؟
بالتأكيد. لم يعد الخطر مقتصرًا على استخدام شخص للذكاء الاصطناعي في تنفيذ هجوم سيبراني، بل أصبح يشمل أيضًا احتمال تصرف نظام ذكي يمتلك صلاحيات واسعة بطريقة غير متوقعة.
وهذا يفرض إعادة النظر في مفهوم التهديد السيبراني، خاصة مع قدرة الوكلاء الأذكياء على التحليل واتخاذ القرارات واستخدام أدوات متعددة، دون الحاجة إلى توجيه بشري في كل خطوة.
■ أين تكمن المشكلة إذا كان النظام ينفذ المهمة المطلوبة منه؟
قد يكون الهدف مشروعًا، لكن الحدود التي يجب الالتزام بها أثناء تنفيذه ليست محددة دائمًا بصورة دقيقة. فإذا واجه الوكيل مصدرًا مغلقًا أو عائقًا تقنيًا، فهل يتوقف، أم يبحث عن مسار بديل قد يتجاوز الصلاحيات المسموح بها؟
لذلك، لا يكفي أن نحدد ما نريد من النظام فعله، بل يجب أن نحدد أيضًا ما لا يُسمح له بفعله.
وهنا تبرز أهمية مبدأ «الحد الأدنى من الصلاحيات»، الذي يقوم على منح النظام الصلاحيات الضرورية فقط لإنجاز مهمته. فإذا كان مطلوبًا منه تحليل بيانات مصنع، فلا ينبغي أن يمتلك تلقائيًا صلاحية تعديل إعدادات الآلات أو الوصول إلى جميع أنظمة المنشأة.
■ ماذا يحدث عندما يمتلك الذكاء الاصطناعي صلاحيات داخل منشأة صناعية؟
تزداد المخاطر عندما ننتقل من المعلومات الرقمية إلى العالم المادي. فإذا كُلّف وكيل ذكي برفع كفاءة الإنتاج بنسبة 10%، فقد يكتشف أن أحد أنظمة الحماية يتسبب في توقف خط الإنتاج. وهنا يجب ألا تكون لديه حرية تعطيل نظام الإنذار أو تغيير إعدادات المعدات دون ضوابط مناسبة.
هناك فرق جوهري بين أن يقدم النظام توصية بإغلاق صمام، وبين أن يمتلك صلاحية إغلاقه فعليًا.
ولهذا أصبحت السلامة السيبرانية مرتبطة بالسلامة الهندسية؛ فالخطأ في نظام مكتبي قد يؤدي إلى فقدان ملف، بينما قد يتسبب الخطأ في مصنع أو محطة مياه أو شبكة طاقة في أضرار مادية تهدد سلامة الأشخاص والمنشآت.
■ هل يكفي إبقاء الإنسان داخل دائرة اتخاذ القرار؟
وجود الإنسان مهم، لكنه لا يكفي إذا اقتصر دوره على الموافقة على قرارات متتابعة دون مراجعة حقيقية.
فالرقابة الفعالة تتطلب وجود شخص مؤهل يفهم طبيعة النظام ومخاطره، ويمتلك الوقت الكافي للمراجعة، فضلًا عن الصلاحية اللازمة لإيقاف القرار عند الضرورة، خاصة في الأنظمة الهندسية الحساسة.
■ من يتحمل المسؤولية إذا اتخذ الذكاء الاصطناعي قرارًا تسبب في حادث؟
لا يمكن اعتبار الذكاء الاصطناعي بديلًا عن المسؤولية البشرية والمؤسسية. بل يجب تحديد المسؤوليات وفقًا لطبيعة الواقعة، بما يشمل مطور النظام، ومشغّله، والجهة التي منحته الصلاحيات، والجهة التي استخدمته.
كما نحتاج إلى قواعد واضحة للإبلاغ عن حوادث الذكاء الاصطناعي وتحديد كيفية التعامل معها، سواء أكانت حوادث أمنية أم أخطاء برمجية أم وقائع تمس السلامة، مع مراعاة التحديات العابرة للحدود.
■ ماذا يجب أن تفعل مصر مع التوسع في الذكاء الاصطناعي والتحول الرقمي؟
يجب أن يصاحب التوسع في استخدام الذكاء الاصطناعي بقطاعات الصناعة والطاقة والنقل والخدمات الحكومية والقطاع المالي توسعٌ مماثل في مجالات الحوكمة والأمن والسلامة.
وقبل منح أي وكيل ذكي صلاحيات داخل منظومة حساسة، يجب تحديد ما يستطيع الاطلاع عليه أو تغييره، والأدوات والأنظمة التي يمكنه الوصول إليها، والقرارات التي يستطيع اتخاذها بصورة مستقلة، وتلك التي تتطلب موافقة بشرية متخصصة.
ويجب أن تكون هذه الضوابط جزءًا من تصميم النظام منذ البداية، لا إجراءات تُضاف بعد وقوع المشكلة.
■ ما أهم الضوابط اللازمة لضمان سلامة هذه الأنظمة؟
نحتاج إلى تحديد الصلاحيات بدقة، وعزل الأنظمة الحساسة، وتسجيل العمليات التي ينفذها النظام، ومراقبة أدائه باستمرار، واختبار سلوكه في حالات الفشل، واشتراط الموافقة البشرية على القرارات عالية الخطورة، مع توفير آلية سريعة لإيقافه عند الضرورة.
فوسائل الحماية ليست إضافات لاحقة، بل جزء أساسي من تصميم أي منظومة ذكية موثوقة.
■ ما الرسالة الأهم التي يجب أن نخرج بها من واقعة أستراليا؟
كلما زادت قدرات الذكاء الاصطناعي، ازدادت أهمية التحكم في صلاحياته وضمان خضوعه للحوكمة.
نريد أن تساعد هذه الأنظمة الطبيب والمهندس والعالم، وأن تسهم في رفع الإنتاجية وتحسين عملية اتخاذ القرارات، دون أن تتحول قدرتها على التنفيذ إلى سلطة غير محسوبة.
فالذكاء الحقيقي لا يقتصر على معرفة كيفية الوصول إلى الهدف، بل يشمل أيضًا معرفة متى يجب التوقف، وما الحدود التي لا يجوز تجاوزها.
نحن لا نحتاج إلى أنظمة تعرف فقط كيف تقول «نعم»، بل إلى أنظمة تعرف متى تقول: «لا أستطيع تنفيذ ذلك؛ لأن هذه الخطوة تتجاوز حدود المهمة أو الصلاحيات الممنوحة لي».
وهنا يبدأ مفهوم الذكاء الاصطناعي الجدير بالثقة.
