كان محللو الأسهم في شركة أبحاث مالية يستعينون بمساعد ذكاء اصطناعي قادر على صياغة أقسام التقارير، وتلخيص إفصاحات الشركات، وتوليف الأبحاث من قاعدة المعرفة الداخلية للشركة. وقد قلصت الأداة كثيرًا الوقت الذي يقضيه المحللون في المسودات الأولية، وكان اعتمادها في فريق الأبحاث سريعًا. وتطور سير العمل تلقائيًا: يطلب المحللون من الذكاء الاصطناعي مسودة، ثم يراجعونها، ثم يحسّنونها. وفي الممارسة العملية، كانت مراجعة مسودة الذكاء الاصطناعي حسنة الصياغة أخف من مراجعة مسودة بشرية أولية، إذ قلّل العرض المصقول الإشارة الذهنية التي تستدعي المراجعة المتأنية. طلب أحد المحللين من الذكاء الاصطناعي صياغة قسم الأدوية قيد التطوير في تقرير بدء تغطية لشركة أدوية. فأنتج الذكاء الاصطناعي قسمًا منظمًا يبدو موثوقًا يتضمن عبارات محددة عن ثلاثة أدوية قيد التطوير، بما في ذلك الجداول الزمنية للمراحل وملخصات آليات العمل وتقديرات احتمالية النجاح. وراجع المحلل، تحت ضغط الموعد النهائي، القسمَ فوجده حسن التنظيم ومتسقًا مع معرفته العامة بالشركة. ونُشر التقرير. وبعد يومين، تواصل قارئ من شركة الأدوية مع فريق الامتثال في الشركة لينبّه إلى أن اثنين من الأدوية قيد التطوير المذكورة في التقرير لا وجود لهما، فهما ليسا من أدوية الشركة، وأن تقديرات احتمالية النجاح استشهدت ببيانات تجارب محددة لا وجود لها. كان الذكاء الاصطناعي قد ولّد أبحاثًا دوائية تبدو معقولة من مزيج من بيانات تدريبه ونزعته التوليدية إلى إنتاج محتوى واثق ومنظم. بدت المخرجات بحثًا لأنها نُظّمت كالبحث، ولم يحمل المحتوى المختلق أي إشارة تميزه عن المحتوى الدقيق.
ما حقيقة تسرب بيانات مخرجات الذكاء الاصطناعي؟
يشمل تسرب بيانات مخرجات الذكاء الاصطناعي في سياق منتجات الذكاء الاصطناعي المؤسسية بُعدين متمايزين للمخاطر. الأول هو المعنى التقليدي لتسرب البيانات، أي ظهور بيانات حساسة من سياق الذكاء الاصطناعي أو مجموعة بيانات تدريبه أو قاعدة المعرفة المتصلة به في مخرجات يمكن لأطراف غير مصرح لها الوصول إليها. والثاني، وهو البُعد الأقل إدراكًا، تسرب المحتوى الذي يختلقه الذكاء الاصطناعي إلى مخرجات المؤسسة، حيث تُنتج النزعة التوليدية للذكاء الاصطناعي محتوى واثقًا ومعقولًا ظاهريًا لكنه خاطئ واقعيًا ولا يمكن تمييزه بنيويًا عن المحتوى الدقيق، فيدخل ذلك المحتوى مستندات المؤسسة وقراراتها واتصالاتها دون أن يدرك متلقوه مصدره.
خطر الاختلاق هو البُعد الأوسع انتشارًا والأقل فهمًا. تولّد النماذج اللغوية الكبيرة النصوص بالتنبؤ بالتتمة الأرجح للموجّه استنادًا إلى أنماط إحصائية في بيانات تدريبها. وعند سؤالها عن موضوعات تكون بيانات تدريبها فيها محدودة أو قديمة أو غامضة، تولّد النماذج اللغوية الكبيرة محتوى معقولًا إحصائيًا، مُنظمًا كالمعلومات الدقيقة وواثق النبرة ومتسقًا مع المجال العام، لكنه خاطئ واقعيًا. وهذا الاختلاق ليس خطأً برمجيًا أو عطلًا، بل نتيجة لطريقة عمل النماذج اللغوية. فكل LLM يختلق بدرجة ما في الاستعلامات التي تكون بيانات تدريبه فيها غير كافية.
مشكلة تكافؤ الثقة هي مُضخّم الخطر. فمخرجات LLM لا تحمل إشارة ثقة موثوقة تميز التوليف الدقيق من الاختلاق، إذ يُنتَج النوعان بالسلاسة اللغوية نفسها والصقل البنيوي نفسه والنبرة الواثقة نفسها. والمراجعون البشريون الذين يطبقون مستويات مختلفة من التدقيق على المحتوى المصقول مقارنةً بالمحتوى الأولي سيطبقون على مخرجات الذكاء الاصطناعي المصقولة تدقيقًا أخف مما تستحقه. والاختصار الذهني القائل إن الكتابة المصقولة دليل على تفكير متأنٍّ، وهو صحيح غالبًا في الكتابة البشرية، يفشل في مخرجات LLM، حيث يكون العرض المصقول خاصية لعملية التوليد بصرف النظر عن الدقة الواقعية.
مشكلة حدود قاعدة المعرفة هي خطر المؤسسة المحدد. فمساعدو الذكاء الاصطناعي المهيؤون للوصول إلى قاعدة المعرفة الداخلية للمؤسسة يوّلفون المحتوى منها بدقة في الاستعلامات الواقعة ضمن نطاق تغطيتها. أما في الاستعلامات التي تتجاوز نطاق تغطية قاعدة المعرفة، فيولّد الذكاء الاصطناعي المحتوى من تدريبه العام، الذي قد لا يتضمن معلومات حديثة أو دقيقة أو محددة عن موضوع الاستعلام. والانتقال من التوليف من قاعدة المعرفة إلى التوليد من بيانات التدريب غير ظاهر في المخرجات، إذ يظهر النوعان من المحتوى بالشكل نفسه وبالثقة نفسها.
لماذا يهم هذا
يهم تسرب بيانات مخرجات الذكاء الاصطناعي TPRM لأن منتجات الذكاء الاصطناعي التي ينشرها الموردون لعاملي المعرفة في المؤسسات، من مساعدي البحث وأدوات صياغة المستندات وأدوات التواصل مع العملاء ومسرّعات التحليل، تُنشئ خطر اختلاق منهجيًا في المخرجات التي ينتجها أولئك العاملون. والمؤسسة التي تعتمد على مساعد الذكاء الاصطناعي لدى المورد في البحث أو التحليل أو التواصل ترث خطر الاختلاق الذي تُنشئه حدود قاعدة معرفة الذكاء الاصطناعي ونزعاته التوليدية.
أين تخطئ معظم الفرق
يتمثل الإخفاق الأكثر تكرارًا في معاملة جودة مخرجات الذكاء الاصطناعي على أنها مكافئة لدقته. فجودة المخرجات، من سلاسة لغوية وتماسك بنيوي ونبرة واثقة، خاصية لعملية التوليد، أما الدقة فهي دالة على تغطية بيانات التدريب ومواءمة قاعدة المعرفة. والاختلاق عالي الجودة لا يمكن تمييزه في شكل المخرجات عن التوليف الدقيق.
- مساواة جودة المخرجات بالدقة
- عدم تعديل عملية المراجعة للمحتوى المُعَد بمساعدة الذكاء الاصطناعي: مراجعة أخف للمخرجات المصقولة
- عدم إبلاغ المستخدمين بحدود قاعدة المعرفة: فهم لا يعرفون متى يستقرئ الذكاء الاصطناعي
- عدم تقييم معدل الاختلاق في منتج الذكاء الاصطناعي لدى المورد
- عدم تطبيق متطلبات الاستشهاد وتحديد المصادر على المحتوى المُنشأ بالذكاء الاصطناعي
كيف تبدو الممارسة الجيدة
تطبق البرامج الناضجة لإدارة مخاطر مخرجات الذكاء الاصطناعي متطلبات إسناد المصادر للمحتوى المُنشأ بالذكاء الاصطناعي، باشتراط أن يستشهد الذكاء الاصطناعي بالمصادر المحددة التي استُمدت منها المعلومات، مع مؤشرات صريحة للحدود تُخطر المستخدمين عندما يولّد الذكاء الاصطناعي محتوى خارج نطاق تغطية قاعدة معرفته.
- اشتراط إسناد المصادر: يجب أن يستشهد الذكاء الاصطناعي بمصادر محددة للادعاءات الواقعية
- مؤشرات حدود قاعدة المعرفة: إخطار صريح عندما يستقرئ الذكاء الاصطناعي خارج نطاق قاعدة المعرفة
- بروتوكول مراجعة معززة للمحتوى المُنشأ بالذكاء الاصطناعي: مُعايَر وفق معدل اختلاق الذكاء الاصطناعي
- تقييم معدل الاختلاق: اختبار محدد لمنتج الذكاء الاصطناعي لدى المورد في مجال المؤسسة
- مراقبة المخرجات لأنواع المحتوى عالية الخطر من حيث الاختلاق
الأدوات
التحقق من مخرجات الذكاء الاصطناعي: Ragas وTruLens لتقييم أنظمة RAG
تقيّم أطر تقييم التوليد المعزز بالاسترجاع (RAG) دقة مخرجات الذكاء الاصطناعي مقارنةً بالمستندات المصدرية، فتحدد الحالات التي أنشأ فيها الذكاء الاصطناعي محتوى لا تدعمه المصادر المسترجعة. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كان منتج الذكاء الاصطناعي لدى المورد يستخدم تقييم RAG لقياس معدلات الاختلاق ومراقبتها يوفر سؤالًا محددًا عن دقة المخرجات.
تحديات الحوكمة
يتمثل تحدي الحوكمة في تسرب بيانات مخرجات الذكاء الاصطناعي في خطر تعطيل سير العمل. فاشتراط إسناد المصادر والمراجعة المعززة للمحتوى المُنشأ بالذكاء الاصطناعي يقلل فائدة الإنتاجية التي توفرها المساعدة بالذكاء الاصطناعي. والحل الحوكمي هو معايرة المراجعة على أساس المخاطر، أي تطبيق متطلبات المراجعة المعززة بما يتناسب مع عواقب الاختلاق في حالة الاستخدام المحددة.
- اشترط إسناد المصادر في الادعاءات الواقعية ضمن مخرجات الذكاء الاصطناعي
- طبّق مؤشرات لحدود قاعدة المعرفة
- قيّم معدل الاختلاق في منتج الذكاء الاصطناعي لدى المورد في مجال المؤسسة
- عايِر بروتوكولات المراجعة وفق عواقب حالة الاستخدام
- درّب المستخدمين على خطر الاختلاق ومتطلبات المراجعة
إذا كنت فريقًا صغيرًا
بالنسبة إلى أي منتج ذكاء اصطناعي لدى مورد يُستخدم لإنتاج محتوى يدخل في الاتصالات الخارجية أو الإيداعات التنظيمية أو التحليلات المنشورة، طبّق متطلبًا واحدًا: يجب أن تتضمن الادعاءات الواقعية المُنشأة بالذكاء الاصطناعي استشهادات بالمصادر، ويجب على المراجعين التحقق من عينة من تلك الاستشهادات. فهذا المتطلب يكشف الاختلاق، إذ إن الادعاء المختلق إما أن يستشهد بمصدر لا يحتوي على المعلومة المزعومة، وإما ألا يتضمن استشهادًا على الإطلاق. كما يحوّل هذا المتطلب عملية المراجعة من تقييم جودة المخرجات إلى التحقق من الدقة.
- اشترط ذكر المصادر في الادعاءات الواقعية ضمن مخرجات الذكاء الاصطناعي
- التحقق من عينة من الاستشهادات معيارًا للمراجعة
- قيّم معدل الاختلاق في منتج الذكاء الاصطناعي لدى المورد في مجالك
- طبّق مراجعة معززة لحالات الاستخدام عالية العواقب
ما الذي ينبغي اشتراطه
اسأل مباشرةً:
«هل قُيّم معدل الاختلاق في منتج الذكاء الاصطناعي لديكم في مجالنا المحدد، وهل يوفر منتجكم إسنادًا للمصادر في الادعاءات الواقعية بحيث يتمكن المراجعون من التحقق من المحتوى المُنشأ بالذكاء الاصطناعي مقابل المصادر المذكورة؟»
ما تتوقعه دليلًا
- تقييم معدل الاختلاق في المجال المعني
- قدرة إسناد المصادر
- مؤشرات حدود قاعدة المعرفة
- منهجية تقييم RAG
ينبغي سؤال المورد الذي يؤكد جودة المساعدة البحثية بالذكاء الاصطناعي عن تقييم معدل الاختلاق وإسناد المصادر. فجودة المخرجات تؤكد أن عملية التوليد تعمل، وتقييم معدل الاختلاق يؤكد مدى تكرار دقة ما تولّده.
كيف تُثبت ذلك
- سجلات تقييم معدل الاختلاق
- تطبيق إسناد المصادر
- توثيق بروتوكول المراجعة المعززة
- سجلات تدريب المستخدمين
الخلاصة الرئيسية
دواءان قيد التطوير لم يكن لهما وجود. تقديرات لاحتمالية النجاح تستشهد ببيانات تجارب لا وجود لها. اختلاق واثق وحسن التنظيم ومناسب لمجال الصناعة الدوائية. كانت المراجعة أخف لأن المخرجات كانت مصقولة، ولم يحمل الاختلاق أي إشارة تميزه عن التوليف الدقيق. بدت المخرجات تحليلًا لأنها نُظّمت كالتحليل. إن تسرب بيانات مخرجات الذكاء الاصطناعي ليس مجرد بيانات تتدفق إلى الخارج، بل هو أيضًا بيانات مختلقة تتدفق إلى الداخل كما لو كانت موثوقة. وإسناد المصادر ومؤشرات حدود قاعدة المعرفة وتقييم معدل الاختلاق هي الضوابط التي تصنع الفرق بين الدقة المدعومة بالذكاء الاصطناعي والخطأ الذي يسرّعه الذكاء الاصطناعي.