أدوات الذكاء الاصطناعي تكتشف الأخطاء في أوراق البحوث: في حركة متنامية – ترجمة* محمد جواد آل السيد ناصر الخضراوي

AI tools are spotting errors in research papers: inside a growing movement
(Elizabeth Gibney – بقلم: إليزابيث غيبني)

الدراسة التي روجت لسمية أدوات المائدة البلاستيكية السوداء ألهمت مشاريع تستخدم نماذج لغوية كبيرة للتحقق من الأوراق البحثية.

في أواخر العام الماضي [2024]، حذرت وسائل الإعلام في جميع أنحاء العالم من أن أدوات الطهي البلاستيكية السوداء تحتوي على مستويات مقلقة من مثبطات اللهب المرتبطة بالسرطان. وقد تبين أن المخاطر مبالغ فيها – حيث اقترح خطأ حسابي في البحث الأساسي أن مادة كيميائية رئيسية تجاوزت الحد الآمن بينما كانت في الواقع أقل بعشر مرات من الحد. وأظهر الباحثون ذوو النظرة الثاقبة بسرعة أن نموذج الذكاء الاصطناعي كان بإمكانه اكتشاف الخطأ في ثوانٍ.

وقد حفز الحادث مشروعين يستخدمان الذكاء الاصطناعي للعثور على أخطاء في الأدبيات العلمية. مشروع “الملعقة المسطحة السوداء” (Black Spatula) هو أداة ذكاء اصطناعي مفتوحة المصدر قامت حتى الآن بتحليل حوالي 500 ورقة بحثية بحثًا عن أخطاء. ولم تعلن المجموعة، التي تضم حوالي ثمانية مطورين نشطين ومئات المستشارين المتطوعين، عن الأخطاء بعد؛ كما يقول جواكوين غولوسو، وهو باحث مستقل في مجال الذكاء الاصطناعي ومقره قرطاجنة في كولومبيا، والذي يساعد في تنسيق المشروع، ولا بيتعامل المشروع مع المؤلفين المتضررين بشكل مباشر. ويقول غولوسو: “لقد اكتشف بالفعل العديد من الأخطاء. إنها قائمة ضخمة. إنه أمر مجنون”.

ويقول مؤسس المشروع ورائد الأعمال في مجال الذكاء الاصطناعي مات شليشت إن الجهد الآخر يسمى “نعم بدون خطأ” (YesNoError) وقد استوحى فكرته من مشروع “الملعقة المسطحة السوداء”. وقد وضعت المبادرة، الممولة من خلال عملتها المشفرة المخصصة، أهدافها أعلى من ذلك. ويقول شليشت: “فكرت، لماذا لا نراجع جميع الأوراق البحثية؟”.

ويضيف إن أداة الذكاء الاصطناعي الخاصة بهم حللت أكثر من 37000 ورقة بحثية في شهرين. ويشير الموقع الإلكتروني للمشروع الى الأوراق البحثية التي وجدت فيها عيوبًا – والتي لم يتم التحقق من العديد منها بعد من قبل إنسان، على الرغم من أن شليشت يقول إن مشروع “نعم بدون خطأ” لديه خطة للقيام بذلك على نطاق واسع في نهاية المطاف.

ويريد كلا المشروعين أن يستخدم الباحثون أدواتهم قبل تقديم أعمالهم إلى المجلات العلمية، وأن تستخدم المجلات هذه الأدوات قبل نشرها، والفكرة هي تجنب الأخطاء، وكذلك الاحتيال، التي قد تجد طريقها إلى الأدبيات العلمية.

وتحظى المشاريع بدعم مبدئي من المحققين الأكاديميين الذين يعملون في مجال نزاهة البحوث [العلمية]. ولكن هناك أيضًا مخاوف بشأن المخاطر المحتملة. وتقول ميشيل نويجتن، الباحثة في مجال الميتاساينس (العلوم الميتافيزيقية [الما ورائية]) بجامعة تيلبورغ في هولندا، إنه يجب توضيح مدى قدرة الأدوات على اكتشاف الأخطاء، وما إذا كانت ادعاءاتها [أي الأدوات] قد تم التحقق منها. وتضيف: “إذا بدأت في توجيه أصابع الاتهام إلى الناس ثم اتضح أنه لم يكن هناك خطأ، فقد يكون هناك ضرر بالسمعة”.

ويضيف آخرون أنه على الرغم من وجود مخاطر وأن المشاريع بحاجة إلى توخي الحذر بشأن ما تدعيه، فإن الهدف هو الهدف الصحيح. ويقول عالم الطب الشرعي الميتافيزيقي في جامعة لينيوس في فاكسجو بالسويد جيمس هيذرز، إنه من الأسهل بكثير إنتاج أوراق رديئة بدلاً من سحبها. وكخطوة أولى، يمكن استخدام الذكاء الاصطناعي لفرز الأوراق لمزيد من التدقيق، كما يقول هيذرز، الذي عمل كمستشار لمشروع “الملعقة المسطحة السوداء”. ويضيف قائلاً: “إن الأمر لا يزال في مراحله الأولى، ولكنني أؤيد” المبادرات.

محققو الذكاء الاصطناعي
كرس العديد من الباحثين حياتهم المهنية لاكتشاف مخاوف تتعلق بالنزاهة في الأوراق البحثية – وهناك بالفعل أدوات للتحقق من جوانب معينة من الأوراق البحثية. ولكن المؤيدين يأملون أن يتمكن الذكاء الاصطناعي من إجراء مجموعة أوسع من الفحوصات في لقطة واحدة والتعامل مع حجم أكبر من الأوراق البحثية.

ويستخدم كل من مشروع “الملعقة المسطحة السوداء” ومشروع “نعم بدون خطأ” نماذج لغوية كبيرة (LLMs) لاكتشاف مجموعة من الأخطاء في الأوراق البحثية، بما في ذلك الأخطاء المتعلقة بالحقائق وكذلك في الحسابات والمنهجية والمراجع.

وتستخرج الأنظمة أولاً المعلومات، بما في ذلك الجداول والصور، من الأوراق البحثية. ثم تقوم بصياغة مجموعة من التعليمات المعقدة، المعروفة باسم المطالبة، والتي تخبر نموذج “الاستدلال” – وهو نوع متخصص من نموذج لغوي كبير – بما يبحث عنه وأنواع الأخطاء التي يجب البحث عنها. وقد يحلل النموذج ورقة بحثية عدة مرات، إما بالبحث عن أنواع مختلفة من الأخطاء في كل مرة، أو للتحقق المتبادل من النتائج. وتتراوح تكلفة تحليل كل ورقة بحثية من 15 سنتًا إلى بضعة دولارات، اعتمادًا على طول الورقة البحثية وسلسلة المطالبات المستخدمة.

إن معدل الإيجابيات الخاطئة، وهي الحالات التي يزعم فيها الذكاء الاصطناعي وجود خطأ في حين لا يوجد خطأ، يشكل عقبة رئيسية. ويقول غولوسو إن نظام مشروع “الملعقة المسطحة السوداء” حاليًا مخطئ بشأن خطأ بنسبة 10% من الوقت. ويقول ستيف نيومان، مهندس البرمجيات ورائد الأعمال الذي أسس مشروع “الملعقة المسطحة السوداء”، إن كل خطأ مزعوم يجب التحقق منه مع خبراء في هذا الموضوع، والعثور عليه هو أكبر عقبة في المشروع.

وحتى الآن، قام فريق “نعم بدون خطأ” التابع لشليخت بقياس الإيجابيات الخاطئة في حوالي 100 خطأ رياضي فقط وجدها الذكاء الاصطناعي في دفعة أولية من 10000 ورقة بحثية. ويقول إنه من بين 90% من المؤلفين الذين استجابوا لشليخت، وافق الجميع باستثناء واحد على أن الخطأ المكتشف كان صحيحًا. وفي النهاية، تخطط “نعم بدون خطأ” للعمل مع “ريسيرتش هوب [مركز الأبحاث] (ResearchHub)، وهي منصة تدفع لعلماء يحملون درجة الدكتوراه بالعملة المشفرة لإجراء مراجعة الأقران. وعندما يقوم الذكاء الاصطناعي بفحص ورقة بحثية ما، فإن “نعم بدون خطأ” سوف يطلق طلبا للتحقق من النتائج، على الرغم من أن هذا لم يبدأ بعد.

ايجابيات خاطئة
يقول نيك براون، الباحث في النزاهة العلمية في جامعة لينيوس [السويدية]، إن موقع “نعم بدون خطأ” يحتوي حاليًا على العديد من النتائج الإيجابية الخاطئة. ومن بين 40 ورقة بحثية تم تصنيفها على أن بها مشكلات، وجد 14 نتيجة إيجابية خاطئة (على سبيل المثال، النموذج الذي ينص على أن الشكل المشار إليه في النص لم يظهر في الورقة البحثية، عندما يكون ظاهرا). ويقول [براون]: “يبدو أن الغالبية العظمى من المشكلات التي يجدونها هي مشكلات في الكتابة”، والكثير من الاكتشافات خاطئة.

ويحذر براون من أن الجهد المبذول من شأنه أن يخلق طوفانًا من الأخطاء التي يتعين على المجتمع العلمي تصحيحها، فضلاً عن إثارة الضجة حول الأخطاء البسيطة مثل الأخطاء المطبعية، والتي يجب اكتشاف العديد منها أثناء مراجعة الأقران (ينظر كلا المشروعين إلى حد كبير في الأوراق الموجودة في مستودعات ما قبل الطباعة). ويقول براون إنه ما لم تتحسن التقنية بشكل كبير، “فإن هذا من شأنه أن يولد كميات هائلة من العمل دون فائدة واضحة. إنه يبدو لي ساذجًا بشكل غير عادي”.

ويقول شيليشت إن مشروع “نعم بدون خطأ” يعمل على تقليل النتائج الإيجابية الخاطئة قدر الإمكان. ويضيف: “قد يبدو تحديد الأخطاء البسيطة في أوراق البحوث أمرًا تافهًا، ولكن كما رأينا في الورقة البحثية الأخيرة التي زعمت وجود مستويات عالية من السمية في أدوات الطهي السوداء، فإن حتى صفرًا إضافيًا واحدًا يمكن أن يكون له تأثير كبير على العالم”. ويقول شليشت إن مشروع “نعم بدون خطأ” يتشاور بالفعل مع الأكاديميين، ويرحب بمزيد من الملاحظات من المجتمع [الأكاديمي].

ويخطط مشروع “نعم بدون خطأ” للسماح لحاملي عملتها المشفرة بتحديد أي من الأوراق البحثية يتم فحصها أولاً. والفكرة هي التركيز على الأوراق البحثية التي تحظى باهتمام عام، لكن براون يخشى أن تستهدف هذه العملية الأبحاث الحساسة سياسياً، مثل علم المناخ.

ويقول براون إن هذه الجهود، إذا تم تنفيذها بشكل جيد، يمكن أن تكشف عن بعض الحقائق غير المريحة. ويتابع: “لنفترض أن شخصًا ما صنع [كتب] بالفعل واحدة [ورقة بحثية] جيدة حقًا من هذه… في بعض المجالات، أعتقد أن الأمر سيكون مثل تشغيل الضوء في غرفة مليئة بالصراصير”.

*تمت الرجمة بتصرف

المصدر:

https://www.nature.com/articles/d41586-025-00648-5