نگاهی به الگوریتم‌های پیشبینی عملکرد مجرمان و کارایی آنها

تکرار جنایت عبارت است از احتمال اینکه یک شخص مجرم، جرم را برای بار دوم انجام دهد. در حال‌ حاضر نرخ این کار توسط الگوریتم‌های پیش‌بینی‌ مشخص می‌شود.نتیجه این کار می‌تواند بر هر چیزی تاثیر بگذارد: از تصمیم‌گیری درخصوص محکومیت گرفته تا اینکه آیا فرد آزادی مشروط بگیرد یا خیر.

برای اینکه مشخص شود این‌گونه الگوریتم‌ها تاچه اندازه در عمل هم دقیق هستند، یک گروه پژوهشی با رهبری جولیا درسل و هنی فرید پژوهشگران کالج دارتموث، مطالعه‌ای روی نرم‌افزاری از ارزیابی ریسک تجاری به نام COMPAS انجام داد.

مقاله‌های مرتبط:

این نرم‌افزار مشخص می‌کند که آیا شخص پس‌ از مدت دو سال از محکومیت دوباره مرتکب جرم خواهد شد یا خیر. مطالعه نشان داد که این نرم‌افزار در پیش‌بینی نرخ تکرار جنایت، زیاد هم دقیق‌تر از گروه داوطلبان بدون هیچ تجربه‌ی عدالت کیفری نیست. درسل و فرید لیستی از داوطلبان را از طریق یک وب‌سایت انتخاب کردند و به‌طور تصادفی لیست‌های کوچکی از متهمان را دراختیار آنها قرار دادند.

اطلاعاتی درمورد جنسیت، سن و سابقه‌ی جرایم قبلی افراد به این داوطلبان داده شد و از آنها خواسته شد تا پیش‌بینی کنند که آیا این افراد طی دو سال آینده دوباره جرایم خود را تکرار خواهند کرد یا خیر.

دقت پیش‌بینی این داوطلبان که از نوع انسانی بود میانگینی معادل ۶۲/۱ درصد و میانه‌ای معادل ۶۴ درصد داشت که بسیار به دقت نرم‌افزار COMPAS که ۶۵/۲ درصد بود، نزدیک بود. به‌علاوه، پژوهشگران متوجه شدند اگرچه نرم‌افزار ۱۳۷ مشخصه را بررسی می‌کند، ولی پیش‌بینی خطی افراد نیز با تنها بررسی ۲ مشخصه (سن فرد محکوم و تعداد دفعات محکومیت‌های قبلی) برای پیش‌بینی نرخ تکرار جنایت به‌خوبی کار می‌کند.

مشکل سوگیری و جانبداری

یکی از نگرانی‌های گروه، مربوط به سوگیری و جانبداری الگوریتم بود. پژوهشگران در مطالعه‌‌ی خود متوجه شدند که هم داوطلبان انسانی و هم نرم‌افزار هنگام پیش‌بینی برای متهمین سیاه‌پوست، نرخ‌های مثبت کاذب یکسانی را به‌نمایش گذاشتند، اگرچه این دو درمورد نژاد متهمین چیزی نمی‌دانستند.

نرخ مثبت کاذب از طرف داوطلبان انسانی برای متهمین سیاه‌پوست ۳۷ درصد بود، درحالیکه همین نرخ برای سفیدپوستان ۲۷ درصد بود. این نرخ‌ها نزدیک به نرم‌افزار بودند: ۴۰ درصد سیاه‌پوستان و ۲۵ درصد سفیدپوستان.

پژوهشگران در بحث درمورد مقاله خاطرنشان کردند که تفاوت‌های نرخ دستگیری سیاه‌پوستان و سفیدپوستان، روند مقایسه‌ی مستقیم نرخ‌های مثبت‌ کاذب و منفی‌ کاذب درمورد نژادها را پیچیده می‌کند. این نتیجه‌گیری با داده‌های انجمن ملی پیشرفت رنگین‌پوستان حمایت شد. داده‌های این انجمن به‌عنوان مثال نشان داد که آمریکایی‌های آفریقایی‌تبار و سفیدپوستان به‌مقدار مساوی از مواد مخدر استفاده می‌کنند؛ اما نرخ زندان‌ رفتن آمریکایی‌های آفریقایی‌تبار با جرم مواد مخدر تقریبا ۶ برابر سفیدپوستان بود.

نویسندگان مقاله خاطر نشان کردند، اگرچه نژاد افراد ذکر نشده بود، ولی برخی‌از جنبه‌های مختلف داده‌ها به‌طور بالقوه مربوط به نژاد می‌شد و همین موضوع باعث اختلاف در نتایج شده بود. درواقع هنگامی که گروه بار دیگر مطالعه را با اعضای جدیدی از سر گرفت و به این افراد جدید داده‌هایی درمورد نژاد ارائه داد، نتایج تقریبا یکسانی به‌دست آمد. گروه پژوهشی، نتیجه گرفتند که حذف فاکتور نژاد لزوما به حذف اختلافات نژادی در پیش‌بینی تکرار جنایت توسط داوطلبان انسانی منجر نمی‌شود.

زندان و متهم

نتایج تکراری

نرم‌افزار COMPAS از زمان ساخت خود درسال ۱۹۹۸ تا به‌ حال، برای ارزیابی بالغ‌ بر ۱ میلیون نفر مورد استفاده قرار گفته است؛ اگرچه بخش پیش‌بینی تکرارجنایت آن ازسال ۲۰۰۰ به بعد وارد عمل شده است. با درنظر گرفتن این مطالب می‌توان گفت که یافته‌های مطالعه (اینکه گروهی از داوطلبان آموزش‌ندیده و کم‌تجربه درعرصه عدالت‌کیفری تقریبا با الگوریتم مساوی عمل می‌کنند) بسیار جالب و در عین‌ حال هشداردهنده بوده است.

نتیجه‌ی مشخص از این مطالعه این است که الگوریتم پیش‌بینی، آنقدرها هم پیشرفته و دقیق نیست و باید به‌روزرسانی شود. اما وقتی گروه، آماده‌ی اعتباربخشی به یافته‌هایشان بودند، ماشین بردار پشتیبانی غیرخطی (NL-SVM) قدرتمندتری  را با داده‌های یکسان طراحی کرند.

وقتی این ماشین هم نتایج یکسانی ارائه داد، گروه عقب‌نشینی کرد، چراکه فکر می‌کردند الگوریتم جدیدی را که به‌ داده‌ها خیلی نزدیک است، طراحی کرده‌اند. درسل و فرید اظهار داشتند که الگوریتم را به‌طور خاص روی ۸۰ درصد داده‌ها طراحی کرده‌اند، سپس تست خود را روی ۲۰ درصد باقی‌مانده انجام داده‌اند تا از بیش‌برازش جلوگیری کنند. گفتنی است که بیش‌برازش به زمانی‌ اطلاق می‌شود که در آن دقت الگوریتم به‌علت آشنایی بیش‌ازحد آن با داده‌ها تحت‌تاثیر قرار می‌گیرد.

زندان و مجرم

الگوریتم‌های پیش‌بینی‌

پژوهشگران نتیجه گرفتند که شاید داده‌های موردنظر به‌طور خطی قابل‌ تفکیک نباشند؛ یعنی این که الگوریتم‌های پیش‌‌بینی‌شده جدای‌ از طراحی پیچیده‌شان، روش خوب و موثری برای پیش‌بینی تکرار جنایات نیستند.

گروه پژوهشی باتوجه به آینده‌ی متهمان خاطرنشان کرد که باید در استفاده‌ از چنین الگوریتم‌هایی برای تصمیم درمورد متهمان احتیاط شود. طبق نتایج پژوهشگران، تکیه بر الگوریتم برای ارزیابی، تفاوتی با تصمیم‌گیری افراد تصادفی در ارزیابی‌های آنلاین ندارد، چراکه در پایان کار نتایج به‌دست آمده از هر دو گروه غیرقابل تمییز خواهد بود. فرید در گفتگویی اشاره می‌کند:

فرض کنید شما قاضی هستید و نرم‌افزاری تجاری در اختیار دارید که می‌گوید ما داده‌های مهمی داریم و فلان شخص خطر زیادی دارد. حال دوباره فرض را بر این بگیرید که من همین سوال را به‌صورت آنلاین از ۱۰ نفر می‌پرسم و آنها نیز همین حرف را می‌زنند. شما ممکن است این دوچیز را به‌طور متفاوتی بسنجید.

الگوریتم‌های پیش‌بینی تنها در سیستم عدالت‌کیفری مورد استفاده قرار نمی‌گیرند و ما هر روز با آنها سروکار داریم: از محصولاتی که به‌صورت آنلاین برای تبلیغ استفاده می‌شوند گرفته تا پیشنهادات برای موسیقی در سرویس‌های استریم. اما وجود یک تبلیغ در فید خبری شما عواقب کمتری نسبت‌ به تصمیم برای متهم کردن یک شخص برای یک جنایت در پی دارد.

منبع: زومیت