पिछले हफ्ते, अमेरिकी निर्वाचित प्रतिनिधि अलेक्जेंड्रिया ओकासियो-कॉर्टेज़ ने चौथे वार्षिक एमएलके नाउ इवेंट के भाग के रूप में कहा, जब चेहरे की पहचान तकनीक और एल्गोरिदम में हमेशा इन नस्लीय असमानताएं होती हैं जो अनुवादित हो जाती हैं, क्योंकि एल्गोरिदम अभी भी बने हैं। मानव द्वारा, और उन एल्गोरिदम अभी भी बुनियादी मानव मान्यताओं के लिए आंकी गई हैं। वे सिर्फ स्वचालित हैं। और स्वचालित धारणाएं - यदि आप पूर्वाग्रह को ठीक नहीं करते हैं, तो आप बस पूर्वाग्रह को स्वचालित कर रहे हैं। "
क्या इसका मतलब यह है कि एल्गोरिदम, जो सैद्धांतिक रूप से गणित के उद्देश्य सत्य पर आधारित हैं, "नस्लवादी" हो सकते हैं? और यदि हां, तो उस पूर्वाग्रह को हटाने के लिए क्या किया जा सकता है?
यह पता चलता है कि एल्गोरिदम से आउटपुट वास्तव में पक्षपाती परिणाम पैदा कर सकता है। डेटा वैज्ञानिकों का कहना है कि कंप्यूटर प्रोग्राम, न्यूरल नेटवर्क, मशीन लर्निंग एल्गोरिदम और आर्टिफिशियल इंटेलिजेंस (एआई) काम करते हैं क्योंकि वे सीखते हैं कि उन्हें दिए गए डेटा से कैसे व्यवहार करना है। सॉफ्टवेयर मनुष्यों द्वारा लिखे गए हैं, जिनके पास पूर्वाग्रह हैं, और प्रशिक्षण डेटा भी उन मनुष्यों द्वारा उत्पन्न होता है जिनके पास पूर्वाग्रह हैं।
मशीन लर्निंग के दो चरण बताते हैं कि यह पूर्वाग्रह एक स्वचालित रूप से स्वचालित प्रक्रिया में कैसे रेंग सकता है। पहले चरण में, प्रशिक्षण चरण, एक एल्गोरिथ्म डेटा के एक सेट या कुछ नियमों या प्रतिबंधों के आधार पर सीखता है। दूसरा चरण एक इंजेक्शन चरण है, जिसमें एक एल्गोरिथ्म लागू होता है जो उसने व्यवहार में सीखा है। यह दूसरा चरण एक एल्गोरिदम के पूर्वाग्रहों को प्रकट करता है। उदाहरण के लिए, यदि एक एल्गोरिथ्म केवल उन महिलाओं के चित्रों के साथ प्रशिक्षित किया जाता है जिनके लंबे बाल हैं, तो यह सोचेंगे कि छोटे बाल वाले कोई भी पुरुष है।
Google की बदनामी ने 2015 में आग में घी डाला, जब Google फ़ोटो ने गोरे लोगों को गोरिल्ला के रूप में लेबल किया, संभावना थी क्योंकि प्रशिक्षण सेट में वे केवल गहरे रंग के चमड़ी वाले प्राणी थे।
और पूर्वाग्रह कई रास्तों के माध्यम से रेंग सकते हैं। डेटा साइंस-ट्रेनिंग बूटकैंप मेटिस के एक वरिष्ठ वैज्ञानिक सोफी सेर्सी ने लाइव साइंस को बताया, "एक सामान्य गलती पूर्वाग्रहग्रस्त इंसानों के पिछले फैसलों के आधार पर भविष्यवाणियां करने के लिए एक एल्गोरिथ्म का प्रशिक्षण दे रही है।" "यदि मैं पहले ऋण अधिकारियों के एक समूह द्वारा किए गए निर्णयों को स्वचालित करने के लिए एक एल्गोरिथ्म बनाता हूं, तो मैं आसान सड़क ले सकता हूं और उन ऋण अधिकारियों से पिछले निर्णयों पर एल्गोरिथ्म को प्रशिक्षित कर सकता हूं। लेकिन, निश्चित रूप से, यदि वे ऋण अधिकारी पक्षपाती थे, तो। मैं जो एल्गोरिथ्म का निर्माण करता हूं, वह उन पूर्वाग्रहों को जारी रखेगा। ”
सार्सी ने कंपास के उदाहरण का हवाला दिया, सजा के लिए अमेरिकी आपराधिक न्याय प्रणाली में उपयोग किए जाने वाले एक पूर्वानुमान उपकरण, जो भविष्यवाणी करने की कोशिश करता है कि अपराध कहां होगा। ProPublica ने COMPAS पर एक विश्लेषण किया और पाया कि, अन्य सांख्यिकीय स्पष्टीकरणों को नियंत्रित करने के बाद, उपकरण ने काले प्रतिवादियों के लिए पुनरावृत्ति के जोखिम को कम कर दिया और लगातार सफेद प्रतिवादियों के लिए जोखिम को कम करके आंका।
एल्गोरिदमिक पूर्वाग्रहों से निपटने में मदद करने के लिए, सियरसी ने लाइव साइंस से कहा, इंजीनियरों और डेटा वैज्ञानिकों को नई समस्याओं के लिए अधिक-विविध डेटा सेट का निर्माण करना चाहिए, साथ ही मौजूदा डेटा सेटों में निर्मित पूर्वाग्रह को समझने और कम करने की कोशिश करनी चाहिए।
सबसे पहले और सबसे महत्वपूर्ण, इरा कोहेन, जो भविष्य कहनेवाला एनालिटिक्स कंपनी Anodot के एक डेटा वैज्ञानिक हैं, इंजीनियरों को सभी जनसंख्या प्रकारों के अपेक्षाकृत समान प्रतिनिधित्व के साथ एक प्रशिक्षण सेट होना चाहिए, यदि वे जातीय या लिंग विशेषताओं की पहचान करने के लिए एक एल्गोरिथ्म का प्रशिक्षण दे रहे हैं। कोहेन ने लाइव साइंस को बताया, "प्रत्येक जनसंख्या समूह से पर्याप्त उदाहरणों का प्रतिनिधित्व करना महत्वपूर्ण है, भले ही वे समग्र आबादी में अल्पसंख्यक हों।" अंत में, कोहेन एक परीक्षण सेट पर पक्षपात की जाँच करने की सिफारिश करता है जिसमें इन सभी समूहों के लोग शामिल हैं। "अगर एक निश्चित दौड़ के लिए, सटीकता अन्य श्रेणियों की तुलना में सांख्यिकीय रूप से काफी कम है, तो एल्गोरिथ्म में पूर्वाग्रह हो सकता है, और मैं इसके लिए इस्तेमाल किए गए प्रशिक्षण डेटा का मूल्यांकन करूंगा," कोहेन ने लाइवसाइंस को बताया। उदाहरण के लिए, यदि एल्गोरिथम 1,000 सफेद चेहरों में से 900 को सही ढंग से पहचान सकता है, लेकिन 1,000 एशियाई चेहरों में से केवल 600 का ही पता लगाता है, तो एल्गोरिथ्म में "एशियाई, कोहेन" के खिलाफ पूर्वाग्रह हो सकता है।
पूर्वाग्रह को हटाना AI के लिए अविश्वसनीय रूप से चुनौतीपूर्ण हो सकता है।
यहां तक कि Google, वाणिज्यिक AI में एक अग्रदूत माना जाता है, जाहिरा तौर पर 2015 से अपनी गोरिल्ला समस्या के लिए एक व्यापक समाधान के साथ नहीं आ सका। वायर्ड ने पाया कि इसके एल्गोरिदम के लिए रंग और गोरिल्ला के लोगों के बीच अंतर करने के लिए एक रास्ता खोजने के बजाय, Google ने इसे अवरुद्ध कर दिया। गोरिल्ला की पहचान करने से इसकी छवि-मान्यता एल्गोरिदम बिल्कुल भी नहीं।
Google का उदाहरण एक अच्छा अनुस्मारक है कि AI सॉफ़्टवेयर को प्रशिक्षित करना एक कठिन अभ्यास हो सकता है, खासकर जब सॉफ्टवेयर को किसी प्रतिनिधि और विविध लोगों के समूह द्वारा परीक्षण या प्रशिक्षित नहीं किया जाता है।
