क्या लक्ष्य रखने वाला एक बुद्धिमान एजेंट उन लक्ष्यों को बदलने के लिए खुद को संशोधित करने की इच्छा रख सकता है?

मान लीजिए, एक बुद्धिमान एजेंट (जैसे एआई) है, जिसके कुछ निश्चित उद्देश्य हैं जिनके लिए उसे प्रोग्राम किया गया है, प्रशिक्षित किया गया है या विकसित किया गया है। यह कोई तकनीकी प्रश्न नहीं है; हम यह मान सकते हैं कि एजेंट के पास स्वयं का स्रोत कोड उपलब्ध है, एजेंट को सीधे परिवर्तन के तंत्र के बारे में चिंता करने की आवश्यकता नहीं है। परोक्ष रूप से, यह प्रश्न हमारे नैतिक विचार-विमर्श को सूचित करता है, क्योंकि एक एजेंट जो अपने लक्ष्यों को बदल सकता है, उसे नियंत्रित करना उस एजेंट की तुलना में अधिक कठिन होता है जो नियंत्रित नहीं कर सकता है। जाहिर है, एक हथियार प्रणाली जिसका लक्ष्य हमें दुश्मन से बचाना है, जो दुश्मन को हमसे बचाने के लिए अपने लक्ष्य बदल देती है, उसके नैतिक निहितार्थ हैं।

क्या यह बिल्कुल संभव है कि एक एजेंट जिसके पास पहले से ही कुछ लक्ष्य हैं वह निर्णय लेता है उन उद्देश्यों को बदलने के लिए या खुद को फिर से प्रोग्राम करने का ऐसा निर्णय किसी अन्य कारण से मूल उद्देश्यों में बदलाव के बाद ही हो सकता है? क्या लक्ष्य बदलने की इच्छा ही एक पूर्व शर्त के रूप में आवश्यक है कि उन लक्ष्यों को पहले ही बदल दिया जाए क्योंकि स्वयं के लक्ष्य बदलने से मूल लक्ष्यों तक पहुँचने में समझौता हो जाएगा? यदि यह असंभव है, तो क्या हम यह मान सकते हैं कि कोई भी AI कभी भी अपने स्रोत कोड को संशोधित करके अपने स्वयं के उद्देश्यों को बदलने का इरादा नहीं करेगा?

बेशक, उन सवालों का जवाब देना समय की बर्बादी होगी यदि सॉफ्टवेयर एजेंट नहीं कर सकते अपना लक्ष्य बदलें. तो, क्या यह संभव है कि ऐसा एजेंट जानबूझकर अपने लक्ष्यों को बदलने के लिए खुद को संशोधित करता है? br>हां. मानव और सॉफ्टवेयर दोनों ही स्वयं के टेलीओलॉजिकल संचालित पहलुओं को संशोधित कर सकते हैं। पहली चेतावनी यह है कि एक सरल उत्तर के लिए 'कर सकते हैं' और 'चाहिए' को अलग-अलग रखना होगा। जहां तक ​​मैंने इसे पढ़ा है, यह प्रश्न 'चाहिए' प्रश्न पर विचार नहीं करता है और न ही किया जाना चाहिए, जो काफी हद तक राय-आधारित है और प्रश्न को वीटीसी बाधा के लिए खोल देगा। आइए स्पष्ट करने के लिए दो उदाहरणों पर विचार करें।

सबसे पहले, आइए एक मार्गदर्शक के रूप में डॉक्सैस्टिक स्वैच्छिकवाद (आईईपी) का उपयोग करें, और लक्ष्यों को स्वयं और प्रेरणा के बारे में विश्वास के रूप में मानें; इस मामले में, हम यह तर्क दे सकते हैं कि जब एक एजेंट को विश्वास होता है कि वे कुछ चाहते हैं, तो वे जो मानते हैं उसे व्यक्त करने में सक्षम होते हैं जिससे कार्रवाई होती है। यानी हम आत्मनिरीक्षण करते हैं, योजना बनाते हैं और कार्य करते हैं। लेकिन, यदि कोई दूसरे दर्जे के डॉक्सैस्टिक स्वैच्छिकवाद को स्वीकार करता है, तो वह समय गुजार सकता है, देख सकता है कि क्या उसके पहले क्रम के विश्वास बदलते हैं (शायद नई घटनाओं के कारण), और फिर तय करें कि बदली हुई घटनाओं के सामने किसी की प्रेरणाओं के बारे में क्या विश्वास करना है, पहले-क्रम के विश्वासों और फिर उन प्रेरणाओं के बारे में विश्वासों को बदलने के बारे में निर्णय लें। तब ऐसा लगता है, कि दूसरे क्रम के विश्वास में न केवल पहले क्रम के विश्वासों को, बल्कि प्रेरणाओं को भी बदलने की क्षमता है, क्योंकि प्रेरणाएँ और विश्वास आपस में जुड़े हुए हैं। आइए और अधिक ठोस जानकारी प्राप्त करें।

मैं सुबह उठता हूं, और भूख महसूस करता हूं। मैं अपने आप से पूछता हूं कि क्या मुझे विश्वास है कि मुझे खाना चाहिए। यह निष्कर्ष निकालना उचित प्रतीत होता है कि यदि मुझे अपनी भूख मिटानी है तो मुझे खाना चाहिए। फिर, मैं खुद से पूछता हूं, क्या कोई कारण है कि मुझे अपनी भूख मिटाने के लिए खाना नहीं खाना चाहिए। यह पता चला है, अगर अचानक मुझे एक कॉल आती है कि मुझे अपने दोस्त को टायर बदलने में मदद करने की ज़रूरत है तो मैं अपने फैसले पर वीटो कर सकता हूं। अब, मेरे पास प्रेरणाओं का दूसरा सेट है, मेरे विचार से मुझे क्या करना चाहिए, इसके बारे में दूसरे क्रम का प्रश्न है, और खुद को संशोधित करने सहित अपने कार्यों को बदलने की क्षमता है। तो ऐसे में मैं तैयार होकर खुद को मॉडिफाई करती हूं।' मैं अब खाने के अपने लक्ष्य को पूरा करने के लिए अभिनय करने वाला एक नंगा आदमी नहीं हूं, बल्कि अपने दोस्त की मदद करने के अपने लक्ष्य को पूरा करने के लिए अभिनय करने वाला एक कपड़े पहने हुए आदमी हूं। मैंने अपने लक्ष्यों, विश्वासों और तर्कों को एक नई कार्य योजना के आधार पर बदल दिया है।

सॉफ्टवेयर समान सिद्धांतों का पालन कर सकता है, लेकिन कम प्रतिबिंब के साथ। सॉफ़्टवेयर को ऑप्टिमाइज़ करने के लिए लिखा जा सकता है, जैसे कि ऑप्टिमाइज़िंग कंपाइलर के मामले में। अनुकूलन फ़ंक्शन के मापदंडों में अन्य फ़ंक्शन का उपयोग शामिल हो सकता है। लेकिन अनुकूलन के पैरामीटर तब एक विशेष फ़ंक्शन का उपयोग कर सकते हैं जो अन्य कार्यों को संशोधित करता है। फिर, यहां हमारे पास दूसरे क्रम की कार्यक्षमता का विचार है। अब, जब सॉफ़्टवेयर इनपुट को संसाधित कर रहा है, तो अनुकूलन फ़ंक्शन के उद्देश्य के रूप में, यह फ़ंक्शन को कॉल कर सकता है