इतनी सारी समस्याएँ रैखिक क्यों हैं और कोई अरैखिक समस्याओं को कैसे हल करेगा?

मैं इस सेमेस्टर में पायथन कक्षा में गहन शिक्षा ले रहा हूं और हम रैखिक बीजगणित कर रहे हैं।

पिछले व्याख्यान में हमने ग्रेडिएंट डिसेंट के साथ रैखिक प्रतिगमन का "आविष्कार" किया था (पहले व्याख्यान को कम से कम वर्गित किया था) जहां हमने परिभाषित करने के बारे में बात की थी परिकल्पनाएं, हानि फलन, लागत फलन, आदि। कर सकना कम से कम वर्ग या तटस्थ नेटवर्क को प्रशिक्षित करने जैसी चीज़ों द्वारा किया जा सकता है।

वास्तविक दुनिया में, अधिकांश समस्याएं रैखिक नहीं होती हैं।

कोई उन समस्याओं से कैसे निपटेगा, क्योंकि रैखिक बीजगणित केवल रैखिक पर लागू होता है फ़ंक्शन?

@EdM, निःसंदेह, सही है। और वे परिवर्तन बहुत, बहुत लचीले हैं।

लेकिन चलिए एक बहुत ही सरल मामला लेते हैं। एक स्वतंत्र चर, एक आश्रित। और फिट के लिए एक सीधी रेखा (कोई परिवर्तन नहीं)।

सबसे पहले, यह उन मामलों के बीच एक द्वंद्व नहीं है जहां यह फिट बैठता है और जहां यह फिट नहीं होता है। कभी-कभी, यह सरल सीधी रेखा डेटा के लिए बहुत उपयुक्त होती है; भौतिक विज्ञान की बहुत सी समस्याएँ ऐसी ही हैं। कभी-कभी यह सीधी रेखा बहुत बुरी तरह फिट बैठती है: कोई भी ऐसी चीज़ लें जो साइनसॉइडल हो, बस एक मामले के रूप में। यदि $y = \sin x$ तो एक सीधी रेखा बिल्कुल भी काम नहीं करेगी।

अधिकतर, हालांकि, यह एक तरह से ठीक ही है। याद रखें, जैसा कि जॉर्ज बॉक्स ने कहा था, "सभी मॉडल गलत हैं, लेकिन कुछ उपयोगी हैं।" यहां तक ​​कि उन भौतिकी समस्याओं में भी सीधी रेखा कुछ मुद्दों (जैसे घर्षण, वायु प्रतिरोध, जो भी हो) को नजरअंदाज कर देगी। अन्य मामलों में, मॉडल में बहुत सारी त्रुटियां होंगी, और अधिक जटिल मॉडल के साथ बेहतर फिट प्राप्त किया जाएगा।

डेटा विश्लेषण की बहुत सारी कला और विज्ञान यह पता लगा रहे हैं कि कितनी जटिलता है लायक है"। क्या हमें परिवर्तन का मॉडल तैयार करना चाहिए? यदि हां, तो बस एक द्विघात? या एक तख़्ता? शायद एक भिन्नात्मक बहुपद. शायद हमें नियंत्रण चर की आवश्यकता है। मॉडरेटर. मध्यस्थ। आदि।

या शायद सीधी रेखा ही काफी है।

मेरे विचार में, यह पूरी तरह से सांख्यिकीय प्रश्न नहीं है। हमें संदर्भ पर विचार करना होगा. फिर से, मेरे लिए, यही वह चीज़ है जिसने एक सांख्यिकीय सलाहकार बनना मज़ेदार बना दिया है।

जहां तक ​​बात है कि कोई ऐसी समस्याओं से कैसे निपटता है, तो मैं जो करता हूं वह यह पता लगाने की कोशिश करता हूं कि क्या समझ में आता है। कंप्यूटर इस खेल को आसान बनाते हैं। लेकिन मैं सावधान रहने की कोशिश करता हूं कि डेटा को बहुत अधिक परेशान न करें - और इससे बचने के तरीके भी हैं।

सबसे पहले, रैखिक प्रतिगमन केवल अपने गुणांक में रैखिक है, चर में नहीं, इसलिए आप बिल्कुल एक द्विघात को इस प्रकार फिट किया जा सकता है

$$y_i = \beta_0+\beta_1x_{i}+\beta_2x^2_i + e_i$$

कि हम किसी भी चीज़ का अनुमान लगा सकते हैं बहुपद वास्तव में टेलर के प्रमेय का परिणाम है, और अक्सर रैखिक या द्विघात हमारे उद्देश्यों के लिए काफी अच्छा होता है, वे पर्याप्त रूप से अच्छे सन्निकटन होते हैं।

अर्थशास्त्र का मामला लें जहां रैखिक प्रतिगमन का पर्याप्त उपयोग होता है। यहां, अक्सर, प्रश्न सहसंबंध को कार्य-कारण से अलग करने का है (सटीकता के साथ भविष्यवाणी करने के बजाय)। इस संदर्भ में हमें यह जानने की आवश्यकता है कि क्या X में परिवर्तन से कुछ कम अंतराल में y में कुछ महत्वपूर्ण परिवर्तन होता है, जिससे हम एक सीधी रेखा के साथ (स्पष्ट रूप से) निरंतर फ़ंक्शन का आसानी से अनुमान लगा सकते हैं।

आप आप सही हैं: यह बिल्कुल एक धारणा है कि दुनिया इतनी सरल है कि इसे रेखाओं, विमानों और हाइपरप्लेन के साथ मॉडल किया जा सकता है। लेकिन, स्टोन-वीयरस्ट्रास प्रमेय का कहना है कि, तकनीकी बातों को छोड़कर, सभ्य कार्य कर सकते हैं। बहुपदों द्वारा मनमाने ढंग से अच्छी तरह से अनुमान लगाया जा सकता है। यदि आप रैखिक बीजगणित में काफी आगे बढ़ गए हैं, तो आप जानते हैं कि जटिल बहुपद जैसे $wxz-x^7y^9-wz^2+9w^5x^3yz^8$ को आधार के रैखिक संयोजन के रूप में देखा जा सकता है एक सदिश समष्टि के तत्व. यह उस बहुपद को आधार तत्वों के वेक्टर और भार के वेक्टर के बिंदु उत्पाद के रूप में व्यक्त करने का एक तरीका देता है। कई डेटा बिंदुओं पर, यह रैखिक प्रतिगमन से परिचित $X\beta$ बन जाता है।

यह बहुपद तक सीमित नहीं है। फ़ंक्शन का कोई रैखिक संयोजन (भारित योग/अंतर)।