Метод найменших квадратів: адекватність рішень задачі лінійної регресії за наявності мультиколінеарності і без неї
Тижненко О. Г., Рєзнік Є. В.

Tyzhnenko, Alexander G., and Ryeznik, Yevgen V. (2019) “Ordinary Least Squares: the Adequacy of Linear Regression Solutions under Multicollinearity and without it.” The Problems of Economy 1:217–227.
https://doi.org/10.32983/2222-0712-2019-1-217-227

Розділ: Математичні методи та моделі в економіці

УДК 330.43 (075.8)

Анотація:
Статтю присвячено проблемі економічної адекватності рішення задачі лінійної регресії методом найменших квадратів (МНК). Використано таке означення адекватності: рішення задачі регресії вважається адекватним, якщо воно не тільки має коректні знаки, а й вірно відображає взаємовідношення між коефіцієнтами регресії в генеральній сукупності (ГС). Якщо при цьому коефіцієнт детермінації більший за 0.8, рішення вважається економічно адекватним. Як показник адекватності рішення задачі регресії запропоновано використати 10 %-ний рівень коефіцієнта варіабельності коефіцієнтів регресії. Показано, що МНК рішення можуть бути не адекватними рішенню в ГС, хоча бути фізично коректними (з вірними знаками) і статистично значущими. Зазначений результат був отриманим за допомогою алгоритму штучної генеральної сукупності (artificial data population – ADP). ADP дозволяє генерувати вибірки будь-якого розміру з відомими коефіцієнтами регресії в ГС, які можуть бути розрахованими за допомогою МНК рішення для дуже великої вибірки. Алгоритм ADP дозволяє зміняти регулярну компоненту впливу регресора на відгук. Крім цього, випадкова складова регресорів в ADP розділена на дві частини. Перша частина когерентна змінам відгуку, а друга є повністю випадковою (некогерентною). Саме це дозволяє змінювати рівень майже-колінеарності за допомогою зміни дисперсії некогерентного шуму в регресорах. Дослідження за допомогою ADP показали, що з високою ймовірністю МНК рішення можуть бути фізично некоректними при розмірі вибірки (n) менших, ніж 23; фізично коректними, але не адекватними при 23 < n < 400; адекватними при n > 400. Зазначено, що виключення сильно корелюючих регресорів, якщо це невиправдано з економічної точки зору, а диктується тільки необхідністю зменшити VIF-фактор, може привести до результатів, далеких від реальності. У зв’язку з цим зазначено, що використання модифікованого МНК (ММНК) взагалі звільняє від необхідності виключення сильно корелюючих регресорів, оскільки точність ММНК тільки зростає зі зростанням VIF-фактора.

Ключові слова: мультиколінеарність, МНК, моделювання даних, штучна генеральна сукупність, фізична коректність, адекватність.

Табл.: 3. Формул: 5. Бібл.: 29.

Тижненко Олександр Григорович – кандидат фізико-математичних наук, доцент, доцент, кафедра вищої математики та економіко-математичних методів, Харківський національний економічний університет імені Семена Кузнеця (пр. Науки, 9а, Харків, 61166, Україна)
Email: olersandr.tyzhnenko@m.hneu.edu.ua
Рєзнік Євген Володимирович – кандидат фізико-математичних наук, викладач, кафедра математики, Уппсальський університет (Легєрхюддсвегєн 1, кор. 1, 6 і 7, Уппсала, 75106, Швеція)
Email: yevgen.ryeznik@math.uu.se

Список використаних у статті джерел

Tyzhnenko A. G. A new stable solution to the linear regression problem under multicollinearity. Economics of Development. 2018. Vol. 2 (86). P. 89–99. URL: http://www.ed.ksue.edu.ua/ER/knt/ee182_86/e182tyz.pdf
Seber G.A.F. Linear Regression Analysis. NY : Wiley-Blackwell, 1977. 456 p.
Seber G.A.F., Lee A. J. Linear Regression Analysis, 2nd edition. NY : Wiley, 2003. 341 p.
Spanos A. Probability Theory and Statistical Inference: econometric modeling with observational data. Cambridge : Cambridge University Press, 1999. 401 p.
Gujarati D. N. Basic econometrics. NY : McGraw-Hill, 2002. 526 p.
Wooldridge J. M. Introductory Econometrics: Modern Approach, 5th ed. Ohio : South-Western, 2009. 633 p.
Baltagi B. Econometrics. NY : Springer, 2011. 812 p.
Greene W. H. Econometric Analysis, 7th ed. NY : Pearson. 2012. 1211 p.
Draper N., Smith H. Applied Regression Analysis. NY : Wiley, 1966. 445 p.
Farrar D., Glauber R. Multicollinearity in Regression Analysis: The problem revisited. Review of Economics and Statistics. 1967. Vol. 49. P. 92–107.
Hoerl A. E., Kennard R. W. Ridge regression: Biased estimation for nonorthogonal problems. Technometrics. 1970. No. 12 (1). P. 55–67.
Marquardt D. V. Generalized Inverses, Ridge Regression, Biased Linear Estimation, and Nonlinear Estimation. Technometrics. 1970. No. 12. P. 591–612.
Blanchard O. J. Comment. Journal of Business and Economic Statistics. 1987. No. 5. P. 449–51.
Adkins L. C., Hill R. C. Collinearity. Companion in Theoretical Econometrics, edited by Badi Baltagi. Oxford : Blackwell Publishers, Ltd., 2001. Р. 256–278.
Belsley D. A., Kun E., Welsh R. T. Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. NY : Wiley, 2004. P. 651.
Belsley D. A. Demeaning conditioning diagnostics through centering. The American Statistician. 1984. Vol. 38 (2). P. 73–77.
Rao C., Toutenberg H. Linear Models: Least Squares and Alternatives, 2nd ed. NY : Springer, 1999. P. 301.
Spanos A., McGuirk A. The Problem of Near-Multicollinearity Revisited: erratic vs. systematic volatility. Journal of Econometrics. 2002. Vol. 108. P. 365–393.
Adkins L. C., Waters M. S., Hill R. C. Collinearity Diagnostics in gretl // Economics Working Paper Series 1506. Oklahoma : Oklahoma State University, Department of Economics and Legal Studies in Business, 2015. 452 p.
Tikhonov A. N. On the stability of inverse problems // Doklady Acad. Sci. USSR. 1943. Vol. 39. P. 176–179.
Tikhonov A. N., Arsenin, V. Y. Solutions of Ill-Posed Problems. NY : Winston & Sons, 1977. 287 p.
Kabanichin S. I. Definitions and Examples of Inverse and Ill-posed Problems. J. Inv. Ill-Posed Problems. 2008. Vol. 16. P. 317–357.
Harvey A. C. Some Comments on Multicollinearity in Regression. Applied Statistics. 1977. Vol. 26 (2). P. 188–191.
Kutner, M. H., Nachtsheim C. J., Neter J. Applied Linear Regression Models. NY : McGraw-Hill / Irwin, 2004. P. 701.
Sheather S. J. A modern approach to regression with R. NY : Springer, 2009. P. 393.
Moore D. S., Notz W. I., Flinger M. A. The basic practice of statistics. NY : W. H. Freeman and Company, 2013. P. 138.
Dougherty C. Introduction to Econometrics. NY : Oxford University Press, 1992. 402 p.
Maddalla G. S. Introduction to Economics. NY : Macmillan, 1992. 396 p.
Kennedy P. E. Oh no! I got the wrong sign! What should I do? The Journal of Economic Education. 2005. Vol. 36. No. 1. Р. 77–92.