สถิติทดสอบเพื่อคัดเลือกตัวแบบการถดถอยเชิงเส้นพหุคูณ
Test Statistics for Selecting Multiple Linear Regression Models
Keywords:
การคัดเลือกตัวแบบ , เกณฑ์ซีพี , เกณฑ์เอไอซี , สถิติทดสอบเอฟบางส่วนAbstract
งานวิจัยนี้ได้เสนอสถิติทดสอบเพื่อการคัดเลือกตัวแบบการถดถอยเชิงเส้นพหุคูณ โดยสร้างสถิติทดสอบจากเกณฑ์ซีพี และเกณฑ์เอไอซี สถิติทดสอบที่สร้างขึ้นนี้เรียกว่าสถิติทดสอบซีพี และสถิติทดสอบเอไอซี ตามลำดับ การคัดเลือกตัวแบบใช้วิธีการกำจัดตัวแปรแบบถอยหลัง โดยใช้เกณฑ์ซีพี เกณฑ์เอไอซี สถิติทดสอบซีพี สถิติทดสอบเอไอซี และสถิติทดสอบเอฟบางส่วน การศึกษา ได้ใช้วิธีการเปรียบเทียบเกณฑ์และสถิติทดสอบทั้ง 5 โดยวิธีการจำลองข้อมูล และพิจารณาร้อยละของจำนวนครั้งที่คัดเลือกตัวแบบได้ถูกต้อง พบว่าเมื่อขนาดตัวอย่างเท่ากับ 10 15 และ 20 สถิติทดสอบเอฟบางส่วน คัดเลือกตัวแบบได้ถูกต้องมากกว่าเกณฑ์และสถิติทดสอบอื่น เมื่อขนาดตัวอย่างเท่ากับ 25 และ 30 สถิติทดสอบซีพี สถิติทดสอบเอไอซี และสถิติทดสอบเอฟบางส่วนคัดเลือกตัวแบบได้ถูกต้องใกล้เคียงกันและคัดเลือกตัวแบบได้ถูกต้องมากกว่าเกณฑ์อื่น และเมื่อขนาดตัวอย่างเท่ากับ 50 100 และ 150 สถิติทดสอบซีพี และสถิติทดสอบเอไอซี คัดเลือกตัวแบบได้ถูกต้องใกล้เคียงกันและคัดเลือกตัวแบบได้ถูกต้องมากกว่าเกณฑ์และสถิติทดสอบอื่น และสถิติทดสอบซีพี ได้ตัวแบบ Over-fit น้อยกว่าสถิติทดสอบเอไอซ This research has proposed test statistics for model selection in multiple linear regressions. The test statistics created by CP and AIC criteria are called CP-test and AIC-test statistics respectively. Model selection is conducted by backward elimination method using CP, AIC criteria and CP-test, AIC-test and Partial F-test statistics. Verification of making correct model selection under the five criteria based on the percent correctness is achieved through simulation technique. The results indicate that the Partial F-test statistic gives greater correct model selection than other criteria and test statistics when sample sizes equal to 10, 15 and 20. In sample sizes equal to 25 and 30, three of the CP-test, the AIC-test and the Partial F-test statistics give similar correct percentage which is greater than other criteria. For sample sizes equal to 50, 100 and 150, the CP-test and the AIC-test statistics give similar correct percentage which is greater than other criteria and test statistics, and the CP-test is less likely to yield an over-fit model than the AIC-test.References
ทรงศิริ แต้สมบัติ. (2548). การวิเคราะห์การถดถอย. (พิมพ์ครั้งที่ 3). กรุงเทพฯ : มหาวิทยาลัยเกษตรศาสตร์.
รจนา คุณเจริญจิต. (2549). การเปรียบเทียบเกณฑ์การคัดเลือกตัวแบบในการวิเคราะห์การถดถอยเชิงเส้นพหุคูณ. วิทยานิพนธ์วิทยาศาสตรมหาบัณฑิต คณะวิทยาศาสตร์และเทคโนโลยี มหาวิทยาลัยธรรมศาสตร์.
Akaike, H. (1973). Information Theory and an Extension of the Maximum Likelihood Principle. In 2nd International Symposium on Information Theory. B.N. Petrov and F. Csaki, eds. Akademiai Kiado, Budapest, 267-281.
Canal, L. (2005). A Normal Approximation for the Chi-square Distribution. Computational Statistics & Data Analysis, 48, 803-808.
Hurvich, C.M., & Tsai, C.L. (1989). Regression and Time Series Model Selection in Small Sample. Biometrika Trust, 76(2), 297-307.
Mallows, C.L. (1973). Some Comments on CP. Techno-metrics, 15(4), 661-675.
McQuarrie, A., Robert, S., & Tsai, C.L. (1997). The Model Selection Criterion AICu. Statistics and Probability Letters, 34, 285-292.
McQuarrie, A.D.R., & Tsai, C.L. (1998). Regression and Time Series Model Selection. Singapore: World Scientific.
Montgomery, D.C., Peak, E.A., & Vining, G.G. (2006). Introduction to Linear Regression Analysis. (4th ed). New York: Wiley.
Sheather, S.J. (2009). A Modern Approach to Regression with R. New York: Springer.
