Phương pháp bình phương nhỏ nhất là gì

Ước lượng các tham số của mô hình:

Giải bài toán cực trị hàm hai biến , ta được:

Với

Các giả thiết của OLS:

Giả thiết 1 : Quan hệ giữa Y và X là tuyến tính Các giá trị Xi cho trước và không ngẫu nhiên.

Giả thiết 2 : Các sai số Ui là đại lượng ngẫu nhiên có giá trị trung bình bằng 0.

Giả thiết 3 : Các sai số Ui là đại lượng ngẫu nhiên có phương sai không thay đổi.

Giả thiết 4 : Không có sự tương quan giữa các Ui.

Giả thiết 5 : Không có sự tương quan giữa Ui và Xi.

Định lý Guass – Markov: Khi các giả thiết này được đảm bảo thì các ước lượng tính được bằng phương pháp OLS là các ước lượng tuyến tính không chệch, hiệu quả nhất của hàm hồi quy tổng thể.

Giả thiết 6 : các sai số Ui có phân phối chuẩn

Hệ số xác định của mô hình:

Tổng bình phương toàn phần TSS (Total Sum of Squares):

Tổng bình phương hồi quy ESS (Explained Sum of Squares):

Tổng bình phương phần dư RSS (Residual Sum of Squares):

Ta có: 

Hệ số xác định:

Lưu ý: 

R2 = 1: Mô hình phù hợp hoàn toàn với mẫu nghiên cứu: 

R2 = 0: Mô hình hoàn toàn không phù hợp với mẫu nghiên cứu

Quantri.vn- Biên tập và hệ thống hóa

Bình phương nhỏ nhất, phương pháp (least squares) là khái niệm chung để chỉ một nhóm các phương pháp kinh tế lượng phục vụ cho việc ước lượng tham số trong phương trình hồi quy. Nói chung, mục đích của phương pháp bình phương nhỏ nhất là tối thiểu hoá tổng bình phương của các khoảng cách theo phương thẳng đứng giữa số liệu thu thập được và đường hồi quy.

Phương pháp bình phương nhỏ nhất là một trong những ứng dụng quan trọng nhất trong tiennghich.mobiệc tính gần đúng các hàm. Ý tưởng là tìm một đường cong sao cho, đưa ra một tập hợp các cặp theo thứ tự, hàm này xấp xỉ tốt hơn dữ liệu. Hàm có thể là đường thẳng, đường cong bậc hai, đường cong hình khối, v.v..

Bạn đang xem: Phương pháp bình phương tối thiểu (least squares method) là gì? đặc điểm và ví dụ

Ý tưởng của phương pháp là tối thiểu hóa tổng bình phương của sự khác biệt trong tọa độ (thành phần Y), giữa các điểm được tạo bởi hàm đã chọn và các điểm thuộc tập dữ liệu.

Chỉ số

Phương pháp bình phương tối thiểu

Trước khi đưa ra phương pháp, trước tiên chúng ta phải rõ ràng về "cách tiếp cận tốt hơn" nghĩa là gì. Giả sử rằng chúng ta tìm kiếm một dòng y = b + mx đại diện tốt nhất cho một tập hợp n điểm, cụ thể là (x1, y1), (x2, y2) ..., (xn, yn).

Như được hiển thị trong hình trước, nếu các biến x và y có liên quan bởi dòng y = b + mx, thì với x = x1, giá trị tương ứng của y sẽ là b + mx1. Tuy nhiên, giá trị này khác với giá trị thực của y, đó là y = y1.

Nhớ lại rằng trong mặt phẳng, khoảng cách giữa hai điểm được cho theo công thức sau:

Với suy nghĩ này, để xác định cách chọn dòng y = b + mx gần đúng nhất với dữ liệu đã cho, nên sử dụng lựa chọn dòng tối thiểu hóa tổng bình phương của khoảng cách giữa các điểm làm tiêu chí và thẳng.

Vì khoảng cách giữa các điểm (x1, y1) và (x1, b + mx1) là y1- (b + mx1), nên vấn đề của chúng tôi được giảm xuống là tìm các số m và b sao cho tổng sau là tối thiểu:

Dòng đáp ứng điều kiện này được gọi là "xấp xỉ đường bình phương nhỏ nhất với các điểm (x1, y1), (x2, y2), ..., (xn, yn)".

Khi vấn đề được giải quyết, chúng ta chỉ cần chọn một phương pháp để tìm xấp xỉ bình phương nhỏ nhất. Nếu các điểm (x1, y1), (x2, y2), ..., (xn, yn) đều nằm trên dòng y = mx + b, chúng ta sẽ phải được cộng tuyến và:

Trong biểu thức này:

Cuối cùng, nếu các điểm không thẳng hàng, thì y-Au = 0 và vấn đề có thể được chuyển thành tìm một vectơ hoặc sao cho chỉ tiêu Euclide là tối thiểu.

Tìm vectơ thu nhỏ không khó như bạn tưởng. Vì A là ma trận nx2 và u là ma trận 2 × 1, nên ta có vectơ Au là vectơ trong Rn và nó thuộc về hình ảnh của A, là không gian con của Rn với kích thước không lớn hơn hai.

Chúng tôi sẽ giả sử rằng n = 3 để chỉ ra quy trình nào cần được tuân theo. Nếu n = 3, ảnh của A sẽ là mặt phẳng hoặc đường thẳng đi qua gốc tọa độ.

Đặt v là vectơ thu nhỏ. Trong hình chúng ta quan sát thấy y-Au được thu nhỏ khi nó trực giao với ảnh của A. Nghĩa là, nếu v là vectơ thu nhỏ, thì điều đó xảy ra:

Sau đó, chúng ta có thể diễn đạt những điều trên theo cách này:

Điều này chỉ có thể xảy ra nếu:

Cuối cùng, xóa v, chúng ta phải:

Có thể làm điều này vì AtA không thể đảo ngược miễn là n điểm được cung cấp dưới dạng dữ liệu không được cộng tuyến.

Xem thêm: Top 10 Bộ Phim Viễn Tưởng Hay Nhất Mọi Thời Đại Bạn Nên Xem, Top 20 Phim Khoa Học Viễn Tưởng Hay

Bây giờ, nếu thay vì tìm kiếm một dòng, chúng tôi muốn tìm một parabol (biểu thức của nó sẽ có dạng y = a + bx + cx2) đó là một xấp xỉ tốt hơn với n điểm dữ liệu, quy trình sẽ được mô tả dưới đây.

Nếu n điểm dữ liệu nằm trong parabola đã nói, thì nó sẽ phải:

Sau đó:

Theo cách tương tự chúng ta có thể tiennghich.mobiết y = Au. Nếu tất cả các điểm không nằm trong parabol, chúng ta có y-Au khác 0 đối với bất kỳ vectơ u nào và vấn đề của chúng ta lại là: tìm một vectơ u trong R3 sao cho định mức của nó | | y-Au | | càng nhỏ càng tốt.

Bằng cách lặp lại quy trình trước đó, chúng ta có thể đến vectơ được tìm kiếm:

Bài tập đã giải quyết

Bài tập 1

Tìm dòng phù hợp nhất với các điểm (1,4), (-2,5), (3, -1) và (4,1).

Chúng tôi phải:

Sau đó:

Do đó, chúng tôi kết luận rằng dòng phù hợp nhất với các điểm được đưa ra bởi:

Bài tập 2

Giả sử rằng một vật thể được thả từ độ cao 200 m. Trong khi ngã, các biện pháp sau đây được thực hiện:

Chúng ta biết rằng chiều cao của vật thể nói, sau khi đã qua một thời gian t, được đưa ra bởi:

Nếu chúng ta muốn đạt được giá trị của g, chúng ta có thể tìm thấy một parabol gần đúng hơn với năm điểm được đưa ra trong bảng, và do đó chúng ta sẽ có hệ số đi kèm với t2 nó sẽ là một xấp xỉ hợp lý với (-1/2) g nếu các phép đo là chính xác.

Chúng tôi phải:

Và sau đó:

Vì vậy, các điểm dữ liệu được điều chỉnh theo biểu thức bậc hai sau:

Sau đó, bạn phải:

Đây là một giá trị gần hợp lý với giá trị chính xác, g = 9,81 m / s2. Để có được xấp xỉ chính xác hơn g, cần phải bắt đầu từ những quan sát chính xác hơn.

Nó dùng để làm gì??

Trong các vấn đề xảy ra trong khoa học tự nhiên hoặc xã hội, thật thuận tiện để tiennghich.mobiết các mối quan hệ xảy ra giữa các biến khác nhau bằng một số biểu thức toán học.

Ví dụ: chúng ta có thể liên quan đến chi phí (C), thu nhập (I) và lợi nhuận (U) trong kinh tế bằng một công thức đơn giản:

Trong vật lý, chúng ta có thể liên quan đến gia tốc gây ra bởi trọng lực, thời gian một vật thể rơi xuống và chiều cao của vật thể theo luật:

Trong biểu thức trước so là chiều cao ban đầu của vật thể đó và vo là tốc độ ban đầu của bạn.

Tuy nhiên, tìm công thức như thế này không phải là một nhiệm vụ đơn giản; thông thường, tùy thuộc vào chuyên môn khi làm tiennghich.mobiệc với nhiều dữ liệu và liên tục thực hiện một số thử nghiệm (để xác minh rằng kết quả thu được là không đổi) để tìm mối quan hệ giữa các dữ liệu khác nhau.

Một cách phổ biến để đạt được điều này là biểu diễn dữ liệu thu được trong một mặt phẳng dưới dạng các điểm và tìm kiếm một hàm liên tục tiếp cận tối ưu các điểm này.

Một trong những cách để tìm hàm "gần đúng nhất" dữ liệu đã cho là bằng phương pháp bình phương nhỏ nhất.

Ngoài ra, như chúng ta đã thấy trong bài tập, nhờ phương pháp này, chúng ta có thể có được xấp xỉ khá gần với hằng số vật lý.

Tài liệu tham khảo