Kiểm định giả thuyết thống kê theo phương pháp bayes

Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 24 CHƯƠNG II KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ THEO PHƯƠNG PHÁP BAYES 2.1 Kiểm định giả thuyết 2.1.1 Kiểm định giả thuyết truyền thống Hầu hết những bài toán trong kiểm định giả thuyết xuất hiện thì tuân theo hình thức chung. Có một tham số chưa biết ,θ θ ∈Θ , và chúng ta phải kiểm định xem 0θ ∈Θ hay 1θ ∈Θ trong đó 0 1 0 1,Θ ∪Θ = Θ Θ ∩Θ =∅ Thường thì chúng ta có thể thực hiện quan trắc 1 2, ,..., Nx x x của hàm mật độ p(x⎢θ) phụ thuộc tham số θ. Nó biểu diễn tập hợp tất cả những quan trắc ( )1 2, ,..., Nx x x x= bởiX . Trong ngôn ngữ thống kê truyền thống, ta qui ước : 0 0:H θ ∈Θ : giả thuyết không. và 1 1:H θ ∈Θ : đối thuyết. Nếu bác bỏ 0H khi 0H đúng thì ta gọi là sai lầm loại I. Nếu không bác bỏ 0H khi 0H sai thì ta gọi là sai lầm loại II. Một kiểm định được quyết định bởi miền bác bỏ R, trong đó { }0/R x x H= ∈ Thống kê truyền thống cho rằng sự quyết định giữa những kiểm định nên dựa Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 25 trên xác suất mắc sai lầm loại I đó là : ( )/p R θ với 0θ ∈Θ . và xác suất mắc sai lầm loại II là : ( )1 /p R θ− với 1θ ∈Θ . Xác suất mắc sai lầm loại I nhỏ thì xác suất mắc sai lầm loại II sẽ lớn hơn và ngược lại. Vì vậy, thống kê truyền thống đề nghị chọn tập R, trong đó biểu diễn một số ý nghĩa sự cân bằng tối ưu giữa hai loại sai lầm, thường thì R được chọn để xác suất xảy ra sai lầm loại II là nhỏ đến mức có thể được. Với điều kiện xác suất mắc sai lầm loại I phải luôn nhỏ hơn hoặc bằng một số giá trị α cố định cho trước như là cỡ mẫu của kiểm định. Theo thuyết này được thực hiện trên qui mô lớn nhờ công của Neyman - Pearson, nó được tìm thấy hầu hết những cuốn sách thống kê và được dựa trên hình thức đầy đủ nhất của Lemann(1986). 2.1.2 Vấn đề của phương pháp truyền thống Những điểm khác sẽ được thực hiện sau sự so sánh giữa phương pháp truyền thống và phương pháp Bayes, một số điều đáng chú ý là tại lúc tiếp cận ban đầu trong phương pháp truyền thống chúng ta xem xét xác suất (những giá trị khác nhau của θ) của tập R ở đó vectơ x của quan trắc có thể thuộc hoặc không thuộc tập R. Kết quả là ta không chỉ đề cập với vectơ đơn của những quan trắc chúng ta đã làm mà còn với những vectơ khác chúng ta có thể làm nhưng đã không thực hiện. Do đó, phương pháp truyền thống, nếu chúng ta giả sử ~ (0,1)x N và ta muốn kiểm định giả thuyết 0 : 0H θ = hay đối thuyết 1 : 0H θ > là đúng, rồi chúng ta bác bỏ 0H trên cơ sở một quan trắc đơn x = 3 bởi vì xác suất biến ngẫu nhiên Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 26 chuẩn tắc (0,1)N là 3 hoặc lớn hơn là 0,001350. Qua đó đương nhiên chúng ta không thực hiện một quan trắc lớn hơn 3. Theo cách này của phương pháp truyền thống Jeffreys nhận xét rằng: “ Sử dụng cái bao hàm P, vậy thì giả thuyết đó có thể đúng cũng có thể bị bác bỏ, bởi vì nó không dự đoán được kết quả quan trắc không xãy ra.” Tuy nhiên, cần lưu ý trong trường hợp giả định của những quan trắc biến đơn vị có phân phối chuẩn, cấu tạo của mẫu phụ thuộc vào giả định toàn bộ các phân phối của mọi quan trắc có thể xảy ra. 2.1.3 Phương pháp Bayes Phương pháp Bayes là một trong nhiều cách dễ hiểu. Chúng ta cần làm những tính toán xác suất hậu nghiệm : ( ) ( )0 0 1 1/ , /p P x p P xθ θ= ∈Θ = ∈Θ Và quyết định giữa 0H và 1H một cách phù hợp. (chúng ta cần chú ý 0 1 1p p+ = khi 0 1Θ = Θ ∪Θ và 0 1Θ ∩Θ =∅ ). Không những xác suất hậu nghiệm của giả thuyết là mục tiêu tốt nhất của chúng ta mà chúng ta còn cần xác suất tiên nghiệm. ( ) ( )0 0 1 1,P Pπ θ π θ= ∈Θ = ∈Θ chú ý rằng 0 1 1π π+ = khi và chỉ khi 0 1 1p p+ = . Xác suất tiên nghiệm thì rất hữu dụng trong việc quan sát tỉ lệ của 0H với 1H , đó là: 0 1π π và phần chênh lệch trên 0H đối với 1H là : Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 27 0 1p p Theo như quan sát, nếu sự chênh lệch tiên nghiệm tiến tới 1 thì ta nhận được 0H càng lớn hơn hay nhỏ hơn tiên nghiệm 1H , trong khi, nếu tỉ số là lớn ta nhận 0H một cách tương đối hợp lẽ và khi tỉ số là nhỏ thì nhận 0H một cách tương đối không hợp lẽ. Áp dụng tương tự đối với sự chênh lệch hậu nghiệm. Tỉ số trên thật sự hữu ích để định nghĩa hệ số Bayes B của 0H đối với 1H là: ( ) ( )0 1 0 10 1 1 0 / / p p pB p π π π π= = Tầm quan trọng của hệ số Bayes là có thể làm sáng tỏ được mức chênh lệch của 0H đối với 1H khi dữ liệu đã được cho trước. Nó là trị giá được biểu diễn bởi ( ) ( )0 1 0 1/ /p p B π π= và 1 01p p= − . Chúng ta có thể tìm xác suất hậu nghiệm 0p của 0H từ xác suất tiên nghiệm và từ hệ số Bayes: ( ) ( ){ }0 1 10 1 0 1 1 1 1 / 1 1 / p B Bπ π π π− −= = −⎡ ⎤ ⎡ ⎤+ + −⎣ ⎦ ⎣ ⎦ Phần biểu diễn ở trên được làm sáng tỏ khi giả thuyết là đơn, thì lúc đó: { }0 0θΘ = và { }1 1θΘ = đối với một vài 0θ và 1θ .Vì thế khi ( )0 0 0p p xπ θ∝ và ( )1 1 1p p xπ θ∝ sao cho: ( ) ( )0 001 1 1 , p xp p p x π θ π θ= và từ đó hệ số Bayes là: ( ) ( )01 . p x B p x θ θ= Theo như đó thì B là tỉ số hợp lý của 0H đối với 1H điều đó đã được rất nhiều nhà thống kê trình bày (Bayes là một trong số đó) là sự chênh lệch của 0H đối Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 28 với 1H khi dữ liệu được cho trước. Tuy nhiện, sự thể hiện đó không hoàn toàn là đơn khi 0H và 1H là hỗn tạp, nghĩa là chứa nhiều hơn một phần tử. Trong trường hợp đó để thuận tiện ta có thể viết dưới dạng: 0 0 0( ) ( ) / ,pρ θ θ π θ= ∈Θ và 1 1 1( ) ( ) / ,pρ θ θ π θ= ∈Θ trong đó ( )p θ là mật độ tiên nghiệm của θ , vì vậy ( )0p θ là giới hạn của ( )p θ trong 0Θ đã được chuẩn hóa cho một mật độ xác suất trên 0Θ , và tương tự cho ( )1p θ . Ta có: ( ) ( ) ( ) ( ) ( ) 0 0 0 0 0 0 0 ( / ) / / / , p P x p x d p p x d p x d θ θ θ θ θ θ θ θ θ π θ ρ θ θ ∈Θ ∈Θ ∈Θ = ∈Θ = ∝ = ∫ ∫ ∫ Hằng số của tính tỉ lệ phụ thuộc duy nhất vào x. Một cách tương tự ( ) ( ) 1 1 0 1/p p x d θ π θ ρ θ θ ∈Θ = ∫ Và từ đây hệ số Bayes là: ( ) ( ) ( ) ( ) ( ) ( ) 0 1 0 0 1 0 1 1 / / / / p x d p p B p x d θ θ θ ρ θ θ π π θ ρ θ θ ∈Θ ∈Θ = = ∫ ∫ là tỉ số của “ trọng lượng” ( bởi 0ρ và 1ρ ) hàm hợp lý của 0Θ và 1Θ . Bởi vì biểu thức của hệ số Bayes bao gồm 0ρ và 1ρ tốt là hàm hợp lý ( )/p x θ của chính bản thân nó, hệ số Bayes không thể được xem như là một độ đo có giá tương đối cho bởi các giả thuyết từ dữ liệu. Tuy nhiên, thỉnh thoảng B sẽ bị Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 29 ảnh hưởng nhỏ trong giới hạn hợp lý bởi việc chọn 0ρ và 1ρ , và lúc đó có thể xem B như là một độ đo của giá tương đối cho những giả thuyết cung cấp từ dữ liệu. Khi đó, hệ số Bayes là hợp lý khách quan và (ví dụ) có thể được bao gồm cả trong báo cáo khoa học do đó những người sử dụng dữ liệu khác nhau có thể xác định phần chênh lệch hậu nghiệm cá nhân của họ bằng cách mở rộng phần chênh lệch tiên nghiệm cá nhân của họ bởi hệ số. Hệ số Bayes được đề cập bởi vài tác giả nghiên cứu về hệ số, như Jeffreys(1961) biểu diễn nó là K, nhưng không cho nó là một tên gọi. Một số tác giả, Peirce(1878) và Good(1950,1983) hầu như đề cập hệ số Bayes ở dạng logarit như là“bằng chứng của trọng lượng”. Dĩ nhiên, quan điểm lấy logarit đã được làm nhiều thí nghiệm về hai giả thuyết đơn, khi đối hệ số nhân Bayes và chứng cứ của trọng lượng đã được thêm vào. 2.1.4 Thí dụ Theo như Watkins, lý thuyết điện từ yếu tiên đoán sự tồn tại của một hạt mới, hạt W, có khối lượng m là 82.4 ± 1.1 GeV. Kết quả thí nghiệm chỉ ra rằng tồn tại một hạt và có khối lượng là 82.1 ± 1.7 GeV. Nếu chúng ta lấy khối lượng là một tiên nghiệm chuẩn và hàm hợp lý và giả sử rằng giá trị sau dấu ± nhận biết chênh lệch tiêu chuẩn, và nếu chúng ta được chuẩn bị kể cả lý thuyết và thí nghiệm , ta có thể kết luận rằng khối lượng hậu nghiệm là 1 1( , )N θ φ trong đó ( ) ( ) 12 2 2 1 2 2 1 1.1 1.7 0.853 0.92 , 0.853 82.4 /1.1 82.1/1.7 82.3 φ θ −− −= + = = = + = Vì một vài lý do, việc biết được khối lượng này có nhỏ hơn 83.0 GeV hay không rất quan trọng.Với hàm phân phối tiên nghiệm là N(82.4 , 1.12), Xác suất tiên nghiệm 0π của giả thuyết này được cho bởi Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 30 ( ) ( ) ( )0 83.0 83.0 82.4 /1.1 0.55P mπ = ≤ = Φ − = Φ trong đó Φ là hàm phân phối của sự phân phối chuẩn tắc. Từ bảng phân phối chuẩn ta có 0 0.7088π ≅ do đó sự chênh lệch tiên nghiệm là: ( )0 0/ 1 2.43π π− ≅ Tương tự , xác suất hậu nghiệm của giả thuyết với 83.0m ≤ là: ( ) ( )0 83.0 82.3 / 0.92 0.76 0.7764p = Φ − = Φ = và do đó sự chênh lệch hậu nghiệm là ( )0 0/ 1 3.47p p− ≅ Do đó hệ số Bayes là: ( ) ( )0 1 0 10 1 1 0 / 3.47 1.43 / 2.43 p p pB p π π π π= = = = Trong trường hợp này cuộc thử nghiệm không có nhiều biến đổi về giả thuyết so với trong thảo luận và điều này miêu tả bởi trạng thái B tiến tới 1. Chú thích: Một quan điểm về kiểm định giả thuyết đáng giá được tiến hành là chúng được dùng truyền thống như một phương pháp kiểm định giữa hai hành động cuối ( tuy nhiên) trong thực hành thực tế được sử dụng thông thường hơn nhiều để đưa ra kết quả của một mẫu để đạt tới bất kỳ quyết định cuối cùng hay tạm hoãn cho tới khi có nhiều luận cứ thích hợp hơn. 2.2 Kiểm định giả thuyết một chiều 2.2.1 Định nghĩa Một dạng tình huống kiểm định giả thuyết được mô tả trong mục trước được gọi là một chiều nếu tập hợp Θ của các giá trị có thể của tham số θ là tập hợp các số thực hay là một tập con của Θ và Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 31 0 1 0 0 1 1, ,θ θ θ θ< ∀ ∈Θ ∈Θ hay 0 1 0 0 1 1, ,θ θ θ θ> ∀ ∈Θ ∈Θ Theo quan điểm của Bayes, không có gì đặc biệt ở tình huống này. Điểm tuyệt vời chính là ở đó, đây là một trong vài tình huống mà trong đó với kết quả truyền thống và đặc biệt sử dụng các P- giá trị, ta có quan điểm của Bayes được chứng minh là đúng. 2.2.2 P - giá trị: Đây là một trong những nơi sử dụng ký hiệu ‘dấu ngã’ để nhấn mạnh số lượng nào là ngẫu nhiên. Nếu ( )~ ,x N θ φ% trong đó φ đã biết và tham khảo tiên nghiệm ( ) 1p θ ∝ được sử dụng, khi đó phân phối hậu nghiệm của θ cho bởi x x=% la ( ),N θ φ ø. Bây giờ ta xét tình huống kiểm định 0 0:H θ θ≤ với đối thuyết 1 0:H θ θ> . Sau đó nếu ta quan sát với x x=% ta có xác suất hậu nghiệm : ( ) ( )( ) 0 0 0 / . p P x x x θ θ θ φ = ≤ = = Φ − % % Bây giờ P_ giá trị truyền thống (đôi khi được gọi là mức ý nghĩa chính xác) ngược lại 0H được định nghĩa như là xác suất xảy ra, với 0θ θ= , khi quan sát một˜ x% ‘cực tiểu’ là dữ liệu x thực tế và do đó: ( ) ( )( ) ( )( ) 0 0 0 0 giá tri 1 / / P P x x x x p θ θ θ φ θ φ − = ≥ = = −Φ − = Φ − = % Ví dụ, nếu ta quan sát một giá trị x với độ lệch tiêu chuẩn 1.5 phía trên 0θ sau đó Bayes dùng tham khảo tiên nghiệm để kết luận xác suất hậu nghiệm của giả Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 32 thuyết không là ( )1.5 0.0668Φ − = , trong khi một nhà thống kê truyền thống đã đưa ra P_ giá trị 0.0668. Dĩ nhiên p1 = 1- p0 = 1 – P_ giá trị, vì thế sự chênh lệch hậu nghiệm là : = = − 0 0 1 0 _ giá trị 1 _ giá trị p p P p 1- p P Trong một trường hợp như thế, sự phân phối tiên nghiệm có thể được nói bao hàm sự chênh lệch tiên của 1 (nhưng cẩn trọng!- điều này diễn ra khi / 1∞ ∞ = ), do đó ta có hệ số Bayes là: = =− − 0 0 _ giá trị 1 1 _ giá trị p PB p P gợi ý rằng p0 = P_ giá trị = ( ) ( ) 11/ 1 1B B B −−+ = + ( )1 1/ 1p B= + Mặt khác, các xác suất mắc sai lầm loại I và loại II trong truyền thống không có hệ số tương quan gần với những xác suất của giả thuyết, và với khuynh hướng mở rộng phạm vi của nhà thống kê truyền thống để đánh giá P_ giá trị hơn là những xác suất sai lầm loại I và loại II thì được lấy tự do, mặc dù phân tích đầy đủ theo Bayes thì tốt hơn. Một phần sự giải thích cách sử dụng truyền thống về những xác suất của sai lầm loại I (đôi khi được gọi là mức ý nghĩa) được nêu ra sau đây. Một kết quả được xem là mức ý nghĩa α nếu và chỉ nếu P_ giá trị nhỏ hơn hoặc bằng α , do đó khi và chỉ khi xác suất hậu nghiệm : ( )0 0p P x xθ θ α= ≤ = ≤% % hoặc tương đương ( )1 0 1p P x xθ θ α= ≤ = ≥ −% % Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 33 2.3 Phương pháp Lindley 2.3.1 Sự thỏa hiệp với thống kê truyền thống Phương pháp sau đây xuất hiện lần đầu tiên và được đề xuất bởi Lindley, từ đó được ủng hộ bởi một vài tác giả ví dụ như Zellner. Giả định phương pháp này là thông dụng trong thống kê truyền thống, do đó ta mong rằng có thể kiểm tra một giả thuyết trị không 0 0:H θ θ= với đối thuyết 1 0:H θ θ≠ Giả định xa hơn rằng kiến thức tiên nghiệm là mơ hồ hoặc dài dòng, vì thế không có lý do nào để tin rằng 0θ θ= hơn là 1θ θ= , trong đó 1θ là giá trị bất kỳ trong miền lân cận của 0θ . Thủ tục được đề xuất phụ thuộc vào việc tìm sự phân phối hậu nghiệm của θ sử dụng sự tham khảo tiên nghiệm. Để hướng dẫn kiểm tra mức ý nghĩa α , gợi ý rằng ta tìm 100(1 – α )%HDR từ sự phân phối hậu nghiệm và bác bỏ 0 0:H θ θ= nếu và chỉ nếu 0θ nằm ngoài HDR này. 2.3.2 Ví dụ Với dữ liệu từ trọng lượng tử cung của chuột mà ta đã gặp trong mục 2.8 , trang 51 ( xem[1]) trên HDRs đối với biến chuẩn ta đã tìm được sự phân phối hậu nghiệm của biến θ sẽ là 20 2~ 664χφ − Vì thế khoảng tương quan với 95% HDR cho 2log χ là (19,67). Do đó dựa trên những dữ liệu cơ bản trên, ta nên bác bỏ giả thuyết không 0 : 16H Φ = ở mức 5% nhưng ta không nên loại bỏ giả thuyết không 0 : 20H Φ = ở mức ý nghĩa đó. 2.3.3 Thảo luận Thủ tục này chỉ thích hợp khi thông tin tiên nghiệm là mơ hồ hoặc dài Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 34 dòng, và ngay cả khi nó không phải là cách tốt nhất trong việc tóm tắt niềm tin hậu nghiệm; rõ ràng mức độ quan trọng chính là biểu thức không đầy đủ của những niềm tin đó. Đối với nhiều bài toán, kể cả bài toán đã được xem xét ở ví dụ trên, tôi cho rằng phương pháp này được xem là vấn đề quan tâm chính mang tính chất lịch sử trong đó nó đưa ra phương cách để đạt được những kết quả có liên quan đến chúng trong thống kê truyền thống và do đó đã giúp các nhà thống kê thôi nuôi dưỡng những phương cách này nhằm hướng đến cách tiếp cận của Bayes như là phương cách có thể đạt được những kết quả giống những kết quả trong trường hợp đặc biệt, cũng như có được những kết luận đặc biệt riêng. Tuy nhiên, nó cũng có thể có những cách sử dụng trong những trường hợp mà ở đó có một vài tham số chưa biết và hậu nghiệm đầy đủ thì khó để mô tả hay nắm bắt được. Do đó, khi xem xét phép phân tích của biến ở mục 6.5 và 6.6 (xem [1]), ta nên sử dụng mức độ quan trọng như được mô tả trọng mục này nhằm đưa ra một số ý kiến về tầm ảnh hưởng của cách giải quyết. 2.4 Giảthuyết trị không với thông tin tiên nghiệm 2.4.1 Khi nào thì giả thuyết trị không là hợp lý? Như đã đề cập trong mục vừa rồi, thật bình thường khi thực hiện kiểm định một giả thuyết trị không trong thống kê truyền thống giả thuyết không 0 0:H θ θ= với đối thuyết 1 0:H θ θ≠ Xét trường hợp cách tiếp cận theo thang đầy đủ của Bayes (so với cách thỏa hiệp đã được mô tả trong mục vừa rồi) có thể đáp ứng những kết luận mà có sự khác biệt cơ bản so với các câu trả lời trong thống kê truyền thống. Trước khi có được các câu trả lời, một vài lời bình luận cơ bản về toàn bộ bài toán là hợp lệ. Đầu tiên, các kiểm định của các giả thuyết trị không thường được thực hiện trong hoàn cảnh không thích đáng. Nó hầu như không bao giờ xem xét Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 35 trường hợp giả thuyết 0θ θ= có chính xác, một điểm mà các nhà thống kê truyền thống hoàn toàn chấp nhận. Hợp lý hơn là những giả thuyết không ( )0 0 0 0: ,H θ θ ε θ ε∈Θ = − + trong đó với 0ε > ta chọn 0θ∀ ∈Θ có thể được xem xét ‘không thể phân biệt được‘ từ 0θ . Một ví dụ mà trong đó điều này có thể xảy ra là bạn sẽ phải cố gắng phân tích hoá học bằng cách quan sát một vài khía cạnh, mô tả bằng thông số θ, sự phản ứng của nó với chất hoá học đã biết. Nếu ta muốn kiểm tra chất hóa học chưa biết đó có phải là hợp chất đặc trưng hay không, một phản ứng với cường độ θ0 đã biết rõ độ chính xác ε, điều đó sẽ hợp lý để kiểm tra ( )0 0 0 0: ,H θ θ ε θ ε∈Θ = − + với đối thuyết 1 0:H θ ∉Θ Một ví dụ trong đó ε có thể tiến tới 0 là một kiểm định về ESP (giác quan thứ 6) với 0θ đại diện cho giả thuyết không có ESP ( Lý do duy nhất tại sao ε có xác suất không là 0 ở đây là một thí nghiệm thiết kế cho xác suất ESP có thể sẽ không dẫn đến xác định 0θ hoàn toàn). Tuy nhiên, cũng có nhiều cách quyết định vần đề dẫn đến một giả thuyết không của dạng trên với một ε lớn, nhưng những vấn đề như thế hiếm khi được xấp xỉ tốt bởi việc kiểm tra giả thuyết trị không. Câu hỏi đặt ra là, nếu có một giả thuyết không thực sự là: 0 0 0 0: ( , )H θ θ ε θ ε∈Θ = − + thì khi nào ta có thể xấp xỉ nó bởi 0 0:H θ θ= ? Từ góc nhìn của phương pháp Bayes điều này có thể chấp nhận được nếu và chỉ nếu xác suất hậu nghiệm là dày đặc. Nhưng để có xác suất như vậy thì hàm hợp lí phải được xấp xỉ như một hàm hằng trên 0Θ . Nhưng đây là một điều kiện rất mạnh , và hàm hợp lí không hẳn thỏa điều đó . 2.4.2 Trường hợp hàm hợp lí gần như là hàm hằng Giả sử các biến ngẫu nhiên 1 2, ,..., nx x x là độc lập với nhau theo phân phối Kiểm định giả thuyết thống kê theo phương pháp Bayes Trang 36 chuẩn