Bài giảng Lý thuyết thông tin - Chương 1: Tin tức

Lý thuyết thông tin trang: 1 TÓM TẮT BÀI GIẢNG LÝ THUYẾT THÔNG TIN CHƯƠNG 1: TIN TỨC 1-1 HỆ THỐNG TRUYỀN TIN (HT3)  Nguồn tin: + Là tập hợp các tin HT 3 dùng để lập các bản tin khác nhau trong sự truyền. + Nguồn tin được mô hình hoá toán học bằng bốn quá trình sau: - Quá trình ngẫu nhiên liên tục. Quá trình ngẫu nhiên rời rạc. - Dãy ngẫu nhiên liên tục. - Dãy ngẫu nhiên rời rạc.  Kênh tin: là nơi diễn ra sự truyền lan của tín hiệu mang tin và chịu tác động của nhiễu. S0(t) = Nm (t). Si(t) + Na(t) + Si(t): Tín hiệu vào & S0(t): tín hiệu ra của kênh tin + Nm (t), Na(t) : đặc trưng cho nhiễu nhân, nhiễu cộng. Si(t) S0(t) Nhiễu Nguồn tin Kênh tin Nhận tin Lý thuyết thông tin trang: 2  Nhận tin: là đầu cuối của HT3 làm nhiệm vụ khôi phục tin tức ban đầu. Hệ thống truyền tin số (rời rạc)  Hai vấn đề cơ bản của hệ thống truyền tin: + Vấn đề hiệu suất, nói cách khác là tốc độ truyền tin của hệ thống. + Vấn đề độ chính xác, nói cách khác là khả năng chống nhiễu của hệ thống. 1-2 SỐ ĐO THÔNG TIN a. Lượng đo tin tức: Nguồn A có m tín hiệu đẳng xác xuất, một tin do nguồn A hình thành là một dãy n ký hiệu ai bất kỳ (ai  A). Nguồn tin (1) Mã hóa nguồn (2) Mã hóa kênh (3) Bộ điều chế (4) Phát cao tần (5) Nhận tin (1’) Kênh tin Thu cao tần (5’) Giải điều chế (4’) Giải mã kênh (3’) Giải mã nguồn (2’) Lý thuyết thông tin trang: 3 – Lượng tin chứa trong một ai bất kỳ: I(ai)=logm (1) - Lượng tin chứa trong một dãy x gồm n ký hiệu: I(x) = n.log m (2) Đơn vị lượng đo thông tin thường được chọn là cơ số 2. - Khi m ký hiệu của nguồn tin có xác xuất khác nhau và không độc lập thống kê với nhau thì I(xi) = log (1/p(ai)) (3)  Lượng tin riêng: I(xi) = -log p(xi) (4) Là lượng tin ban đầu được xác định bằng xác xuất tiên nghiệm.  Lượng tin còn lại của xi sau khi đã nhận được yj được xác định bằng xác xuất hậu nghiệm. )(log)/( j i ii y x pyxI  (5)  Lượng tin tương hỗ: )( )( log)/()();( i j i iiiii xp y x p yxIxIyxI  (6)  Đặc tính của lượng tin: + I(xi)  I(xi ; yi) (7) + I(xi)  0 (8) Lý thuyết thông tin trang: 4 + I(xi.yi) = I(xi) + I(yi) - I(xi; yi) (9) Khi cặp xi, yj độc lập thống kê với nhau thì I(xi; yi) = 0 Ta có: I(xi. yi) = I(xi) + I(yi) (10)  Lượng tin trung bình: là lượng tin tức trung bình chứa trong m ký hiệu bất kỳ của nguồn đã cho.  X xpxpxI )(log)()( (11)  Lượng tin tương hỗ trung bình:  XY xp yxp yxpYXI )( )/( log),(),( (12)  Lượng tin riêng trung bình có điều kiện:  XY xyyxpXYI )/log(),()/( (13) b. Entrôpi nguồn rời rạc: là một thông số thống kê cơ bản của nguồn. Về ý nghĩa vật lý độ bất ngờ và lượng thông tin trái ngược nhau, nhưng về số đo chúng bằng nhau:  )(log)()()( xpxpXIXH (1) Entropi: độ bất ngờ  Đặc tính của Entrôpi H(X): + H(X)  0 + H(X) = 0 khi nguồn tin chỉ có một ký hiệu + H(X)max khi xác suất xuất hiện các ký hiệu của nguồn bằng nhau. Lý thuyết thông tin trang: 5 (2 tập tin: xo, yo với po, p1. P1 =1-po H(x) = -po.logpo –p1.logp1=-po.logpo – (1-po)log(1- po)  Entrôpi đồng thời: là độ bất định trung bình của một cặp (x,y) bất kỳ trong tích XY.    XY yxpyxpXYH ),(log),()( (2)  Entrôpi có điều kiện:    XY yxpyxpYXH )/(log),()/( (3) 1-3 THÔNG LƯỢNG CỦA KÊNH THÔNG TIN:  Tốc độ thiết lập tin của nguồn: R= n0.H(X) (bps) (1) + H(X); entrôpi của nguồn. + n0 : số ký hiệu được lập trong một đơn vị thời gian  Thông lượng của kênh C là lượng thông tin tối đa kênh cho đi qua trong một đơn vị thời gian mà không gây sai nhầm. C(bps)  Thông thường R < C, để R tiến tới gần C ta dùng phép mã hoá thống kê tối ưu để tăng Entrôpi. a. Thông lượng kênh rời rạc không nhiễu: C = Rmax = n0. H(X)max (bps) (2) Độ dư của nguồn: Lý thuyết thông tin trang: 6 max)( )( 1 XH XH r  (3) Dùng phương pháp mã hóa tối ưu để giảm độ dư của nguồn đến không hoặc sử dụng độ dư của nguồn để xây dựng mã hiệu chống nhiễu. b. Thông lượng kênh rời rạc có nhiễu: R = noI(X;Y) = n0[H(X)-H(X/Y)] (bps) (4) no = 1/T = delta(f)  Tốc độ lập tin cực đại trong kênh có nhiễu: C = Rmax = n0[H(X)-H(X/Y)]max (bps) (5) Lý thuyết thông tin trang: 7 CHƯƠNG 2: MÃ HÓA NGUỒN TIN 2-1. MÃ HIỆU 2-1-1 Mã hiệu và các thông số cơ bản của mã hiệu:  Cơ số của mã (m) là số các ký hiệu khác nhau trong bảng chữ của mã. Đối với mã nhị phân m= 2.  Độ dài của mã n là số ký hiệu trong một từ mã. Nếu độ dài các từ mã như nhau ta gọi là mã đều, ngược lại là mã không đều. VD: a b c d 1) 00 01 10 11 -> n=2 2) 0 1 10 111 -> 0 đều, n =7/4 < 2 (p ¼ ¼ ¼ ¼ )  Độ dài trung bình của bộ mã:    1 )( i ii nxpn (1) + p(xi): xác suất xuất hiện tin xi của nguồn X được mã hóa. + ni : độ dài từ mã tương ứng với tin xi. + N: Tổng số từ mã tương ứng với tổng số các tin của xi  Tính chất mã: Tổng hợp các tổ hợp mã có thể có được: N0=2 n ., nếu: + N<N0 ta gọi là mã vơi. + N=N0 ta gọi là mã đầy Lý thuyết thông tin trang: 8 2-1-2 Điều kiện thiết lập mã hiệu:  Điều kiện chung cho các loại mã là quy luật đảm bảo sự phân tích các tổ hợp mã. VD: 1) Phát n=2 (mã đều): phát chuỗi VD1: Thu: 1000111001100111 c a d c b c b d (giải mã theo từng 2 bit) 2) Thu: 1000111001100111 (a, b): baaabbbaabbaabbb (a,b,c): c aabbc ab c abbb (a,b,c,d): c aa d aabc a d (ưu tiên ký tự ít xuất hiện trước)  Điều kiện riêng cho các loại mã: + Đối với mã thống kê tối ưu: độ dài trung bình tối thiểu của mã. + Đối với mã sửa sai: khả năng phát hiện và sửa sai cao. 2-1-3. PHƯƠNG PHÁP BIỂU DIỄN MÃ. a- Các bảng mã: Tin a1 a2 a3 a4 a5 Từ mã 00 01 100 1010 1011 Mã không đều, vơi Mặt toạ độ mã: Lý thuyết thông tin trang: 9    n K K Kib 1 12 (1) K =0 hay 1 (mã nhị phân); K: số thứ tự của ký hiệu trong từ mã a1->b1=0.2 0 +0.2 1 =0 -> (n1,b1)=(0,0) c. Đồ hình mã: Cây mã Nút 0 (mức 0): nút gốc 0 1 1 0 1 2 0 3 0 1 0 1 a1(00) a2(01) a3(100) a4(1010) a5(1011) 1 2 3 4 0 0V1 0 1 0v 1 Đồ hình kết cấu 0 Chỉ nút gốc với từ mã được bôi đen Đồ hình kết cấu: chập các mã với nút gốc (mũi tên theo chiều kim đồng hồ) a- Hàm cấu trúc của mã: 2 Khi ni = 2 G(ni) = 1 Khi ni= 3 2 Khi ni = 4 0 Khi ni = 1 0 Khi ni = 5 2-1-4 Điều kiện để mã phân tách được : Lý thuyết thông tin trang: 10  Mã có tính Prêphic (prefix) VD: 1011 -> prefix = 101 or 10 or 1 - Bất kỳ dãy các từ mã nào của bộ mã cũng không được trùng với một dãy từ mã khác của cùng bộ mã. - Mã có tính prêphic nếu bất kỳ tổ hợp mã nào cũng không phải là prêphic của một tổ hợp nào khác cùng bộ mã. Điều kiện để mã có tính prêphic:     n j j jG 1 1)(2  Mã hệ thống có tính phêphic được xây dựng từ một mã prêphic nào đó bằng cách lấy một số tổ hợp của mã prêphic gốc làm tổ hợp sơ đẳng và các tổ hợp còn lại làm tổ hợp cuối. Ghép các tổ hợp sơ đẳng với nhau và nối một trong các tổ hợp cuối vào thành tổ hợp mã mới gọi là mã hệ thống có tính prêphic.  Ví dụ: Lấy bộ mã prêphic 1,00,010,011 - Các tổ hợp sơ đẳng: 1,00,010 - Một tổ hợp cuối: 011  Gọi : - n1, n2,, ni là độ dài các tổ hợp sơ đẳng - 1, 2,, k là độ dài các tổ hợp cuối - Số có thể có được các dãy ghép bằng các tổ hợp sơ đẳng có độ dài nj bằng : g(nj) = g(nj-n1) + g(nj-n2) + + g(nj-ni) (1) Lý thuyết thông tin trang: 11 Trong đó: nj  1; g(0) = g(nj=0) = 1 ; g(nj < 0) = 0  Nếu chỉ dùng một tổ hợp cuối , hàm cấu trúc mã sẽ là: G(nj) = g(nj- ) (2) + Từ (1) và (2) ta có công thức truy chứng tính G(nj) G(nj) = G(nj-n1) + G(nj-n2) + + G(nj-ni) (3) Trong đó: nj  +1; G(nj = ) = 1; G(nj < ) = 0 + Từ (1) ta có: n1=1, n2=2, n3=3 và  =3  g(nj) = g(nj-1) + g(nj-2) + g(nj-3) g(nj=1) = g(0) + g(-1) + g(-2) = 1  có 1 dãy 1 g(nj=2) = g(1) + g(0) + g(-1) = 2  có 2 dãy: 00 và 11 g(nj=3) = g(2) + g(1) + g(0) = 4  có 4 dãy: 111, 100, 001, 010 3 tổ hợp sơ đẳng -> 3 giá trị g + Từ (3) ta có: G(nj) = G(nj-1) + G(nj-2) +G(nj-3) Trong đó: nj=  +1=4 ; G(nj=3) = 1 ; G(nj<3) = 0 G(4) = G(3) + G(2) + G(1) = 1  có 1dãy 1011 G(5) = G(4) + G(3) + G(2) = 2  có 2 dãy: 11011 và 00011 G(6) = G(5) + G(4) + G(3) = 4  có 4 dãy: 111011, 100011, 001011, 010011 G(7) = G(6) + G(5) + G(4) = 7 + Ta có thể tìm G(nj) từ công thức (2) : G(nj) = g(nj-3) Lý thuyết thông tin trang: 12 G(4) = g(4-3) = g(1) = 1 G(5) = g(5-3) = g(2) = 2 G(6) = g(6-3) = g(3) = 4  Nếu dùng nhiều tổ hợp cuối để ghép 1, 2, I, cách ghép các dãy tổ hợp sơ đẳng với một trong các tổ hợp cuối có nhiều cách. G(nj) = g(nj - 1) + g(nj - 2) + .+ g(nj - k) (4) - Ví dụ: Với bộ mã ở trên ta lấy + Hai tổ hợp sơ đẳng : 1, 00  n1= 1, n2= 2 + Hai tổ hợp cuối: 010, 011  1 = 2 = 3 + Từ (1) ta tính được số có thể có được các dãy ghép bằng các tổ hợp sơ đẳng có độ dài nj bằng: g(nj) = g(nj –1) + g(nj-2) Trong đó nj 1, g(0) = 1, g (<0) = 0 g(1) = g(0) + g(-1) = 1  1dãy :1 g(2) = g(1) + g(0) = 2  2 dãy :11 và 00 g(3) = g(2) + g(1) = 3  3 dãy :111, 100, 001 g(4) = g(3) + g(2) = 5  5dãy :1111, 0000, 1100, 0011, 1001 + Từ (2) ta có: G(nj) = 2g(nj-3) trong đó nj 4; G(3) =1; G(<3) =0 G(4) = 2g(1) = 2x1 = 2  1010 và 1011 G(5) = 2g(2) = 2x2 = 4  11010, 00010, 11011, và 00011 Lý thuyết thông tin trang: 13 G(6) = 2g(3) = 2x3 = 6  111010, 100010, 001010, 111011, 100011, và 001011 G(7) = 2g(4) = 2x5 = 10 2-2. CÁC LOẠI MÃ THỐNG KÊ TỐI ƯU (TKTƯ) 2-2-1. Một số định lý cơ bản của mã TKTƯ  Định lý giới hạn về độ dài trung bình của từ mã: n H(U)  n  H(U) +1 (1)  mã thống kê có hai đặc điểm sau: - Các ký hiệu khác nhau của bộ chữ phải đồng xác suất. - Xác suất xuất hiện các ký hiệu trong từ mã không phụ thuộc sự có mặt của các ký hiệu ra trước. - n càng nhỏ càng tốt  Tiêu chuẩn mã kinh tế tối ưu:   n UH )(  (2) H(U): Entrôpi của nguồn n : độ dài trung bình của từ mã.   càng tiến tới 1 tính kinh tế của mã càng cao.  Mã thống kê có tính prephic.  )(2 i n upi  (3) & 12 1    N i ni (4) 2-2-2 Mã Thống kê tối ưu Sannon: Các bước thực hiện mã thống kê tối ưu Sannon: Bước 1: Liệt kê các tin của nguồn Ui và các xác suất pi tương ứng theo xác suất giảm dần. Lý thuyết thông tin trang: 14 Bước 2: Ứng với mỗi hàng ui, pi ghi một số Pi theo biểu thức: Pi = p1 + p2 +.+ pi-1 Bước 3: Đổi các số thập phân Pi thành các số nhị phân Bước 4: Tính độ dài từ mã: ii n i n up   12)(2 (2) Bước 5: Từ mã (ni, bi) sẽ là ni ký hiệu nhị phân (kể từ số lẻ trở đi) của số nhị phân Pi Ví dụ: lập mã cho nguồn U có sơ đồ thống kê: Ui U1 U2 U3 U4 U5 U6 U7 pi 0,34 0,23 0,19 0,1 0,07 0,06 0,01 Ui pi Pi Số nhị phân Pi ni Tứ mã U1 0,34 0 0,0000 2 00 U2 0,23 0,34 0,0101 3 010 U3 0,19 0,57 0,1001 3 100 U4 0,1 0,76 0,1100 4 1100 U5 0,07 0,86 0,11011 4 1101 U6 0,06 0,93 0,11101 5 11101 U7 0,01 0,99 0,1111110 7 1111110 + Pi được tính theo bước 2: i = 1 P1 = p0 = 0 i = 2 P2 = p1 = 0,34 i =3 P3 = p1 + p2 = 0,57 + Đổi Pi sang số nhị phân: Lý thuyết thông tin trang: 15 Pi = 0,34 x 2 0,68  0 x 2 1,36  1 - 1 0,36 x 2 0,72  0 x 2 1,44  1 Khi đó Pi = 0,34  0,0101 Pi = 0,86 x 2 1,72  1 - 1 0,72 x 2 1,44  1 - 1 0,44 x 2 0,88  0 x 2 1,76  1 - 1 0,76 x 2 1,52  1 Khi đó Pi = 0,86  0,11011 + Tính ni theo (2) ni = 1  2 -1 = 0,5 > pi=0,34  bị loại ni = 2  2 -2 = 0,25 < pi=0,34 < 3 1-2 =0,5  thỏa mãn  vậy ta lấy ni = 2 suy ra từ mã: 00 ni = 3  2 -3 = 0,125 < pi=0,23 <0,25  lấy ni =3  010  Tính kinh tế của mã: Lý thuyết thông tin trang: 16 H(U)= i i i pp 2 7 1 log     37,201,0log01,0...34,0log34,0 22  n =         7 1 99,2701,0...323,0234,0 i ii xxxnp  p= 81,0 99,2 37,2)(  n UH 2-2-3 Mã thống kê tối ưu Fano: Các bước thực hiện mã hoá mã thống kê tối ưu Fano: Bước 1: Liệt kê các tin ui trong một cột theo thứ tự pi giảm dần. Bước 2: Chia làm 2 nhóm có tổng xác suất gần bằng nhau nhất. Ký hiệu mã dùng cho nhóm đầu là 0, thì nhóm thứ 2 là 1. Bước 3: Mỗi nhóm lại chia thành hai nhóm nhỏ có xác suất gần bằng nhau nhất (ký hiệu 0 và 1). Quá trình cứ tiếp tục cho đến khi chỉ còn một ký hiệu thì kết thúc. Ui pi 1 2 3 4 5 Từ mã U1 0,34 0 0 00 U2 0,23 0 1 01 U3 0,19 1 0 10 U4 0,1 1 1 0 110 U5 0,07 1 1 1 0 1110 U6 0,06 1 1 1 1 0 11110 U7 0,01 1 1 1 1 1 11111  Thực hiện bước 2: Lý thuyết thông tin trang: 17 - Cách 1: p1+ p2 = 0,34 + 0,23 = 0,57 p3+ p4 + p5 + p6 + p7 = 0,43 Độ chênh lệch : 0,14 - Cách 2: p1+ p2 + p3 = 0,76 p4 + p5 + p6 + p7 = 0,24 Độ chênh lệch : 0,52 Vậy cách chia thứ nhất có xác suất gần bằng nhau hơn cách chia thứ hai, nên ta chọn cách chia thứ nhất. Quá trình cứ thế tiếp diễn.  Thực hiện bước 3: - Cách 1: p3 = 0,19 p4 + p5 + p6 + p7 = 0,24 Độ chênh lệch : -0,05 - Cách 2: p3 + p4 = 0,29 p5 + p6 + p7 = -0,14 Độ chênh lệch : 0,15 Vậy ta chọn cách thứ nhất. n =           7 1 31,0219,0223,0234,0 i ii xxxxnp p= 98,0 41,2 37,2)(  n UH  có thể vẽ cây mã cho TKTƯ Fano.  Nhận xét về mã thống kê tối ưu Fano:       41,2501,0506,0407,0  xxx Lý thuyết thông tin trang: 18 Ưu: Với cách chia nhóm đồng xác suất, sự lập mã TK tối ưu đồng thời cũng là mã prêphic. Khuyết: Không cho phép lập mã duy nhất, nghĩa là có nhiều mã tương đương về tính kinh tế. Ví dụ: đối với nguồn tin dưới đây ít nhất có hai cách chia có tính kinh tế như sau: Ui pi Cách chia 1 Từ mã Cách chia 2 Từ mã U1 0,19 0 0 0 0 0 0 0 0 0 0 U2 0,19 0 1 0 0 1 0 0 0 1 0 0 1 U3 0,19 0 1 1 0 1 1 0 1 0 1 U4 0,19 1 0 1 0 1 0 1 0 U5 0,08 1 1 0 1 1 0 1 1 0 0 1 1 0 0 U6 0,08 1 1 1 0 1 1 1 0 1 1 0 1 1 1 0 1 U7 0,08 1 1 1 1 1 1 1 1 1 1 1 1 1 1    7 1 1 i iinpn (0,19x2) + (0,19x3) + (0,19x3) + (0,19x2) + (0,08x3) + (0,08x4) +(0,08x4)=2,46    7 1 2 i iinpn (0,19x3) + (0,19x3) + (0,19x2) + (0,19x2) + (0,08x4) + (0,08x4) +(0,08x3)=2,46 Cùng một bộ mã nên H(u1) = H(u2) suy ra 1 =2.  Để khắc phục nhược điểm của mã thống kê tối ưu Fano ta nghiên cứu mã thống kê tối ưu Huffman. Lý thuyết thông tin trang: 19 0 0 0 0 0 0 1 1 1 1 1 u1 u2 u3 u4 u5 u6 u7 0 0 1 1 1 1 1 1 0 0 0 0 u1 u2 u3 u4 u5 u6 u7 0 0 0 0 0 0 1 1 1 1 1 1 u1 u2 u3 u5 u6 u7 u4 Cách chia 1 2-2-4 Mã TK tối ưu Huffman: Theo Hốpman để có một bộ mã Pre6phic có độ dài từ mã tối thiểu, điều kiện cần và đủ là thỏa mãn 3 tính chất sau: 1- Tính thứ tự độ dài các từ mã: pi  pj với i <j thì ni  nj. 2- Tính những từ cuối: có độ dài bằng nhau, chỉ khác nhau về trọng số của ký hiệu cuối cùng. 3- Tính liên hệ giữa những từ cuối và từ trước cuối.  Các bước thực hiện mã hóa TK tối ưu Hốpman. Cách chia 2 Lý thuyết thông tin trang: 20 Bước 1: Các nguồn tin được liệt kê trong cột theo thứ tự xác suất xuất hiện giảm dần. Bước 2: Hai tin cuối có xác suất bé nhất được hợp thành tin phụ mới có xác suất bằng tổng xác suất các tin hợp thành. Bước 3: Các tin còn lại (N-2) với tin phụ mới được liệt kê trong cột phụ thứ nhất theo thứ tự xác suất giảm dần. Bước 4: Quá trình cứ thế tiếp tục cho đến khi hợp thành một tin phụ có xác suất xuất hiện bằng 1. ui pi Từ mã 0 1 1 U1 0,34 0 0,58 00 1 U2 0,23 0 0,42 10 U3 0,19 1 11 0 0,24 U4 0,10 1 011 U5 0,07 0 0.14 0100 1 U6 0,06 0 0,07 01010 U7 0,01 1 01011  Từ mã được đọc ngược từ đầu ra về đầu vào. Cũng có thể dùng cây mã để xác định mã Hốp nam: Lý thuyết thông tin trang: 21 0 0 0 1 1 10 0,42 1 0,42 0 0 1 1 0,14 0,07 u1(0,34) u2(0,23) u3(0,19) u4(0,1) u5(0,07) u6(0,06) u7(0,01) gèc  Tính kinh tế:  = 0,98 Mặc dù tối ưu hơn so với mã Sannon và Fano, nhưng khi bộ mã nguồn có nhiều tin thì bộ mã trở nên cồng kềnh. Khi đó người ta kết hợp 2 phương pháp mã hóa: Mã Hốp man + mã đều. ui Pi Mã Hốp man Mã đều Từ mã u1 0,5 0 0 u2 0,25 0 0,5*1 10 u3 0,0315 1 1 00 11000 u4 0,0315 0,125 01 11001 u5 0,031 0 10 11010 u6 0,031 11 11011 u7 0,0157 0,25 000 111000 u8 0,0157 001 111001 u9 0,0157 010 111010 u10 0,0157 0,125 011 111011 u11 0,0156 1 100 111100 u12 0,0156 101 111101 u13 0,0155 110 111110 u14 0,0155 111 111111 Lý thuyết thông tin trang: 22 H(u) =   4 1 2log i ii pp -[0,5log20,5 + 0,25log20,25 + 0,125log20,125] =    4 1i iinpn (0,5x1) +(0,25x2) + ((0,125x5) +0,125x6 = 0,5 +0,5+0,625+0.75=2,375 375,2 )(   n uH  Lý thuyết thông tin trang: 23 CHƯƠNG 3: MÃ HÓA KÊNH TRUYỀN (Mã phát hiện và sửa sai) 3-1 KHÁI NIỆM VỀ MÃ PHÁT HIỆN VÀ SỬA SAI:  Dạng sai lầm của mã hiệu được truyền tuỳ thuộc tính chất thống kê của kênh: - sai độc lập dẫn đến sai ngẫu nhiên: 1 hoặc 2 sai. - Sai tương quan dẫn đến sai chùm (sai cụm)  Người ta thống kê: sai ngẫu nhiên xẩy ra 80%, sai chùm xảy ra 20%.  Xác suất xuất hiện một từ mã n ký hiệu có t sai bất kỳ: p(n,t) = Cn t ps t (1-ps) n-t (1) 3-1-1 Cơ chế phát hiện sai của mã hiệu  Số từ mã có thể có: N0 = 2 n  Số từ mã mang tin: N = 2k.  Số từ mã không dùng đến: 2n –2k (số tổ hợp cấm)  Để mạch có thể phát hiện hết i lỗi thì phải thỏa mãn điều kiện:    E n k 1 2 2 (2) Trong đó  E = E1 + E2+ . . . + Ei (3) E1, E2, . . Ei là tập hợp các vector sai 1,2 . . .i lỗi.  Để phát hiện và sửa hết sai 1 lỗi ta có: Lý thuyết thông tin trang: 24 1 2 2   n n k (4) 3-1-2 Khả năng phát hiện và sửa sai:  Trọng số Hamming của vector t: ký hiệu, w(t) được xác định theo số các thành phần khác không của vector. Ví dụ: t1 = 1 0 0 1 0 1 1  w(t1) = 4  Khoảng cách Hamming giữa 2 vector t1, t2: ký hiệu, d(t1, t2) được định nghĩa là số các thành phần khác nhau giữa chúng. Ví dụ: t2 = 0 1 0 0 0 1 1  d(t1, t2) = 3 chúng k