Giáo trình Lý thuyết tín hiệu và truyền tin

Lời nói đầu Ngay nay, các lĩnh vực khoa học máy tính và truyền thông đã thâm nhập lẫn nhau và gắn kết dẫn đến làm thay đổi rất nhiều lĩnh vực công nghệ và sản xuất. Chính điều này đã làm cho rất nhiều lĩnh vực khoa học công nghệ có những điều kiện cơ sở để phát triển mạnh mẽ. Trong hoàn cảnh đó, việc nghiên cứu tìm hiểu về lý thuyết tín hiệu và truyền tin ngày càng trở nên quan trọng và cần được đặt trong một tình hình mới. Với yêu cầu cần có một giáo trình cho sinh viên ngành Điện tử - Viễn thông, giáo trình Lý thuyết tín hiệu và truyền tin đã được biên soạn. Trong quá trình biên soạn không tránh khỏi thiếu sót mong đọc giả góp ý để giáo trình ngày càng hoàn thiện hơn. Chương 1 Các khái niệm cơ bản của lý thuyết tín hiệu và truyền tin 1.1. Vị trí, vai trò và lịch sử phát triển 1.1.1. Vị trí, vai trò của lý thuyết thông tin Trong cuộc sống con người luôn có nhu cầu trao đổi, giao tiếp với nhau, cái mà mỗi người trao đổi với nhau gọi là thông tin. Nhờ sự phát triển của khoa học công nghệ, con người cũng có thể nhận thông tin từ đài, báo, mạng internet, truyền hình ... v.v. Hay đơn giản như các bạn sinh viên nhận thông tin từ giảng viên và phức tạp hơn nữa là sự liên lạc, thông tin giữa các mạng máy tính với nhau. Điều đó có nghĩa là thông tin là cái gì đó được truyền từ đối tượng này tới đối tượng khác để chuyển, thông báo một điều gì đó. Thông tin sẽ chỉ có ý nghĩa khi điều gì đó mà bên nhận chưa biết. Như những ví dụ trên trình bày, thông tin có thể được chứa trong nhiều dạng như hình ảnh, âm thanh, văn bản. Những dạng này là vỏ bọc vật chất của thông tin. Vở bọc có thể hiểu là phần xác, thông tin là phần hồn. Một trong những phương tiện để diễn đạt thông tin là ngôn ngữ, thông tin chỉ có thể được truyền đạt, hiểu nếu cả hai bên truyền và nhận hiểu được ngữ nghĩa của nhau. Thông tin có thể được truyền hoặc lưu trữ. Môi trường thực hiện việc đó được gọi là môi trường chứa tin hay kênh tin. Các đối tượng sống luôn có nhu cầu tìm hiểu về thế giới xung quang để thích nghi tồn tại và phát triển. Thông tin trở thành một nhu cầu cơ bản, một điều kiện cần cho sự tồn tại và phát triển. Ngày nay, khi khoa học phát triển mạnh mẽ thì thông tin ngày càng trở nên quan trọng đối với mỗi con người. Mỗi hành động của con người đều xuất phát từ những suy nghĩ của người đó. Mỗi suy nghĩ đó lại chịu sự ảnh hưởng của những thông tin mà người đó có được, do vậy hành động của con người chịu sự ảnh hưởng của thông tin. Đứng về khía cạnh khoa học lý thuyết tín hiệu và truyền tin nghiên cứu nhằm tạo ra một điều kiện tốt cho việc xử lý phân tích tín hiệu và truyền tin nhanh chóng, an toàn và lưu trữ hiệu quả. Một cách tổng quát lý thuyết tín hiệu và truyền tin nghiên cứu các vấn đề về xử lý thông tin. Một số lĩnh vực nghiên cứu của môn học: - Phân tích, tổng hợp tín hiệu - Mã hoá chống nhiễu - Nén dữ liệu - Mật mã hoá Lý thuyết thông tin đã có nhiều ứng dụng trong cuộc sống và khoa học kỹ thuật. Sự bùng nổ về thông tin đang làm thay đổi diện mạo cuộc sống của con người, tạo ra sự phát triển mạnh mẽ của các phương thức truyền thông, truyền tin và lưu trữ thông tin. Cũng chính nhờ thông tin mà con người được cung cấp những cơ sở lý thuyết và cái nhìn triết học sâu sắc hơn về các vấn đề con người gặp phải hôm nay và trong tương lai. Lý thuyết thông tin đã được áp dụng trong hầu hết các lĩnh vực công nghệ như truyền thông, nén, bảo mật, đặc biệt đã được áp dụng vào trong lĩnh vực giáo dục ở nhiều khía cạnh như đào tạo, nghiên cứu và phát triển công nghệ. Vậy lý thuyết tín hiệu và thông tin đã có lịch sử hình thành phát triển như thế nào? 1.1.2. Lịch sử hình thành và phát triển Người đặt viên gạch đầu tiên để xây dựng lý thuyết thông tin là Hartley R.V.L. Năm 1928, ông đã đưa ra số đo lượng thông tin là một khái niệm trung tâm của lý thuyết thông tin. Dựa vào khái niệm này, ta có thể so sánh định lượng các hệ truyền tin với nhau. Năm 1933, V.A Kachenhicov chứng minh một loạt những luận điểm quan trọng của lý thuyết thông tin trong bài báo “Về khả năng thông qua của không trung và dây dẫn trong hệ thống liên lạc điện”. Năm 1935, D.V Ageev đưa ra công trình “Lý thuyết tách tuyến tính”, trong đó ông phát biểu những nguyên tắc cơ bản về lý thuyết tách các tín hiệu. Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuyết thế chống nhiễu’ đánh dấu một bước phát triển rất quan trọng của lý thuyết thông tin. Trong hai năm 1948 – 1949, Shanon C.E công bố một loạt các công trình vĩ đại, đưa sự phát triển của lý thuyết thông tin lên một bước tiến mới chưa từng có. Trong các công trình này, nhờ việc đưa vào khái niệm lượng thông tin và tính đến cấu trúc thống kê của tin, ông đã chứng minh một loạt định lý về khả năng thông qua của kênh truyền tin khi có nhiễu và các định lý mã hoá. Những công trình này là nền tảng vững chắc của lý thuyết thông tin. Ngày nay, lý thuyết thông tin phát triển theo hai hướng chủ yếu sau: Lý thuyết thông tin toán học: Xây dựng những luận điểm thuần tuý toán học và những cơ sở toán học chặt chẽ của lý thuyết thông tin. Cống hiến chủ yếu trong lĩnh vực này thuộc về các nhà bác học lỗi lạc như: N.Wiener, A. Feinstain, C.E Shanon, A.N. Kanmôgorov, A.JA Khintrin. Lý thuyết thông tin ứng dụng: (lý thuyết truyền tin) Chuyên nghiên cứu các bài toán thực tế quan trọng do kỹ thuật liên lạc đặt ra có liên quan đến vấn đề chống nhiễu và nâng cao độ tin cậy của việc truyền tin. Các bác học C.E Shanon, S.O RiCe, D. Midleton, W. Peterson, A.A Khakevich, V. Kachenhicov đã có những công trình quý báu trong lĩnh vực này. 1.2. Tin tức và các khái niệm cơ bản 1.2.1. Các định nghĩa 1.2.1.1. Thông tin Thông tin là một khái niệm trừu tượng, phi vật chất và rất khó định nghĩa. Có nhiều cách định nghĩa về thông tin. Dưới đây là một số định nghĩa: Thông tin là sự cảm hiểu của con người về thế giới xung quanh thông qua việc tiếp xúc với nó. Thông tin là một hệ thống những tin báo và mệnh lệnh giúp loại trừ sự không chắc chắn của nơi nhận tin. Nói một cách ngắn gọn, thông tin là cái mà loại trừ sự không chắc chắn. Định nghĩa đầu tiên chưa nêu rõ bản chất của thông tin, định nghĩa thứ hai nói rõ hơn về bản chất của thông tin và được dùng để định lượng thông tin trong kỹ thuật. Ngoài ra có người còn định nghĩa thông tin là những tính chất xác định của vật chất mà con người (hoặc hệ thống kỹ thuật) nhận được từ thế giới vật chất bên ngoài hoặc từ những quá trình xảy ra trong bản thân nó. Với định nghĩa này, mọi ngành khoa học là khám phá ra các cấu trúc thông qua việc thu thập, chế biến, xử lý thông tin. Ở đây “thông tin” là một danh từ chứ không phải là động từ để chỉ một hành vi tác động giữa hai đối tượng (người, máy) liên lạc với nhau. Theo quan điểm triết học, thông tin là một quảng tính của thế giới vật chất (tương tự như năng lượng, khối lượng). Thông tin không được tạo ra mà chỉ được sử dụng bởi hệ thụ cảm. Thông tin tồn tại một cách khách quan, không phụ thuộc vào hệ thụ cảm. Trong nghĩa khái quát nhất, thông tin là sự đa dạng. Sự đa dạng ở đây có thể hiểu theo nhiều nghĩa khác nhau: Tính ngẫu nhiên, trình độ tổ chức,… 1.2.1.2. Tin Tin là dạng vật chất cụ thể để biểu diễn hoặc thể hiện thông tin. Có hai dạng là tin rời rạc và tin liên tục. Ví dụ các bức ảnh, bản nhạc, bài nói, bảng số liệu, ...v.v là các tin. 1.2.1.3. Tín hiệu Thông tin là một hiện tượng vật lý, nó thường tồn tại và được truyền đi dưới dạng vật chất nào đó. Những dạng vật chất để mang thông tin được gọi là tín hiệu. Trong kỹ thuật có thể hiểu, tín hiệu là các đại lượng vật lý biến thiên, phản ánh tin cần truyền. Cần chú ý rằng không phải bản thân quá trình vật lý là tín hiệu mà sự biến đổi các tham số riêng của quá trình vật lý mới là tín hiệu. Các đặc trưng vật lý có thể là dòng điện, điện áp, ánh sáng, âm thanh, ...v.v. 1.2.2. Sơ đồ khối hệ thống thông tin Ngay nay, với sự phát triển mạnh mẽ của công nghệ điện tử viễn thông, có rất nhiều các hệ thống thông tin khác nhau đã được hình thành và phát triển. Khi đó việc phân loại các hệ thống thông tin có thể được dựa trên nhiều cơ sở khác nhau. Ví dụ như dựa trên cơ sở về năng lượng mang tin có thể chia các hệ thống truyền tin thành các loại như: - Hệ thống thông tin vô tuyến dùng sóng điện từ - Hệ thống thông tin quang hữu tuyến dùng ánh sáng - Hệ thống thông tin dùng sóng âm, siêu âm (năng lượng cơ học)... Hay dựa vào các biểu hiện bên ngoài mà ta chia thành các hệ thống như: - Hệ thống truyền số liệu - Hệ thống truyền hình - Hệ thống điện thoại cố định công cộng - Hệ thống thông tin di động,...v.v. Chúng ta cũng có thể chia hệ thống thông tin thành hai loại hệ thống: - Hệ thống truyền tin rời rạc - Hệ thống truyền tin liên tục Nguồn tin Kênh tin Nhận tin Nhiễu Hình 1.1. Sơ đồ khối hệ thống thông tin Tuy nhiên, một cách tổng quát hệ thống thông tin có thể được biểu diễn bởi sơ đồ khối sau: 1.2.2.1. Nguồn tin Nguồn tin là nơi sản sinh ra hay chứa các tin cần truyền đi. Khi một đường truyền tin được thiết lập để truyền tin từ nguồn tin đến nơi nhận tin, một dãy các phần tử cơ sở (các tin) của nguồn sẽ được truyền đi với một phân bố xác suất nào đó. Dãy này được gọi là một bản tin. Do đó có thể định nghĩa: Nguồn tin là tập hợp các tin mà hệ thống truyền tin dùng để lập các bản tin khác nhau để truyền tin. Nếu tập tin là hữu hạn thì nguồn sinh ra nó được gọi là nguồn rời rạc. Nếu tập tin là vô hạn thì nguồn sinh ra nó được gọi là nguồn liên tục. Nguồn tin có hai tính chất: Tính thống kê và tính hàm ý. Với nguồn rời rạc, tính thống kê biểu hiện ở chỗ xác suất xuất hiện các tin là khác nhau. Tính hàm ý biểu hiện ở chỗ xác suất xuất hiện của một tin nào đó sau một dãy tin khác nhau nào đó là khác nhau. Ví dụ: P(x/ta) ≠ P(x/ba) Thông tin trước khi truyền đi có thể được xử lý mã hoá để nén, chống nhiễu và bảo mật. 1.2.2.2. Kênh tin Kênh tin là nơi hình thành, truyền hay lưu trữ tín hiệu mang tin đồng thời ở đó xảy ra các tạp nhiễu phá huỷ tin tức. Trong lý thuyết tín hiệu và truyền tin, kênh tin là một khái niệm trừu tượng đại biểu cho hỗn hợp tín hiệu và tạp nhiễu. Để truyền tin, ta thường sử dụng một môi trường nào đó để truyền. Môi trường truyền tin thường rất đa dạng. Môi trường không khí, ta có thể truyền tin dưới dạng âm thanh, tiếng nói hay bằng lửa (ánh sáng). Môi trường tầng điện ly thường là nơi xảy ra sự truyền tin giữa các vệ tinh nhân tạo và các trạm rada ở mặt đất. Hay có thể truyền tin bằng ánh sáng qua các môi trường truyền là sợi dẫn quang trong đó tín hiệu mang tin được truyền dưới dạng ánh sáng,...v.v. Cho dù truyền tin dưới bất kỳ môi trường nào cũng đều bị ảnh hưởng bởi nhiễu. Nhiễu rất phong phú và đa dạng, phụ thuộc vào bản chất của môi trường truyền tin. Ví dụ khi truyền tin bằng âm thanh thì những tiếng ồn xung quanh chính là nhiễu hay khi truyền bằng sóng điện từ qua những nơi có điện từ trường mạnh thì cũng sẽ bị ảnh hưởng. Nhiễu có nhiều loại như nhiễu cộng tính hay nhiễu nhân. 1.2.2.3. Nhận tin Nơi nhận tin là nơi tiếp nhận thông tin từ kênh truyền và khôi phục lại thông tin ban đầu như nguồn tin đã phát đi. Tin đến được nơi nhận tin thường không thu được như tin ban đầu truyền đi vì đã chịu sự tác động của nhiễu. Vì thế, nơi nhận phải thực hiện việc phát hiện sai và sửa sai. Hơn thế nữa, nếu nguồn tin được thực hiện mã hoá nén hay bảo mật thì nơi nhận tin cũng phải thực hiện việc giải nén hay giải mã bảo mật để nhận lại tin. Nơi nhận tin thường có ba chức năng cơ bản: - Lưu giữ tin, ví dụ như bộ nhớ máy tính, băng ghi âm, ghi hình,... - Biểu thị tin làm cho các giác quan của con người hay các bộ cảm biến cảm thụ được để xử lý tin, ví dụ như băng ghi âm, hình ảnh,... - Xử lý tin đưa tin về dạng dễ sử dụng. Chức năng này có thể thực hiện bởi con người hay bằng các thiết bị máy móc. 1.2.3. Hệ thống thông tin số Các hệ thống thông tin tương tự được tiếp tục phát triển từ thế kỷ trước và đạt được nhiều thành tựu. Tuy nhiên, hệ thống thông tin tương tự có những nhược điểm cố hữu không thể khắc phục. Các hệ thống này thường rất cồng kềnh, không hiệu quả và chi phí rất cao. Ví dụ vấn đề về nhiễu trong hệ thống thông tin tương tự luôn làm đau đầu các nhà khoa học. Các hệ thống rời rạc (số) có nhiều ưu điểm và khắc phục được những nhược điểm của hệ thống liên tục. Ngày nay, các hệ thống rời rạc ngày càng được phát triển mạnh mẽ và thu được những thành tựu vượt cả ngoài sự mong đợi. Để thực hiện được các hệ thống rời rạc trước hết phải rời rạc hoá tín hiệu mang tin. Có hai loại rời rạc hoá: Rời rạc hoá theo trục thời gian hay còn gọi là lấy mẫu và rời rạc hoá theo biên độ hay còn gọi là lượng tử hoá. Lấy mẫu tín hiệu là từ một hàm ban đầu ta lấy ra những mẫu ở những thời điểm nhất định. Điều quan trọng là làm thế nào để có thể thay thế tương đương các mẫu lấy được với tín hiệu gốc. Điều này được giải quyết bởi định lý lấy mẫu của Shannon. Shannon chính là cha đẻ của lý thuyết tín hiệu và truyền tin. Định lý lấy mẫu Shannon được phát biểu như sau: Một hàm S(t) có phổ hữu hạn, không có thành phần tần số lớn hơn wmax (= 2pfmax) có thể thay thế bằng các mẫu của nó được lấy tại các thời điểm cách nhau một khoảng Dt£ p/wmax hay nói cách khác tần số lấy mẫu F ³ 2fmax. S(t) Smax Smin t Hình 1.2. Quá trình lấy mẫu tín hiệu Hình 1.2 minh hoạ điều này. Biên độ của tín hiệu thường là một khoảng liên tục (Smin , Smax). Lượng tử hoá là phân chia khoảng này thành một số mức nhất định, chẳng hạn là: S0 = Smin, S1 = ...,..., Sn = Smax và qui các giá trị biên độ không trùng với các giá trị này về các giá trị gần với nó nhất. Có nghĩa là sẽ có sai số khi thực hiện lượng tử hoá. Như vậy việc lượng tử hoá sẽ biến hàm S(t) thành một hàm S'(t) có dạng bậc thang. Sự sai khác giữa S(t) và S'(t) được gọi là sai số lượng tử hoá. Sai số lượng tử càng nhỏ thì S'(t) càng gần với S(t). S(t) Sn S1 t Hình 1.3. Quá trình lượng tử hóa Hình 1.3 minh hoạ quá trình lượng tử hoá. Khi đã thực hiện việc rời rạc hoá tín hiệu ta sẽ có các nguồn tin rời rạc. Trong nhiều trường hợp chúng ta thường chỉ nghiên cứu các nguồn rời rạc. Một bảng chữ cái A gồm m kí hiệu là một nguồn tin rời rạc, A = {a1, a2, ..., am} với những xác suất hiện p(ai) với i = 1,..., m. Nguồn tin này không diễn tả mối quan hệ giữa các tin trước và tin sau nên được gọi là nguồn tin không nhớ rời rạc. Có nhiều phương pháp biến đổi trong hệ thống thông tin số như dưới đây minh hoạ. Hình 1.4. Các phương pháp biến đổi thông tin số trong các khối chức năng của hệ thống. 1.3. Độ đo thông tin Độ đo của một đại lượng là cách ta xác định độ lớn của đại lượng đó. Mỗi độ đo phải thoả mãn 3 tính chất sau: - Độ đo phải cho phép ta xác định được độ lớn của đại lượng. Đại lượng càng lớn, giá trị đo được càng phải lớn. - Độ đo phải không âm. - Độ đo phải tuyến tính, tức là giá trị đo được của đại lượng tổng cộng phải bằng tổng giá trị của các đại lượng riêng phần khi sử dụng độ đo này để đo chúng. Để xác định độ đo thông tin, chúng ta nhận thấy rằng thông tin càng có nhiều ý nghĩa khi nó càng hiếm gặp, do đó độ lớn của nó phải tỷ lệ nghịch với xác suất xuất hiện của tin, hay nó là hàm f(1/p(xi)) cho tin xi có xác suất xuất hiện p(xi). Một tin không cho chúng ta lượng tin nào khi chúng ta đã biết trước về nó hay có xác suất bằng 1. Để xác định dạng hàm này, người ta sử dụng tính chất thứ ba. Giả thiết rằng có hai tin xi và xj là độc lập thống kê để mỗi tin không chứa thông tin về tin còn lại. Nếu hai tin có xác suất hiện là p(xi) và p(xj), lượng tin của mỗi tin là f(1/p(xi)) và f(1/p(xj)). Giả thiết hai tin này cùng đồng thời xuất hiện, ta có tin (xi, xj), lượng tin chung cho tin này phải bằng tổng lượng tin của từng tin riêng biệt. Khi hai tin xuất hiện đồng thời, xác suất xuất hiện đồng thời của chúng là p(xi, xj), và ta có: f(1/ p(xi, xj)) = f(1/ p(xi)) + f(1/ p(xj)) (1.1) Vì hai tin là độc lập thống kê nên: p(xi, xj) = p(xi) + p(xj) (1.2) Vậy nên: f(1/ (p(xi).p(xj))) = f(1/ p(xi)) + f(1/ p(xj)) (1.3) Như vậy, trong trường hợp này hàm f phải có dạng hàm loga. Vậy hàm log(1/p(xi)) là dạng hàm có thể chọn làm độ đo thông tin. Ta cần kiểm tra tính không âm của hàm này. Vì ta có 0£p(xi)£1 nên 1/p(xi)³1 hay log(1/p(xi)) là không âm. Thêm vào đó khi một tin luôn luôn xuất hiện thì lượng tin nhận được bằng không, ta sẽ kiểm tra điều kiện này. Khi đó p(xi) = 1, do vậy log(1/p(xi)) = 0. Vậy hàm log(1/p(xi)) được sử dụng làm độ đo thông tin hay lượng đo thông tin của một tin của nguồn tin. Lượng đo thông tin của tin xi của nguồn tin nào đó thường được kí hiệu là I(xi) : I(xi) = log(1/p(xi)) (1.4) Trong biểu thức trên cơ số của hàm loga chưa được chỉ ra. Tuỳ vào cơ số của hàm loga này ta sẽ có các đơn vị đo độ lớn thông tin xác định. Hiện nay, thường dùng các đơn vị đo sau: Bit hay đơn vị nhị phân khi cơ số loga là 2; Nat hay đơn vị tự nhiên khi cơ số loga là e; Hartley hay đơn vị thập phân khi cơ số loga là 10. Ví dụ 1. Nguồn A có m kí hiệu đẳng xác suất, một tin do nguồn A hình thành là một dãy n kí hiệu ai bất kỳ (ai ÎA). Chúng ta sẽ xác định lượng tin chứa trong một tin như vậy. Trước hết hãy tìm lượng tin chứa trong một tin ai. Do đẳng xác suất nên mỗi tin ai đều có xác suất là 1/m, do đó: I(ai) = logm Lượng tin chứa trong một dãy x gồm n kí hiệu bằng n lần lượng tin của một kí hiệu (vì chúng đẳng xác suất): I(x) = nlogm Đơn vị lượng tin tuỳ thuộc cách ta chọn cơ số của log, là bit, nat, hay Hartley nếu có số lần lượt là 2, e hay 10. Rõ ràng khi m kí hiệu của nguồn có những xác suất khác nhau và không độc lập thống kê với nhau thì lượng tin riêng từng kí hiệu phụ thuộc vào xác suất xuất hiện p(ai) của nó: I(ai) = log 1/p(ai) Và lượng tin chứa trong một dãy kí hiệu của nguồn không những phụ thuộc vào xác suất xuất hiện từng kí hiệu mà còn phụ thuộc vào xác suất có điều kiện. Khái niệm này sẽ được đề cập đến một cách chi tiết ở các chương sau. Ví dụ 2: Hãy xác định lượng tin riêng chứa trong một ô nhớ của bộ nhớ bán dẫn. Giải: Một ô nhớ như đã biết có thể chứa các tin là 0 hay 1. Nguồn tin là nguồn tin nhị phân N=2. Ta đặt như sau: tin a1 tương ứng với 0 và a2 tương ứng với 1. Vì đẳng xác suất nên P(a1)=P(a2). Và ta có cũng có: P(a1) + P(a2) = 1. Hay P(a1) = P(a2) =1/2 Vậy: I(a1) = I(a2) = log22 = 1 (bit) Vậy một ô nhớ có lượng tin là 1 bit nếu tính theo cơ số 2. Ví dụ 3: Cho một nguồn tin có 8 tin với phân bố xác suất như sau: Tin ai a1 a2 a3 a4 a5 a6 a7 a8 Xác suất P(ai) 1/4 1/4 1/8 x 1/16 1/16 1/16 1/16 Hãy xác định lượng tin riêng của a4. Giải: Ta có P(a4) =1/8 và I(a4) = log 8 = 3bit. Lượng tin chứa trong một dãy kí hiệu của nguồn không những phụ thuộc vào xác suất xuất hiện từng kí hiệu mà còn phụ thuộc vào xác suất có điều kiện. Khái niệm này sẽ được đề cập đến một cách chi tiết ở các chương sau. 1.3.3. Lượng tin trung bình thống kê - Entropy của nguồn tin 1.3.3.1. Lượng tin trung bình thống kê của nguồn tin Lượng tin trung bình của một nguồn tin A là lượng tin trung bình chứa trong một kí hiệu bất kỳ của nguồn tin. Ta thường kí hiệu là I(A) và được tính bởi: (1-5) Ví dụ 4: Ta sử dụng lại điều kiện của ví dụ 3. Bây giờ hãy tính lượng tin riêng của các kí hiệu và trung bình của nguồn tin. Giải: Theo biểu thức 1-4 ta có bảng giá trị lượng tin riêng của các tin như sau: Lượng tin riêng I(a1) a2 a3 A4 a5 a6 a7 a8 2 2 3 3 4 4 4 4 Theo biểu thức (1-5) ta có: I(A) = 2*2*1/4 +2*3*1/8 +4*4*1/16 = 2,75 bit. Điều này cho ta thấy rằng có thể biểu diễn các tin trong nguồn tin A bằng chuỗi có chiều dài trung bình là 2,75 bit thay vì dùng 4 bit. Bây giờ ta xét một sự biến đổi một nguồn X thành nguồn Y thông qua sự truyền lan trong một kênh truyền. Qua bất kỳ một kênh truyền nào cũng đều có nhiễu do vậy sự truyền lan X qua kênh thành Y không phải là một - một. Ta sẽ đi tìm khả năng xi nào có khả năng lớn nhất chuyển thành yj trong quá tình truyền tin. Từ đây ta có khái niệm lượng thông tin tương hỗ, lượng tin còn lại của xi sau khi đã nhận yj (lượng tin điều kiện). Lượng tin còn lại của xi sau khi nhận được là yj xác định nhờ xác suất hậu nghiệm: (1-6) Lượng tin tương hỗ là hiệu lượng tin riêng và lượng t