Đề tài Một giải thuật học của các mạng noron mờ với các trọng số mờ tam giác

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI Khoa Công nghệ thông tin -------- & -------- BÁO CÁO NGHIÊN CỨU KHOA HỌC Đề tài Một giải thuật học của các mạng noron mờ với các trọng số mờ tam giác Hà Nội, 04-2008 Mục lục Phần I: Giới thiệu Lý do chọn đề tài Bộ não con người là một máy tính kì diệu, từ lâu con người đã nghĩ tới viêc xây dựng các mô hình tính toán, mô phỏng quá trình hoạt động của bộ não con người. Trước đây, do công cụ tính toán chưa phát triển mạnh nên ý tưởng đó vẫn nằm trong phòng thí nghiệm và chỉ những người nghiên cứu mới biết về nó. Khi máy tính điện tử, công cụ chủ yếu của công nghệ thông tin hiện đại, phát triển tới mức độ cao thì những ý tưởng này đã được hiện thực hoá. Chất lượng và khối lượng của các hoạt động trí óc này không ngừng tăng lên theo sự tiến triển nhanh chóng về khả năng lưu trữ và xử lý thông tin của máy. Từ hàng chục năm nay, cùng với khả năng tính toán khoa học kỹ thuật không ngừng được nâng cao, các hệ thống máy tính đã được ứng dụng và thực hiện được rất nhiều mô hình tính toán thông minh để phục vụ cho các ngành kinh tế, xã hội, hình thành dần kết cấu hạ tầng thông tin quốc gia, nền móng của sự phát triển kinh tế thông tin ở nhiều nước. Sự phong phú về thông tin, dữ liệu cùng với khả năng kịp thời khai thác chúng đã mang đến những năng suất và chất lượng mới cho công tác quản lý, hoạt động kinh doanh, phát triển sản xuất và dịch vụ... Một trong những mô hình tính toán thông minh đó, ta phải kể đến đó chính là mạng Noron nhân tạo. Điểm quyết định nên sự tồn tại và phát triển ở một con người đó chính là bộ não. Cùng với sự phát triển như vũ bão của công nghệ thông tin trong thời đại ngày nay, con người đã sử dụng bộ não của mình để tư duy, để tạo ra một mạng noron nhân tạo có thể thực hiện tính toán và làm được những điều huyền bí, tưởng chừng như nan giải! Với sự kết hợp kỳ diệu của tin học và sinh học, con người đã có thể mô phỏng được hoạt động của các mạng noron trong bộ não của chúng ta thông qua các chương trình máy tính. Có lẽ mạng noron không chỉ hấp dẫn đối với những người yêu thích công nghệ thông tin bởi khả năng do con người huấn luyện, mà còn bởi những ứng dụng thực tiễn trong cuộc sống của nó. Chúng ta hoàn toàn có thể nhận dạng dấu vết vân tay của tội phạm trong hình sự, có thể dự đoán thị trường chứng khoán, dự đoán thời tiết, dự toán chi phí cho một dự án đường cao tốc, khôi phục những tấm ảnh, hay một chiếc xe lăn dành cho người khuyết tật có thể nhận được mệnh lệnh điều khiển bằng cử chỉ, hành động, thậm chí là suy nghĩ của người ngồi trên xe v.v… nhờ có mạng noron nhân tạo. Khi nghiên cứu mạng noron nhân tạo, dễ thấy việc huấn luyện mạng luôn là vấn đề khó và được nhiều người quan tâm. Ngày nay,các mạng noron đã được phát triển thành các mạng noron mờ để xử lý các thông tin mờ, trong những phát triển như vậy vấn đề huấn luyện mạng ngày càng trở nên phức tạp.Trong khuôn khổ của một báo cáo khoa học, em chọn đề tài “Một giải thuật học của các mạng noron mờ và các trọng số mờ tam giác” nhằm tìm hiểu chung về mạng và thuật toán huấn luyện mạng noron mờ. Mục đích nghiên cứu - Tìm hiểu về mạng noron và ứng dụng. - Nghiên cứu các bước xây dựng một ứng dụng nhờ mạng noron. Nội dung nghiên cứu Lý thuyết tập mờ. Mạng noron. Một giải thuật học của các mạng noron mờ với các trọng số mờ. Bố cục báo cáo 1.Chương 1: Lý thuyết tập mờ và một số phép toán trên những số mờ. 2. Chương 2: Mạng noron. 3.Chương 3: Giới thiệu về một thuật toán của các mạng noron mờ với những trong số mờ tam giác. Phần II. Nội dung Chương I:Tập mờ và một số phép toán trên các số mờ I.1. Tập mờ I.1.1. Nhắc lại tập kinh điển Định nghĩa 1: Cho một tập hợp A. Ánh xạ : A {0 , 1} được định nghĩa trên tập A như sau: 1 nếu (1.1) 0 nếu được gọi là hàm thuộc của tập hợp A. Tập A là tập kinh điển. Như vậy chỉ nhận một trong hai giá trị hoặc bằng 1 hoặc bằng 0. Giá trị 1 của hàm thuộc ứng với trường hợp x thuộc A , ngược lại giá trị 0 ứng với trường hợp x không thuộc A. Một tập X luôn có 1, với mọi x được gọi là tập vũ trụ. Một tập A có dạng A = { x X | x thỏa mãn một số tính chất nào đó} thì được nói là có tập vũ trụ X, hay được định nghĩa trên tập vũ trụ X. Ví dụ tập A = { x R | 2< x <4} có tập vũ trụ là tập các số thực R. Với khái niệm tập vũ trụ như trên thì hàm thuộc của tập A có tập vũ trụ X sẽ được hiểu là ánh xạ : X {0,1} từ X vào tập {0,1} gồm 2 phần tử 0 và 1. Với cách sử dụng hàm thuộc như vậy thì các phép toán trên tập hợp được biểu diễn như thế nào? Sau đây ta sẽ xét lần lượt các phép đó Hàm thuộc với bốn phép toán trên tập hợp gồm phép hợp, giao, hiệu (hình 1.1) và phép bù có các tính chất sau: B A\B A B AB A B a b c Hình 1.1: Các phép toán trên tập hợp Hiệu của hai tập hợp Giao của hai tập hợp Hợp của hai tập hợp - Phép hiệu: - Phép giao: = - Phép hợp: = max{,}. - Phép bù: = 1 - . I.1.2. Định nghĩa tập Mờ Xét ví dụ đơn giản sau: Cho X là không gian nền các số thực. Xét tập B = { x R | x 6}. Khi đó A là một tập mờ tập vũ trụ X vì các giá trị xấp xỉ 6 sẽ gây phân vân cho người đọc. Có người cho rằng bắt đầu từ số 5.4455 là xấp xỉ 6. Trong khi đó, người khác lại cho rằng 3.56666 Nhằm thống nhất những quan điểm trái ngược nhau đo, người ta đưa thêm vào một giá trị trong khoảng từ 0 đến 1 để chỉ mức độ phụ thuộc của một giá trị vào 2 quan điểm trên. Việc đưa thêm giá trị thuộc này gọi là việc mờ hoá giá trị rõ x. Từ đó ta đi đến khái niệm tập mờ. Định nghĩa 2: Tập mờ là một tập hợp mà mỗi phần tử cơ bản x của nó được gán thêm 1 giá trị thực [0,1] để chỉ sự phụ thuộc của phần tử đó vào tập đã cho. Khi độ phụ thuộc (độ thuộc) bằng 0 thì phần tử đó hoàn toàn không phụ thuộc vào tập đã cho, ngược lại với độ thuộc là 1, phần tử đó sẽ thuộc tập hợp với xác suất là 100% Như vậy tập mờ là tập gồm các cặp (x, ). Tập kinh điển U các phần tử của X gọi là tập vũ trụ của tập mờ. Cho x chạy hết các giá trị thuộc U ta sẽ có hàm nhận các giá trị thuộc [0,1]. Đây chính là điều khác biệt cơ bản giữa tập kinh điển và tập mờ. Kí hiệu: hay A= gọi là hàm thuộc (hàm thành viên) Về mặt ngữ nghĩa, hàm thành viên cho ta khả năng biểu thị trực cảm của chúng ta về mặt ý nghĩa của khái niệm mờ. Nhưng tại sao khái niệm một tập mờ lại được biểu thị bằng một hàm thành viên này mà không phải là một hàm khác. Có thể thấy, không thể xác định chính xác cho một hàm thành viên cho một khái niệm mờ. Vì vậy người ta nói hàm thành viên có tính chất chủ quan và Zadeh đưa ta ý tưởng là việc chấp nhận một khái niệm mờ được biểu thị bằng một tập mờ (hàm thành viên) là một rằng buộc (constraint). I.1.3 Các phép toán trên tập mờ Một nguyên tắc cơ bản trong việc xây dựng các phép toán trên tập mờ là không được mâu thuẫn với những phép toán đã có trong lý thuyết tập hợp thông thường. Hàm thuộc của các tập mờ , , … được định nghĩa cùng với tập mờ, song sẽ không mâu thuẫn với các phép toán tương tự của tập hợp thông thường nếu như chúng không thỏa mãn những tính chất tổng quát của lý thuyết tập hợp thông thường. I.1.3.1 Phép hợp hai tập mờ Định nghĩa 3: Hợp của hai tập mờ và có cùng tập vũ trụ X là một tập mờ cũng xác định trên vũ trụ X có hàm thuộc thỏa mãn: a) chỉ phụ thuộc vào ,. b) = 0 với mọi x = . c) =, tức là có tính giao hoán d) Có tính kết hợp, tức là = e) Nếu 1 2 thì 1 2 hay có tính chất không giảm tức Có nhiều công thức khác nhau để được dùng để tính hàm thuộc cho hợp hai tập mờ. Ví dụ 5 công thức sau đây có thể được sử dụng để định nghĩa hàm thuộc của phép hợp giữa hai tập mờ: 1) = max{,} (Luật lấy max) (1.2) 2) = (1.3) 3) = min{1, +} (Phép hợp Lukasiewicz) (1.4) 4) (tổng Einstein) (1.5) 5) (tổng trực tiếp…) (1.6) Trong phần nghiên cứu này, chúng ta sử dụng công thức (1.2) dùng để tính toán. Các công thức còn lại có thể sử dụng trong hướng phát triển sau này. I.1.3.2. Phép giao 2 tập mờ Định nghĩa 4: Giao của hai tập mờ và có cùng tập vũ trụ X là một tập mờ cũng xác định trên tập vũ trụ X với hàm thuộc thỏa mãn : a) chỉ phụ thuộc vào ,. b) = 1 với mọi x = . c) =, tức là có tính giao hoán d) Có tính kết hợp, tức là = e) (hàm không giảm) Có nhiều công thức khác nhau dùng để tính hàm thuộc của giao hai tập mờ và bất cứ một ánh xạ nào thỏa mãn 5 tiêu chuẩn đã nêu trong định nghĩa trên đều được xem như là hàm thuộc của giao hai tập mờ và có chung tập vũ trụ X. Các công thức thường dùng để tính hàm thuộc của phép giao gồm: (1.8) (1.9) = (phép giao Lukasiewicz) (1.10) (tích Einstein) (1.34) = (tích đại số) (1.11) Từ 5 công thức nêu trên thì có luật min và tích đại số là hai loại luật xác định hàm thuộc của giao hai tập mờ được dùng nhiều hơn. Trong tài liệu này, chúng ta sử dụng luật min (1.8) để tính toán I.1.3.3 Phép bù của một tập mờ. Định nghĩa 5: Tập bù của tập mờ định nghĩa trên tập vũ trụ X là một tập mờ cũng xác định trên tập vũ trụ X với hàm thuộc thỏa mãn : chỉ phụ thuộc vào . Nếu thì hay =1 = 0 Nếu thì hay =0 = 1 Nếu thì tức là Do hàm thuộc của chỉ phụ thuộc vào nên ta có thể xem như là một hàm của . Từ đó có định nghĩa tổng quát về phép bù mờ như sau : * Định nghĩa 6 : Tập bù của tập mờ định nghĩa trên tập vũ trụ X là một tập mờ cũng xác định trên tập vũ trụ X với hàm thuộc thỏa mãn a ) và b) tức là hàm không tăng. c) I.2. Các phép toán trên những số mờ Trước khi mô tả kiến trúc mạng noron mờ chúng ta đề cập ngắn gọn phép toán số học mờ đã xác định bởi nguyên lý mở rộng. Trong bài báo này, chúng ta biểu thị lần lượt những số thực và những số mờ là những chữ thường và chữ in hoa. Từ đó những vector tín hiệu vào và những trọng số kết nối của mạng noron mờ truyền thẳng nhiều noron được mờ hoá trong bài báo này, dưới đây là phép cộng, phép nhân, và ánh xạ không tuyến tính của những số mờ trong mạng noron mờ: Trong đó A,B,Net là những số mờ, biểu thị hàm thuộc của mỗi số mờ, là toán tử nhỏ nhất và là hàm kích hoạt của những noron ẩn và những noron ra của mạng noron mờ. Các phép toán đó được minh hoạ trong hình 1 và hình 2 Hình 1.2:các phép toán của số mờ Hình 1.3: hàm kích hoạt mờ Những phép toán trước của những số mờ được thực hiện trên các tập mức (như cắt-). Tập mức h của một số mờ X được xác định như sau: với (1.15) Trong đó là hàm thuộc của X và R là tập hợp các số thực. Từ đó những tập mức của những số mờ trở thành những khoảng đóng, chúng ta biểu thị [X]h như sau: (1.16) Trong đó [X] và lần lượt giới hạn dưới và giới hạn trên của tập mức h. Những phép toán trước của những số mờ được viết lại cho những tập mức h như sau: Trong trường hợp có thể được đơn giản hoá như sau: Chương II Mạng noron II.1.Mô hình của 1 noron Hình 1.4: noron nhân tạo W2 ……. Wn Xn X2 X1 W1 OUT Bias Đầu vào của noron nhân tạo gồm n tín hiệu xi (i=1,2,…,n). Mỗi tín hiệu đầu vào tương ứng với một trọng số Wi (i=1,2,..,n) biểu thị mức độ ảnh hưởng của Xi tới noron thứ j. Giả sử các trọng số là khác nhau, chúng ta có thể ước lượng tổng tín hiệu đi vào của noron và được gọi là Net đầu vào, nhưng ta có thể giả định là: - Net đầu vào là hàm của các tín hiệu Xi và các trọng số Wi. - Hàm liên kết Net là tổng của tích các tín hiệu XI và Wi. Đây không phải là cách duy nhất biểu diễn tổng tín hiệu vào của noron. Có còn rất nhiều hàm phức tạp nhưng cách trên là đơn giản và hữu ích khi chúng ta xây dựng một mạng có nhiều noron Ngoài ra ra còn có một hàn kích hoạt f biến đổi từ Net sang tín hiệu đầu ra OUT=f(Net). Hàm này thoả mãn các điều kiện sau: Tín hiệu Out phải không âm đối với mọi giá trị của Net. Hàm f phải liên tục và không bị chặn trên khoảng [0,1]. Có nhiều hàm f thảo mãn điều kiện trên, song trong báo cáo này em sử dụng hàm chữ S (Sigmoidal): (1.21) Với giá trị Net âm lớn, hàm F có giá trị 0 (sai); với giá trị Net dương lớn, hàm F có giá trị 1 (đúng). Hàm cũng nhận các giá trị liên tục từ 0 đến 1 (các giá trị mờ giữa 0 và 1). Khả năng này của hàm tạo nên mối liên hệ giữa mạng noron và liên kết mờ. Bằng việc thay đổi các thông số chúng ta có thể tác động tới tính mờ của hàm. Điều này tạo điều kiện thuận lợi cho các thủ tục học, thủ tục dự báo của mạng. ở đây, xét với trường hợp ta có (1.22) II.2. Lớp noron Một lớp bao gồm một nhóm các noron được tổ chức theo một cách sao cho tất cả chúng đều nhận cùng một vecto đầu vào X để xử lý tại cùng thời điểm. Việc sản sinh ra Net đầu vào, biến đổi thành tín hiệu ra Out xuất hiện cùng một lúc trong tất cả các noron. Vì mỗi noron trong một lớp sản sinh ra Net đầu vào và tín hiệu ra Out riêng nên tất cả các tín hiệu này được tổ chức thành các vecto Net và Out. Các vecto Out này có thể dùng như tín hiệu vào X của các noron kế tiếp. Hình vẽ sau là một ví dụ về 1 lớp có 4 noron và vecto tín hiệu vào có 3 biến. Hình 1.5- Lớp noron. II.3. Khái niệm và phân loại mạng noron Một mạng noron bao gồm một vài lớp liên kết với nhau. Nếu lấy số lớp là tiêu chuẩn để phân loại mạng thì ta có: mạng một lớp và mạng nhiều lớp. + Mạng 1 lớp: đây là cấu trúc mạng noron đơn giản nhất. Mạng noron này chỉ gồm 1 lớp xuất, không có lớp ẩn. Noron Noron Noron Noron Input Output Hình 1.6- Cấu trúc mạng Noron 1 lớp + Mạng nhiều lớp: có lớp vào, lớp ra và các lớp ẩn. Trong đó, lớp nhận tín hiệu đầu vào (vecto đầu vào X) được gọi là lớp vào. Các tín hiệu đầu ra của mạng được sản sinh bởi lớp ra của mạng. Các lớp nằm giữa lớp vào và lớp ra được gọi là lớp ẩn và nó là thành phần nội tại của mạng và không có bất kỳ tiếp xúc nào với môi trường bên ngoài. Số lượng lớp ẩn có thể dao động từ 0 đến một vài lớp. Càng nhiều lớp ẩn thì khả năng mở rộng thông tin càng cao và xử lý tốt mạng có nhiều input và output. Tuy nhiên, thực tế cho thấy chỉ cần một lớp ẩn là mạng đã đủ để giải quyết được một lớp các bài toán khá phức tạp. Hình1.7- Cấu trúc mạng noron nhiều lớp Nếu lấy liên kết giữa các noron, giữa các lớp vào nhau làm tiêu chuẩn để phân loại thì ta có: mạng truyền thẳng và mạng nối ngược (mạng hồi quy). + Mạng truyền thẳng (feedforrward): là mạng có đặc điểm không có tín hiệu ra nào của một lớp là tín hiệu vào của noron nào đó trên cùng một lớp. Hình 1.8- Mạng feedforrward + Mạng nối ngược (feedback): là mạng có các tín hiệu ra được gửi trở lại như là các tín hiệu vào của cùng một lớp hay lớp trước đó. Mạng noron có các vòng lặp khép kín gọi là mạng hồi quy. Hình 1.9- Mạng hồi quy Vậy các thông số cấu trúc của mạng noron nhân tạo gồm có là: + Số tín hiệu vào và tín hiệu ra + Số lớp noron + Số noron trên mỗi lớp + Số trọng số của mỗi noron + Cách các trọng số được nối bên trong hoặc giữa các lớp + Những noron nào nhận tín hiệu hiệu chỉnh. + Số lượng liên kết của mỗi noron (liên kết đầy đủ, liên kết bộ phận và liên kết ngẫu nhiên). II.4.Thủ tục học của mạng Nguyên tắc học của mạng noron được chia làm 2 loại: học tham số và học cấu trúc. Trong đo, học tham số quam tâm đến chiến lược hiệu chỉnh trong số của các noron trong mạng. Học cấu trúc tập trung vào việc thay đổi cấu trúc bao gốm số lớp, số noron, cấu trúc topo của các trọng số. Cả 2 loại có thể học đồng thời hoặc tách biệt. Học tham số Giả sử co n noron, mỗi noron có m trọng số. Chúng có thể được kết hợp lại tạo thành ma trận dạng sau: W== Trong đó, wi=(wi1,wi2,…,wim)T, i=1,2,…,n là vecto trọng số của noron thứ i và wij là trọng số kết nối từ noron thứ j đến noron thứ i. Các thủ tục học tham số nhằm tìm kiếm ma trận trọng số W sao cho mạng có khả năng đưa ra các dự báo sát với thực tế. Các thủ tục học tham số có thể chia thành 3 lớp nhỏ hơn là: học có chỉ đạo (học có thầy), học tăng cường, học không có chỉ đạo(học không có thầy). Học có chỉ đạo(học có thầy): Mỗi lần vectơ tín hiệu vào X được cung cấp cho mạng, ta cũng cấp luôn cho mạng vectơ đầu ra mong muốn là Y. Và mạng phải sản sinh ra tín hiệu ra Out sao cho nó gần với Y nhất. Cụ thể, nếu ta cấp một tập ngẫu nhiên M=(Xi,Yi) tức là khi vectơ Xi đi vào mạng, vectơ đầu ra Yi cũng được cung cấp (hình 1).Độ lệch giữa tín hiệu đầu ra Out và vectơ đầu ra Yi sẽ được bộ sản sinh sai số thu nhận và sản sinh ra tín hiệu sai số. Tín hiệu sai số này sẽ đi vào mạng và mạng sẽ hiệu chỉnh các trọng số của mình sao cho tín hiệu đầu ra Out sẽ gần với vectơ đầu ra mong muốn Yi. . Nếu tín hiệu đầu ra Out= Y thì lúc đó mạng noron đã bão hoà, khi đó thủ tục học của mạng đã hội tụ. Vecto vào Mạng noron Sản sinh sai số Tín hiệu ra Out Hình 1.10 - Sơ đồ học có chỉ đạo Học tăng cường: cũng là một dạng của học có chỉ đạo vì mạng noron vẫn nhận tín hiệu bên ngoài môi trường. Tuy nhiên, tín hiệu ngoài môi trường chỉ là những tín hiệu mang tính phê phán, chứ không phải là các chỉ dẫn cụ thể như trong học có chỉ đạo. Nghĩa là, tín hiệu tăng cường chỉ có thể nói cho mạng biết tín hiệu vừa sản sinh là đúng hay sai chứ không chỉ cho mạng biết tín hiệu đúng như thế nào. Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường (hình 2) nhằm mục đích giúp cho mạn hiệu chỉnh các trọng số với hi vọng nhận được tín hiệu tăng cường tốt hơn trong tương lai. Các thủ tục học tăng cường thường được biết đến như các thủ tục học với nhà phê bình chứ không phải là học với thầy như các thủ tục học có chỉ đạo. Vecto vào Mạng noron Tín hiệu ra Out Sản sinh tín hiệu tăng cường Tín hiệu tăng cường Hình 1.11- Sơ đồ học tăng cường Học không chỉ đạo(học không có thầy): Trong thủ tục này, không có thông tin nào từ bên ngoài môi trường chỉ ra tín hiệu đầu ra Out phải như thế nào hoặc đúng hay sai. Mạng noron phải tự khám phá các đặc điểm, các mối quan hệ đang quan tâm như: dạng đường nét, có chuẩn – có bình thường hay không, các hệ số tương quan, tính cân xứng, tính chạy,… của các mẫu học và sau đó chuyển những quan hệ tìm thấy qua đầu ra. Trong quá trình học, các trọng số của mạng sẽ thay đổi để thể hiện các đặc tính được phát hiện. Để dễ hình dung công việc này, chúng ta hãy nhớ tới công việc của các nhà thống kê, nhất là các nhà thống kê dùng máy tính hiện đại. Vecto vào Mạng noron Tín hiệu ra Out Hình 1.12- Sơ đồ học không chỉ đạo Học cấu trúc Viêc học cấu trúc là việc tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu trúc mạng hoạt động tốt nhất. Trong thực tế, việc học cấu trúc là việc tìm ra số lớp ẩn và số noron trên mỗi lớp đó. Các kĩ thuật như giải thuật di truyền hay lập trình tiến hoá thường được sử dụng trong các thủ tục học cấu trúc. Các kỹ thuật này thường chạy rất lâu thậm chí đối với các mạng có kích thước trung bình. II.5 Giải thuật học lan truyền ngược II.5.1. Kiến trúc mạng I1 I2 I3 Lớp ra (0) Lớp ra (1) Lớp ra (2) Ik wjk aj H4 H5 Oi wjk Hình 1.13- Mạng noron 2 lớp Các noron lớp thứ t được nối đầy đủ với các noron lớp thứ t+1. Trong nhiều ứng dụng thực tế, để đơn giản, người ta thường sử dụng mạng có 1 lớp ẩn, số noron trong lớp ẩn được xác định dựa trên kinh nghiệm, hoặc dựa trên các kỹ thuật tìm kiếm khác nhau. Cấu trúc của mạng là đặc điểm chính tác động đến tính mềm dẻo của mô hình mà mạng sản sinh ra, đó là số lớp, số noron và cách mà chúng được nối với nhau. Các đặc điểm chính của mạng với chiến lược học lan truyền ngược sai số thường là: - Các lớp của mạng noron lan truyền ngược của sai số được nối đầy đủ với nhau, tức là tín hiệu ra của các noron trên lớp này chính là tín hiệu vào của tất cả các noron trên lớp kế tiếp. - Mỗi noron có một kết nối với Bias làm tăng khả năng thích nghi và tăng tính mềm dẻo của mạng trong quá trình học. - Số noron trên lớp vào và lớp ra là cố định đối vì nó chính là số chiều của vecto vào và vecto lời giải. Chúng được xác định trước phụ, thuộc vào tương ứng ứng dụng cụ thể mà mạng noron xây dựng. - Thường chỉ sử dụng mạng có 3 lớp: một lớp vào, một lớp ra, một lớp ẩn là đã có thể mô hình hoá được một lớp các bài toán lớn. Với thủ tục học lan truyền ngược sai số truyền thống, các thông số cấu trúc (số lớp, số noron trên mỗi lớp) thường được xác định thông qua việc thử và sai. Phần nhiều các tác giả xây dựng mạng noron lan truyền ngược của sai số nhỏ liên kết với nhau chứ không xây dựng một mạng noron lớn. Các thiết kế như vậy một phần xuất phát từ khả năng tài nguyên của máy tính có hạn và phần khác là tập mẫu