Mạng neuron, logicmờ và hệ thống suy diễn neuro-Fuzzy

21 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng Chương 2 MẠNG NEURON, LOGIC MỜ VÀ HỆ THỐNG SUY DIỄN NEURO-FUZZY Chương 2 trình bày công cụ toán học sẽ được sử dụng ở chương 3 trong nhận dạng và dự báo khuyết tật của cơ hệ, đó là hệ thống suy diễn neuro-fuzzy, một mô hình kết hợp giữa mạng ANN và FL. Phần đầu chương trình bày tóm tắt lý thuyết chung về ANN và FL. Tiếp theo và phần cuối chương trình bày các thuật toán mới về huấn luyện mạng ANN và về tổng hợp hệ thống suy diễn neuro-fuzzy thích nghi, với tiêu chí đặt ra là gia tăng tốc độ hội tụ và tăng độ chính xác đáp ứng so với các phiên bản cùng loại đã được công bố gần đây. Các thuật toán mới được trình bày trong chương 2 gồm TT* [1], CBMM, HLM [2] và CSHL, HLM1, HLM2 [9] – đây là các đóng góp khoa học của luận án trong chương 2. Một số đặc điểm của các thuật toán nêu trên như sau: - TT* là thuật toán huấn luyện mạng ANN dựa trên phương pháp CG, trong đó hiệu chỉnh bước di chuyển trên các hướng liên hợp và tính gần đúng ma trận Hessian là những giải pháp được đưa ra nhằm gia tăng độ chính xác, tốc độ hội tụ và tính ổn định trong quá trình huấn luyện mạng. - CBMM và CSHL là hai thuật toán về phân chia không gian dữ liệu để xây dựng các bó mờ dạng siêu hộp, làm cơ sở để xác lập các tập mờ và các hàm liên thuộc trong hệ thống suy diễn mờ. Đối với thuật toán CBMM, việc chia bó dữ liệu min-max được thực hiện trong mối liên hệ qua lại giữa không gian vào và không gian ra nhằm mục đích xác lập mối ràng buộc chặt chẽ giữa các tập mờ ở hai không gian vào-ra, phản ánh tốt hơn quan hệ dữ liệu trong tập mẫu. Đối với thuật toán CSHL, hàm thuần chủng j và hàm định hướng j được tác giả luận án đề xuất nhằm mục đích thực hiện việc chọn lựa các giải pháp cắt tạo ra các bó dữ liệu có độ thuần chủng cao hơn, làm gia tăng độ chính xác và rút ngắn thời gian xây dựng các tập mờ của hệ mờ. 22 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng - HLM1, HLM2 và HLM là ba thuật toán được dùng để tổng hợp hệ thống suy diễn neuro- fuzzy thích nghi xấp xỉ hàm chưa biết ( )y f x diễn tả mối quan hệ giữa tín hiệu vào và tín hiệu ra của đối tượng thông qua một tập dữ liệu số. Đây là những công cụ toán học cho các bài toán nhận dạng, dự báo, đo lường và điều khiển theo mô hình hộp xám và hộp đen. Hệ thống suy diễn neuro- fuzzy được tổng hợp gồm ba khối: khối mờ hóa, khối hợp thành và khối giải mờ. Cả ba thuật toán HLM1, HLM2 và HLM đều sử dụng các thuật toán CBMM và CSHL để xây dựng các bó mờ, xác lập khối mờ hóa. Tuy nhiên, khác với HLM1, thuật toán HLM2 và HLM có những hướng phát triển riêng nhằm gia tăng độ chính xác của hệ thống suy diễn neuro-fuzzy. Thuật toán HLM2 quan tâm tới việc tối ưu hóa biên dạng hàm liên thuộc của các tập mờ thuộc khối mờ hóa và khối giải mờ. Theo một hướng đi khác, HLM lại quan tâm tới việc xác định số luật mờ tối ưu của hệ thống suy diễn neuro-fuzzy, nghĩa là tối ưu hóa cấu trúc của khối hợp thành. Hiệu quả của từng giải pháp sẽ được kiểm chứng ở chương 4. Đặc điểm và phạm vi ứng dụng của từng thuật toán nêu trên sẽ được trình bày chi tiết trong chương 5. 2.1 MÔ HÌNH TOÁN CỦA CƠ HỆ 2.1.1 Khái niệm Để có thể tác động vào đối tượng một cách có hiệu quả ta cần phải biết mô hình toán của đối tượng. Đối với các đối tượng có các quá trình diễn ra bên trong có thể xác định đầy đủ và tường minh bằng các phương trình toán học thì quá trình xây dựng mô hình toán của đối tượng được gọi là mô hình hóa hệ thống, và mô hình toán nhận được còn được gọi là mô hình hộp trắng. Trong nhiều trường hợp các quá trình tự nhiên diễn ra bên trong chưa thể xác định hoặc xác định chưa đầy đủ thì việc xây dựng mô hình toán của đối tượng thường được dựa vào dữ liệu vào-ra thực nghiệm và những thông tin chưa đầy đủ về đối tượng. Cách này được gọi là nhận dạng hệ thống. Thông tin biết trước có thể là những hiểu biết không đầy đủ về các quy luật vật lý, hóa học, cơ học… hoặc là các phát biểu ngôn ngữ mô tả đặc tính của đối tượng. Tùy theo mức độ thông tin biết trước được sử dụng mà ta có mô hình hộp xám (grey-box) hoặc mô hình hộp đen (black-box). Trong bài toán xác định sự tồn tại khuyết tật, định vị và dự báo khả năng tải của cơ hệ theo hướng dựa vào đặc trưng ứng xử động lực học cơ hệ, khi mà khuyết tật xuất hiện bên trong làm thay đổi độ cứng chống biến dạng xJE nhưng chưa biết vị trí và mức độ suy giảm thì việc xây dựng mô 23 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng hình toán của đối tượng phải dựa vào dữ liệu vào-ra thực nghiệm và những thông tin chưa đầy đủ về đối tượng, nghĩa là thực hiện nhận dạng hệ thống theo mô hình hộp đen. L Hình 2.1 Dầm dao động cưỡng bức Xét ví dụ về nhận dạng quan hệ động lực học của một dầm kim loại dao động cưỡng bức có sơ đồ như trên hình 2.1. Động cơ điện xoay chiều ba pha Đ mang khối lượng m cách tâm quay một khoảng d. Đ có thể được lắp đặt tại những tọa độ 0z khác nhau trên dầm. Sử dụng bộ biến tần để thay đổi tốc độ quay n0 của động cơ. Thay đổi d để điều chỉnh độ lệch tâm. Như vậy, độ lệch tâm md, tốc độ quay n0, và tọa độ lắp đặt động cơ 0z là những đại lượng có thể điều chỉnh được, phản ánh sự thay đổi chế độ kích thích dao động cưỡng bức của dầm (CĐKT). Xét biên độ dao động Y tại một điểm trên dầm. Ứng với CĐKT thứ i, ])[( 00 iiii znmdx  , biên độ dao động tại điểm khảo sát sẽ là yi=Yi. Như vậy, nếu thay đổi P CĐKT ta sẽ nhận được tập dữ liệu T có P mẫu dữ liệu Piyx ii ...1),,(  , phản ánh quan hệ input-output của hệ, là quan hệ giữa chế độ kích thích dao động và biên độ dao động của cơ hệ. Vấn đề đặt ra ở đây là xây dựng mô hình toán học của dầm khi dao động. Trong trường hợp lý tưởng, khi mà đặc trưng hình học và cơ học của dầm hoàn toàn xác định thì lời giải của bài toán này khá đơn giản và đã được trình bày trong nhiều tài liệu chuyên ngành. Mô hình toán nhận được, trong trường hợp này, là mô hình hộp trắng. Tuy nhiên nếu dầm là một dầm cầu trên một hệ thống cầu giao thông đang được khai thác thì ở một vị trí bất kỳ trên dầm, tại thời điểm khảo sát, tiết diện ngang của dầm lại là đại lượng chưa biết do có thể tại đó đang tồn tại khuyết tật làm thay đổi đặc trưng hình học; cũng vậy, tính chất cơ học của vật liệu tại đó cũng là đại lượng chưa biết do tác động của môi trường, do ảnh hưởng của chế độ tải trọng cũng như do hiện tượng mỏi của vật liệu. Chính vì vậy mà trong trường hợp này bài toán nhận dạng động lực học cơ hệ cần được giải theo mô hình hộp đen thông qua tập dữ liệu số T .    0z Y  m d Đ n0 24 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng Mạng ANN, FL, hoặc các mô hình kết hợp giữa ANN và FL, ví dụ mạng neuro-fuzzy, là những công cụ hữu dụng trong nhận dạng động lực học cơ hệ theo mô hình hộp đen [7-8][19][22] [55][58][119][136]. Hướng ứng dụng này được trình bày tóm tắt trong các mục 2.1.2 tới 2.1.4. 2.1.2 Sử dụng mạng ANN Thông qua tập dữ liệu đáp ứng động lực học T ta có thể sử dụng ANN để nhận dạng cơ hệ theo mô hình hộp đen, làm cơ sở để xây dựng và giải bài toán thuận và bài toán ngược động lực học cơ hệ, là hai dạng bài toán cơ bản liên quan tới rất nhiều thuật toán xác định khuyết tật cơ hệ (sẽ được trình bày ở chương 3). Mặt khác, thông qua khả năng nhận dạng và khả năng nội suy, mạng ANN có thể dự báo các thông số cơ học của cơ hệ theo chuỗi thời gian, làm cơ sở để xây dựng các thuật toán dự báo mức độ suy giảm khả năng tải của hệ. Sau khi chọn cấu trúc của mạng, tiến trình học giám sát để cập nhật ma trận trọng số của mạng, hay còn được gọi là quá trình huấn luyện mạng ANN (hình 2.2), là bước không thể thiếu theo hướng ứng dụng này. Mức độ tiệm cận của tín hiệu ra của mạng yˆ theo tín hiệu ra khảo sát y trong T phản ánh mức độ hoàn hảo của bộ nhận dạng hệ thống. Hình 2.2 Sơ đồ huấn luyện ANN trong học giám sát. Tín hiệu vào và tín hiệu ra của mạng ix , ˆ ( )iy W , i=1…P; tín hiệu ra tương ứng của đối tượng yi, 2.1.3 Sử dụng hệ thống suy diễn mờ Quá trình xây dựng bộ nhận dạng mờ thông qua T là quá trình lặp, theo đó các thông số của bộ mờ được điều chỉnh và đánh giá liên tục thông qua các chuẩn định lượng, chẳng hạn chuẩn LMS. Hình 2.3 giới thiệu cấu trúc của bộ nhận dạng mờ và quy trình xây dựng hệ mờ. Huấn luyện bộ nhận dạng mờ nhận dạng hệ thống là một quá trình điều chỉnh cả cấu trúc lẫn thông số của bộ mờ trong các khối mờ hóa, khối hợp thành và khối giải mờ, như trên hình 2.3 sao Mạng Neuron (Trọng số kết nối W) ˆ( )i i ie W y y  Điều chỉnh trọng số ix ˆiy yi 25 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng cho tín hiệu ra của hệ mờ phải tiệm cận tới tín hiệu ra trong tập dữ liệu thực nghiệm T được sử dụng để huấn luyện. Mức độ hoàn hảo của hệ mờ có thể được đánh giá thông qua hàm sai số được tính theo LMS: min)'(1)( 1 2    P i ii yyP fuzzyE (2.1) x0 Điều chỉnh Hình 2.3 Cấu trúc của bộ nhận dạng mờ và quy trình xây dựng bộ nhận dạng mờ 2.1.4 Sử dụng mô hình kết hợp Việc kết hợp giữa ANN và FL sẽ nhận được các hệ thống tích hợp được gọi là mạng neuro-fuzzy, hoặc mạng fuzzy-neuron mang ưu điểm của mạng ANN và ưu điểm của FL. Mô hình kết hợp đem khả năng học, nhớ và tính toán của ANN vào hệ mờ và khả năng suy diễn theo kiểu của con người trên hệ mờ vào ANN. Kết quả là mô hình kết hợp ưu việt hơn so với hệ ANN và FL thuần túy. Do đó rất nhiều nghiên cứu đi theo hướng ứng dụng các mô hình này trong các bài toán nhận dạng, dự báo, đo lường và điều khiển. Trong luận án này chúng tôi đề cập tới ứng dụng hệ thống neuro-fuzzy trong bài toán cơ học – nhận dạng và dự báo khuyết tật trên phần tử dầm – sẽ được trình bày chi tiết trong chương 3, chương 4 và chương 5. BỘ NHẬN DẠNG MỜ B Mờ hóa (Fuzzy hóa) Thiết bị hợp thành (R1 NẾU…THÌ… … RM NẾU…THÌ…) Giải mờ  B’ )( T xi )( Tyi - +  i y ' 26 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng 2.2 MẠNG ANN 2.2.1 Sơ lược về ANN Mạng ANN được giới thiệu lần đầu tiên vào năm 1943 bởi Warren McCulloch và Walter Pits, là một mô hình mô phỏng cách tổ chức và phương thức xử lý thông tin của hệ thần kinh con người. Hình 2.4 Mô hình một neuron sinh học Hệ thần kinh của con người có khoảng 1011 đến 1014 neuron được cấu trúc trong nhiều lớp. Mỗi neuron được xem như một đơn vị xử lý. Cấu trúc một neuron sinh học gồm các ngõ vào dendrites, thân neuron body, và các ngõ ra axon như trên hình 2.4. Thân neuron tổng hợp tất cả các thông tin từ các ngõ vào dendrites, xử lý và ra quyết định ở các ngõ ra axon. Synapses cho phép kết nối tín hiệu giữa các ngõ ra của các neuron này với ngõ vào của các neuron khác. Tín hiệu truyền đi là tín hiệu điện áp. Lượng tín hiệu qua synapses được gọi là cường độ kết nối. Mô hình toán của một neuron nhân tạo, theo đề xuất của McCulloch và Pitts, như trên hình 2.5, trong đó, , 1... ,ijx j n và iy là các ngõ vào (input) và ngõ ra (output) của neuron thứ i; ib là ngưỡng; trọng số jiw là cường độ kết nối đơn vị thứ j tới đơn vị thứ i; ma trận iW chứa tất cả các jiw của neuron thứ i và được gọi là ma trận trọng số của neuron này. Tín hiệu ra được tính:  i i i iy f W x b  trong đó, 1 2[ ... ], 1... ,i i i inx x x x i P  là vector mẫu dữ liệu ở không gian dữ liệu vào thứ i; P là số mẫu dữ liệu trong tập dữ liệu; n là số chiều của không gian dữ liệu vào; (.)f là hàm tác động. Synapses Synapses Dendrites Neuron body Axon 27 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng Hình 2.5 Mô hình toán của một neuron nhân tạo Mô hình toán tổng quát của mỗi đơn vị xử lý mạng, có sơ đồ khối như trên hình 2.5, được trình bày trên hình 2.6. Trong đó, kết hợp các ngõ vào của mỗi đơn vị xử lý 1 2[ ... ],i i i inx x x x 1... ,i P là một hàm tổng hợp (thường là hàm tuyến tính, chẳng hạn hàm SUM,  ) có tác dụng như một đơn vị tổ hợp thông tin; kết hợp với ngõ ra y của mỗi đơn vị xử lý là hàm tác động, có chức năng tạo tín hiệu ra cho đơn vị khi đã nhận được tín hiệu vào. Hàm tác động (.)if của mỗi đơn vị, còn được gọi hàm truyền. Hàm tổng hợp Thông thường hàm SUM được chọn làm hàm tổng hợp: 1 n i i ji ij j u b w x    Hàm tác động Yêu cầu của hàm tác động là hàm bị chặn trên và chặn dưới, có tính đơn điệu liên tục. Thường người ta chọn các hàm sau làm hàm tác động: yi Neuron body xi2 w2i xin wni … ANNi ib 1 2[ ... ] i i i ni W w w w Hình 2.6 Mô hình toán của neuron nhiều ngõ vào iu iy ( ) ( )i i i i iy f u f W x b      1 ii i ij in Wx x x x   xi1 w1i i (.)if ib 28 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng 1/ Hàm bậc thang đơn vị: 1 0 ( ) 0 0 if u f u if u     (2.2a) 2/ Hàm Ramp: 1 ( ) 0 if u a f u u if a u a if u a         (2.2b) 3/ Hàm sigmoid: 1( ) 1; 0 1 u f u e       (2.2c) 4/ Hàm hyperbolic tangent: ( ) u u u u e ef u e e      (2.2d) Cấu trúc ANN Có rất nhiều mô hình ANN khác nhau, trong đó hai mô hình kết nối mạng thường được sử dụng là mô hình kết nối truyền thẳng và mô hình kết nối lan truyền ngược. Mạng sử dụng mô hình truyền thẳng được gọi là mạng truyền thẳng. Mạng sử dụng mô hình kết nối lan truyền ngược được gọi là mạng lan truyền ngược, hay còn được gọi là mạng hồi quy. - Mạng truyền thẳng nhiều lớp có cấu trúc gồm một lớp vào, một hoặc nhiều lớp ẩn và một lớp ra. Lớp vào đóng vai trò như nơi nhận tín hiệu vào từ không gian dữ liệu vào. Các lớp ẩn chứa các đơn vị ẩn, đóng vai trò như các đơn vị xử lý. Lớp ra chứa các đơn vị tạo tín hiệu ra cho mạng. Tín hiệu truyền từ lớp vào qua các lớp ẩn, tới lớp ra thông qua các trọng số liên kết của mạng. - Mạng hồi quy có mô hình kết nối lan truyền ngược. Lớp vào của mạng đóng vai trò như nơi nhận tín hiệu vào và tín hiệu hồi tiếp. Lớp ra của mạng đóng vai trò tạo tín hiệu ra cho mạng. Lớp ẩn đóng vai trò là tập các đơn vị xứ lý thông tin. Ngõ ra của các đơn vị ẩn và các đơn vị ra có thể được lan truyền ngược về các đơn vị ở lớp trước hoặc cùng lớp và mỗi đơn vị ẩn cũng có thể tự tạo ra một vòng khép kín. Mạng hồi quy cũng có thể có một lớp, hai lớp, hoặc nhiều lớp. Một số phương pháp học của ANN Học là tiến trình quan trọng của con người, nhờ học mà bộ não ngày càng tích lũy những kinh nghiệm để thích nghi với môi trường và xử lý tình huống tốt hơn. Mạng ANN được xây dựng dựa 29 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng vào cấu trúc và cách xử lý thông tin của bộ não người, do đó ANN cần phải có năng lực ứng xử được tích lũy thông qua tiến trình học. Có hai hình thức học: học thông số và học cấu trúc. Học thông số là quá trình học dùng để cập nhật trọng số kết nối của mạng. Học cấu trúc là hình thức học quan tâm tới việc thay đổi cấu trúc của mạng, bao hàm số các đơn vị xử lý trong một lớp, số lớp và loại kết nối giữa các đơn vị xử lý. Hai hình thức học này có thể tách rời hoặc thực hiện đồng thời. Việc định hướng cho tiến trình huấn luyện ANN được dựa vào các luật học. Có ba nhóm luật học cơ bản thường được sử dụng, đó là học giám sát, học củng cố và học không giám sát. - Học giám sát Mạng được cung cấp các cặp vào ra tương ứng tại mỗi thời điểm, nghĩa là cho ANN biết rằng giá trị ra chính xác cần phải tiệm cận tới của mạng. Nếu tín hiệu ra mong muốn là yi thì tín hiệu học là ei, chính là giá trị sai lệch giữa tín hiệu ra mong muốn yi và tín hiệu ra thực sự của đơn vị xử lý này ˆiy , ˆi i ie y y  . - Học củng cố Học củng cố là một hình thức của học giám sát, tuy nhiên tín hiệu ra của mạng là tín hiệu chỉ trích để cho ANN biết rằng tín hiệu ra của nó đúng hay sai. Nếu tín hiệu chỉ trích là yi thì tín hiệu học cũng chính là tín hiệu này. - Học không giám sát Theo phương pháp này, mạng ANN được cung cấp các mẫu vào nhưng không được cung các mẫu ra mong muốn, do đó ANN sẽ tự khám phá với các mẫu vào mong muốn để tìm cho nó ngõ ra thích hợp. Nghĩa là, tín hiệu học là ngõ ra thực sự của từng đơn vị xử lý vào của mạng. 2.2.2 Đặc điểm của ANN - ANN có cấu trúc mạng đơn giản. - Có khả năng thích nghi cao khi tập mẫu ( , ), 1...i ix y i P được cập nhật thường xuyên. Khác với các cách tiếp cận truyền thống (nội suy, ngoại suy), là giả thuyết mô hình hay một hàm tường minh thể hiện mối liên hệ giữa các biến vào ra, ANN tích lũy các tri thức mạng thông qua ma trận trọng số liên kết W của mạng, thông qua các thông số về cấu trúc mạng và thông qua các ngưỡng kích hoạt tại chính các neuron. Tất cả các yếu tố này dễ dàng thay đổi để chỉnh định, bổ sung hoặc cập nhật thông qua quá trình huấn luyện mạng, huấn luyện lại hoặc quá trình tự học. - Có tính phi tuyến cao. - Phù hợp với các bài toán nhận dạng, dự báo, điều khiển... theo mô hình black-box. 30 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng Các ưu điểm trên càng được gia tăng khi kết hợp giữa kỹ thuật neuron và fuzzy logic để xây dựng mô hình neuro-fuzzy hoặc fuzzy-neuron. 2.2.3 Huấn luyện ANN Luận án đề cập tới các kỹ thuật về huấn luyện thông số theo luật học giám sát – khi đã chọn trước một cấu trúc ANN cho một đối tượng – dựa trên tập mẫu huấn luyện thể hiện mối quan hệ về dữ liệu giữa input và output của đối tượng này. Do đó, từ mục này về sau thuật ngữ huấn luyện mạng ANN được hiểu theo nghĩa hẹp, là huấn luyện thông số theo luật học giám sát. Trong học giám sát, các cặp tín hiệu input-output được dùng để huấn luyện mạng sao cho tín hiệu ra của mạng tiệm cận tới tín hiệu ra mong muốn của hệ thống. Nghĩa là trong suốt quá trình học, giá trị đầu vào của các mẫu dữ liệu huấn luyện mạng được đưa vào mạng và theo dòng chảy lan tỏa dữ liệu trong mạng tạo thành các giá trị tín hiệu ra của mạng. Tiếp đến là quá trình so sánh giá trị tạo ra bởi mạng neuron với giá trị ra mong muốn. Hai giá trị này giống nhau là trường hợp lý tưởng, khi đó quá trình huấn luyện kết thúc. Nếu sai lệch giữa hai giá trị này vẫn vượt quá giá trị sai số mong muốn thì tiếp tục quá trình huấn luyện để thay đổi ma trận trọng số kết nối W. Huấn luyện mạng là một quá trình lặp liên tục và có thể không dừng khi không tìm được các giá trị W sao cho đầu ra tạo bởi mạng neuron bằng đúng đầu ra mong muốn. Do đó trong thực tế ta phải thiết lập tiêu chuẩn dừng dựa trên giá trị sai số cho phép của hai giá trị này, hoặc dựa trên số lần lặp xác định. Sai số dự báo ứng với một mẫu dữ liệu huấn luyện mạng là giá trị sai lệch giữa tín hiệu ra mong muốn và tín hiệu ra của mạng ˆ( ) ( )i i ie W y W y  . Bộ trọng số của mạng nhận được sau huấn luyện là ma trận W làm tối thiểu tiêu chuẩn ước lượng: 1 1( ) ( ( )) min P r i i E W l e W P    trong đó, P là số mẫu dữ liệu huấn luyện; l(.) là chuẩn xác định dương, ở nghiên cứu này sử dụng chuẩn L2. Có nhiều thuật toán huấn luyện ANN được xây dựng dựa trên cực tiểu hoá khai triển Taylor hàm sai lệch tín hiệu ra. Có thể phân làm ba nhóm chính: nhóm các phương pháp Gradient Descent, nhóm các phương pháp Conjugate Gradient và nhóm các phương pháp Newton. Các phương pháp tối ưu thường được sử dụng để tìm giá trị cực tiểu của hàm sai số dạng khai triển Taylor tới vi phân bậc nhất hoặc bậc hai [18][26][84[103][111]. 31 Luận án Tiến sĩ Kỹ thuật Nguyễn Sỹ Dũng 2.2.4 Thiết kế ANN Quá trình thiết kế mạng ANN thường được thực hiện theo các bước sau: Bước 1. Xác định các biến vào ra của mạng Bước 2. Thu thập dữ liệu Một số yêu cầu đối với tập dữ liệu: - Đủ lớn và phải đảm bảo nguyên tắc ngẫu nhiên, khách quan và phủ toàn bộ không gian đầu vào. - Đối với các dữ liệu biến động kiểu chuỗi thời gian thì cần đảm bảo trình tự các sự kiện sao cho tạo ra những thông tin cốt lõi về đối tượng. - Đối với các dữ liệu ngẫu nhiên hoàn toàn độc lập với nhau thì phải đảm bảo đã “vét hết” các dạng cần thiết. Phân dữ liệu thành hai tập con, tập mẫu học (training set) và tập mẫu kiểm tra (test set), sao cho tập mẫu học mang tính đại diện còn tập kiểm tra mang