Đề tài Ứng dụng mô hình Neural Network trong việc dự báo thị trường chứng khoán Việt Nam

MỤC LỤC Tóm tắt đề tài Danh mục các hình Chương 1: Mô hình Neural Network trong dự báo tài chính 1.1. Giới thiệu sơ lược về mô hình Neural Network ....................................... 1 1.2. Nền tảng của mô hình Neural Network ................................................... 1 1.3. Hoạt động của một Neural Network ........................................................ 2 1.4. Các mô hình mạng Neural Network ........................................................ 3 1.4.1. Các dạng mô hình Neuron............................................................... 4 Mô hình cấu trúc một Neuron ........................................................... 4 Mô hình Neuron với vectơ nhập ....................................................... 4 1.4.2 Các dạng mô hình ............................................................................ 5 Mô hình mạng một lớp Neuron ......................................................... 5 Mô hình mạng nhiều lớp Neuron ...................................................... 7 1.5. Mô hình Backpropagation Neural Network ............................................. 7 1.5.1. Hoạt động của mạng Backpropagation ........................................... 7 1.5.2. Các thông số phổ biến trong thiết kế một Backpropagation ............. 8 1.5.3 Mục đích, công dụng của mô hình Neural Network ........................ 9 Chương 2: Các bước thiết kế một mô hình dự báo Neural Network 2.1. Sơ lược về việc thiết kế mô hình dự báo Neural Network ........................ 11 2.2. Quá trình lựa chọn các biến số ................................................................ 11 2.3. Quá trình thu thập dữ liệu ........................................................................ 13 2.4. Quá trình xử lý và phân tích dữ liệu ........................................................ 13 2.5. Phân chia dữ liệu cho từng giai đoạn: huấn luyện, kiểm tra và công nhận ............................................................................. 16 2.6. Xác định các thông số cho Neural Network ............................................. 18 2.6.1. Tính toán số lượng các lớp ẩn ......................................................... 18 2.6.2. Tính toán số lượng các neuron ẩn.................................................... 19 2.6.3. Tính toán số lượng các neuron đầu ra .............................................. 21 2.6.4. Xác định loại hàm truyền ................................................................ 21 2.7. Xác định tiêu chuẩn đánh giá kết quả ...................................................... 22 2.8. Lựa chọn kiểu huấn luyện mô hình Neural Network................................ 23 2.8.1. Xác định thông số lặp lại quá trình huấn luyện ............................... 23 2.8.2. Lựa chọn learning rate và momentum ............................................ 26 2.9. Tiến hành thực hiện mô hình ................................................................... 27 Chương 3: Ứng dụng Neural Network vào thị trường tài chính Việt Nam 3.1. Dự báo kinh tế Việt Nam 2008 ................................................................ 29 3.1.1. Lạm phát ......................................................................................... 30 3.1.2. Tỷ giá hối đoái ................................................................................ 30 3.1.3. Kinh tế đoái ngoại ........................................................................... 31 3.2. Lựa chọn phần mềm xử lý mô hình ......................................................... 31 3.3. Cách thức thu thập và xử lý dữ liệu thô ................................................... 33 3.3.1. Các nhân tố ảnh hưởng thị trường chứng khoán Việt Nam ............. 33 3.3.2. Cách thức thu thập và điều chỉnh dữ liệu đầu vào .......................... 34 3.3.3. Tổ chức file dữ liệu ........................................................................ 36 3.3.4. Phân tích các biến đầu vào bằng Data Manager .............................. 36 3.4. Quá trình xử lý mô hình và phân tích kết quả ......................................... 37 3.4.1. Cách thực hiện chạy chương trình Neuro Solutions ......................... 37 3.4.2. Kết quả nhận từ phần mềm Neuro Solutions ................................... 38 3.4.3. Kết quả dự báo VN-INDEX từ tháng 4/2008 đến tháng 5/2008....... 39 3.4.4. Phân tích kết quả ............................................................................. 39 3.5. Chứng cứ ứng dụng mô hình Neural Network ......................................... 40 3.5.1. Jason E.Kutsurelis ứng dụng mô hình Neural Network để dự báo S&P 500 ........................................................................ 40 3.5.2. Trường hợp 1: Đầu cơ giá lên từ tháng 1 năm 1994 ........................ 41 3.5.3. Trường hợp 2: Sự sụp đổ vào tháng 10 năm 1986 ........................... 44 3.5.4. Kết quả thử nghiệm cho cả hai trường hợp ...................................... 47 Kết luận Tài liệu tham khảo Phụ lục CHƯƠNG 1: MÔ HÌNH NEURAL NETWORK TRONG DỰ BÁO TÀI CHÍNH 1.1. GIỚI THIỆU SƠ LƯỢC VỀ MÔ HÌNH NEURAL NETWORK Neural Network trong một vài năm trở lại đây đã được nhiều người quan tâm và đã áp dụng thành công trong nhiều lĩnh vực khác nhau, như tài chính, y tế, địa chất và vật lý. Thật vậy, bất cứ ở đâu có vấn đề về dự báo, phân loại và điều khiển, Neural Network đều có thể ứng dụng được. Sự thành công nhanh chóng của mạng Neural Network có thể là do một số nhân tố chính sau:  Năng lực : Neural Network là những kỹ thuật mô phỏng rất tinh vi, có khả năng mô phỏng các hàm cực kỳ phức tạp. Đặc biệt, Neural Network hoạt động phi tuyến. Trong nhiều năm, mô hình tuyến tính là kỹ thuật được sử dụng rộng rãi trong hầu hết các lĩnh vực, vì thế mô hình tuyến tính có tính chiến lược tối ưu hóa được biết nhiều nhất.  Dễ sử dụng : Neural Network có tính học theo các ví dụ. Người sử dụng Neural Network thu thập các dữ liệu đặc trưng, và sau đó gọi các thuật toán huấn luyện để có thể tự học cấu trúc của dữ liệu. Mặc dù người sử dụng làm tất cả những điều cần thiết để có thể chọn và chuẩn bị dữ liệu, sử dụng loại mạng phù hợp và có thể hiểu được các kết quả, nhưng mức độ người sử dụng biết cách áp dụng thành công Neural Network vẫn thấp hơn nhiều những người sử dụng các phương pháp thống kê truyền thống… 1.2. NỀN TẢNG CỦA MÔ HÌNH NEURAL NETWORK Neural Network phát triển từ nghiên cứu về trí tuệ nhân tạo; đặc biệt cố gắng bắt chước bộ não có cấu trúc cấp thấp về khả năng học và chấp nhận sai của hệ thống neuron sinh học. Bộ não con người gồm một số rất lớn neuron (khoảng 10.000.000.000 neuron) kết nối với nhau (trung bình mỗi neuron kết nối với hàng chục ngàn neuron khác). Mỗi neuron là một tế bào đặc biệt, có thể truyền các tín hiệu điện. Neuron có cấu trúc rễ ngõ vào, thân tế bào và cấu trúc rễ ngõ ra (sợi thần kinh). Các sợi thần kinh của một tế bào kết nối với các tế bào khác thông qua synapse. Khi một neuron kích hoạt, nó tạo ra xung điện hóa học dọc theo sợi thần kinh. Tín hiệu này đi qua các synapse đến các neuron khác, và tiếp tục bị kích hoạt. Neuron hoạt động chỉ khi tất cả các tín hiệu nhận được ở thân tế bào thông qua rễ ngõ vào vượt quá một mức nào đó (ngưỡng hoạt động). Cường độ tín hiệu thu được của neuron phụ thuộc vào độ nhạy của synapse. Chỉ có việc học làm thay đổi cường độ kết nối synapse. Do đó, từ một số rất lớn các đơn vị xử lý rất đơn giản này (mỗi đơn vị thực hiện tổng trọng số các ngõ vào sau đó kích hoạt một tín hiệu nhị phân nếu tổng ngõ vào vượt quá ngưỡng), bộ não điều khiển để hoạt động những công việc cực kì phức tạp. Dĩ nhiên, sự phức tạp trong hoạt động của bộ não không thể trình bày hết, nhưng dù sao mạng trí tuệ nhân tạo có thể đạt được một vài kết quả đáng chú ý với mô hình không phức tạp hơn bộ não. 1.3. HOẠT ĐỘNG CỦA MỘT NEURAL NETWORK Mỗi neuron nhận một số các ngõ vào (từ dữ liệu gốc, hay từ ngõ ra các neuron khác trong mạng). Mỗi kết nối đến ngõ vào có một cường độ (hay trọng số), những trọng số này tương ứng với tác dụng synapse trong neuron sinh học. Mỗi neuron cũng có một giá trị ngưỡng. Tín hiệu được truyền qua hàm kích hoạt (hay còn gọi là hàm truyền) tạo giá trị ngõ ra neuron. Nếu sử dụng hàm truyền nấc (nghĩa là ngõ ra neuron là 0 nếu ngõ vào nhỏ hơn 0, và là 1 nếu ngõ vào lớn hơn hay bằng 0) thì neuron hoạt động giống như neuron sinh học. Thực tế, hàm nấc ít khi sử dụng trong mạng trí tuệ nhân tạo. Lưu ý rằng trọng số có thể âm, nghĩa là synapse có tác dụng kiềm chế hơn là kích hoạt neuron, các neuron kiềm chế có thể tìm thấy trong bộ não. Trên đây là mô tả về các neuron đơn lẻ. Trong thực tế các neuron được kết nối với nhau. Khi mạng hoạt động, chúng phải có ngõ vào (mang giá trị hoặc biến của thế giới thực) và ngõ ra (dùng để dự báo hoặc điều khiển). Ngõ vào và ngõ ra tương ứng với các neuron giác quan và vận động, như tín hiệu đưa vào mắt và điều khiển cánh tay. Tuy nhiên chúng còn có các neuron ẩn đóng vai trò ẩn trong mạng. Ngõ vào, neuron ẩn và ngõ ra cần được kết nối với nhau. Ta có mạng Neural Network tiến (feed-forward) cho như hình dưới. Các neuron được sắp xếp theo cấu trúc liên kết lớp riêng biệt. Lớp ngõ vào không phải là neuron thực: các neuron này hoạt động đơn giản là giới thiệu các giá trị của các biến vào. Các neuron lớp ẩn và lớp ngõ ra được kết nối với tất cả các neuron lớp trước đó. Cũng như vậy chúng ta có thể định nghĩa mạng có các kết nối một phần với một vài neuron trong lớp trước đó; tuy nhiên, trong hầu hết các ứng dụng mạng có kết nối đầy đủ vẫn tốt hơn. Hình 1.1. Cấu trúc Neural Network Khi mạng hoạt động, các giá trị biến ngõ vào được đặt vào các neuron ngõ vào, và sau đó các neuron lớp ẩn và lớp ngõ ra lần lượt được kích hoạt. Mỗi neuron tính giá trị kích hoạt của chúng bằng cách lấy tổng các trọng số ngõ ra của các neuron lớp trước đó, và trừ cho ngưỡng. Giá trị kích hoạt truyền qua hàm kích hoạt tạo ra giá trị ngõ ra của neuron. Khi toàn bộ mạng đã hoạt động, các ngõ ra của lớp ngõ ra hoạt động như ngõ ra của toàn mạng. 1.4. CÁC MÔ HÌNH MẠNG NEURAL NETWORK CƠ BẢN Mô hình mạng Neural tổng quát có dạng theo hình 1.2 Hình 1.2. Mô hình mạng Neural tổng quát Ngày nay, mạng Neural Network có thể giải quyết nhiều vấn đề phức tạp đối với con người, áp dụng trong nhiều lĩnh vực như nhận dạng, định dạng, phân loại, xử lý tín hiệu, hình ảnh v.v… 1.4.1. Các dạng mô hình Neuron Mô hình cấu trúc một Neuron Ngõ vào một neuron có thể là đại lượng vô hướng hoặc có hướng, đại lượng này được nhân với trọng số tương ứng để đưa vào neuron, hoặc có thể cộng thêm ngưỡng (bias), thường bằng 1. Hình 1.3 là mô hình một neuron với ngõ vào vô hướng p không có ngưỡng b và có ngưỡng b. Ngõ vào vô hướng p được nhân với trọng số vô hướng w tạo thành wp, đối số wp qua hàm truyền f cho kết quả đầu ra là vô hướng a = f(wp). Hình bên phải là neuron có ngưỡng b, giá trị b được cộng với wp rồi qua hàm truyền f cho kết quả đầu ra là vô hướng a = f(wp+b). Có thể điều chỉnh những thông số của neuron như trọng số và ngưỡng (w và b) để đạt được yêu cầu mong muốn nghĩa là “huấn luyện” mạng. Hình 1.3. Mô hình cấu trúc một Neuron Mô hình Neuron với vector nhập Một neuron được cho trên hình 1.4 với vector nhập p = [p1, p2, ……pR ], trọng số W = w1,1, w1,2,……w1,R, ngưỡng b và hàm truyền f . Tổng đối số và ngưỡng tạo ở ngõ ra n là: n = w1,1p1 + w1,2,p2 + ……w1,R pR + b hay n = W*p + b Nếu có nhiều neuron thì cách biểu diễn trên không hiệu quả, do đó có thể định nghĩa một lớp gồm nhiều neuron theo như hình 1.5 Hình 1.4. Mô hình Neuron với vector nhập Hình 1.5. Một lớp gồm nhiều neuron 1.5.1. Các dạng mạng mô hình Mô hình mạng một lớp Neuron Trong hình dưới mô tả một lớp neuron với : R : số phần tử của vectơ đầu vào S : số neuron trong lớp a : vector ngõ ra của lớp neuron Hình 1.6. Mô hình mạng một lớp Neuron Ma trận trọng số W :              RSSS R R www www www W ,2,1, ,22,11,2 ,12,11,1 ... ... ... Một lớp mạng được vẽ gọn theo hình 1.7 Hình 1.7. Mô hình mạng một lớp được vẽ gọn Mô hình mạng nhiều lớp Neuron Hình 1.8: Mô hình mạng nhiều lớp Neuron Mạng có nhiều lớp, mỗi lớp có một ma trận W, một ngưỡng b và một vectơ ngõ ra a. Thông thường giá trị ra của một lớp là giá trị vào của lớp tiếp theo. Mỗi lớp trong mạng đảm nhiệm vai trò khác nhau, lớp cho kết quả ở đầu ra của mạng được gọi là lớp ngõ ra _ output layer, tất cả các lớp còn lại được gọi là lớp ẩn _ hidden layers. Mạng đa lớp có khả năng xử lý rất lớn. Chẳng hạn như một mạng có hai lớp, lớp thứ nhất là sigmoid, lớp thứ hai là linear có thể được huấn luyện đến một hàm gần đúng với một số kết nối cố định. 1.5. MÔ HÌNH BACKPROPAGATION NETWORK 1.5.1 Hoạt động của mạng Backpropagation Mô hình Neural Network bao gồm nhiều dạng mạng khác nhau như Perception, Radial bias, hồi tiếp, Backpropagation v.v….. Backpropagation Neural Network bao gồm một tập hợp các thông số đầu vào (inputs) và các đơn vị xử lý được biết đến như neurons, neurodes, hay nodes. Các neuron trên mỗi layer thì có quan hệ kết nối hoàn toàn bởi sức mạnh kết nối được gọi trọng số, cái đi kèm với cấu trúc hệ thống, lưu trữ kíên thức của hệ thống đào tạo. Thêm vào các neuron xử lý, có một bias neuron được kết nối đến từng đơn vị xử lý trong các lớp đầu ra và ẩn. Bias neuron có một giá trị của một đại lượng dương và cung cấp một mục đích tương tự như là hệ số chặn trong các mô hình hồi quy. Các neuron và bias được sắp xếp trong các lớp, một lớp đầu vào, một hay nhiều các lớp ẩn và một lớp đầu ra. Số lượng lớp ẩn và neuron nằm trong từng lớp có thể thay đổi phụ thuộc vào kích thước và bản chất của từng bộ dữ liệu. Neural Network thì tương tự như mô hình hồi quy bình phương bé nhất tuyến tính và phi tuyến và được xem như là cách tiếp cận thống kê thay thế để giải quyết vấn đề bình phương bé nhất. Cả Neural Network và phân tích hồi quy truyền thống đều nỗ lực để tối thiểu hoá tổng bình phương các sai số. Thuật ngữ bias tương tự như hệ số chặn trong phương trình hồi quy. Số lượng các neuron đầu vào thì bằng với số lượng các biến độc lập trong khi các neural đầu ra thì thể hiện cho các biến phụ thuộc. Mô hình hồi quy tuyến tính có thể được coi là Neural Network feed- forward nhưng không có các lớp ẩn và một neural đầu ra với chức năng chuyển đổi tuyến tính. Các trọng số kết nối các neural đầu vào đến từng neural đầu ra thì tương tự như hệ số trong hồi quy bình phương bé nhất tuyến tính. Mô hình Neural Network với một lớp ẩn giống với mô hình hồi quy phi tuyến. Backpropagation network là một loại Neural Network feed-forward với các quy tắc giám sát. Feed-forwad đề cập đến hướng đi của dòng thông tin từ các lớp đầu vào đến lớp đầu ra. Các thông số đầu vào đi qua Neural Network một lần đến thẳng đầu ra. Học có giám sát là một sự xử lý của việc so sánh mỗi dự báo của hệ thống với câu trả lời chính xác đã biết và sự điều chỉnh trọng số dựa trên kết quả sai số dự báo đến tối thiểu hoá chức năng sai số. Backpropagation network là hệ thống đa lớp phổ biến nhất được ước tính là được sử dụng trong 80% ứng dụng và là tâm điểm của báo chí từ khi nó được sử dụng rộng rãi trong dự báo chuỗi thời gian của tài chính. Hornik et al chỉ ra rằng hệ thống Backpropagation chuẩn sử dụng hàm tùy ý có thể xấp xỉ với bất kỳ hàm có thể đo lường trong các hành động chính xác và tốt đẹp, nếu có đủ số lượng của các neuron ẩn được sử dụng. Hecht-Nielsen cũng biểu diễn nó thành hệ thống Backpropagation có 3 lớp có thể xấp xỉ bất kỳ việc phác họa bản đồ tiếp diễn nhau. Các Neural Network khác thì ít phổ biến hơn trong dự báo chuỗi thời gian bao gồm hệ thống định kỳ (recurrent networks), hệ thống xác suất (probablistic networks) và fuzzy Neural Network. 1.5.2 Các thông số phổ biến trong thiết kế một Backpropagation Xử lý dữ liệu (Data processing) Đơn vị thời gian: theo ngày, tuần, tháng, năm, quý Loại dữ liệu: kỹ thuật, cơ bản Phương pháp lấy mẫu dữ liệu Phương pháp chia thang dữ liệu: lớn nhất, nhỏ nhất, trung vị, sai số chuẩn. Huấn luyện (Training) Chỉ số học Learning rate mỗi layer Thuật ngữ Momentum Dung sai huấn luyện Kích cỡ Epoch Giới hạn Learning rate Số lượng tối đa của các lần hoạt động Số lần để lấy ngẫu nhiên các trọng số Kích thước của các dữ liệu dùng để huấn luyện, kiểm tra, và đánh giá Topology Số lượng của neurons đầu vào Số lượng của layers ẩn Số lượng của neuron ẩn trong mỗi layer Số lượng của neurons đầu ra Hàm truyền cho mỗi neuron Hàm sai số 1.5.3 Mục đích, công dụng của mô hình Neural Network Mục đích của mô hình ngoài việc so sánh dữ liệu quá khứ với dữ liệu ước lượng trong quá khứ của mô hình để từ đó thấy được xu hướng trong tương lai của mô hình như thế nào. Sau khi ước lượng từ những dữ liệu trong quá khứ mô hình sẽ cho ra kết quả tương lai dự kiến. Mô hình này hoàn toàn hữu ích đối với nhà đầu tư tổ chức cũng như nhà đầu tư cá nhân. Đối với nhà đầu tư cá nhân, hiện nay trên thế giới, đều ưu thích loại hình option chỉ số. Hình thức option chứng khoán không còn gì mới lạ. Đó vừa là công cụ để phòng ngừa rủi ro cho nhà đầu tư chứng khoán,vừa là công cụ đầu tư trên thị trường và hầu hết các nhà đầu tư đều thích mua/ bán option chỉ số. Việt Nam đang trong lộ trình cho việc sử dụng các công cụ phái sinh và option cũng không phải là ngoại lệ. Và khi option ra đời, tất yếu sẽ có option chỉ số chứng khoán. Chính do nhu cầu đó mà mô hình cung cấp cho các nhà đầu tư công cụ đắc lực để dự đoán chỉ số mà cụ thể trong đề tài này là VN-INDEX để có thể thực hiện call hay put option. Đây là xu hướng tất yếu trong tương lai. Đối với nhà đầu tư tổ chức, nhất là các tập đoàn đa quốc gia, việc đầu tư vào một nền kinh tế hay một ngành nào đó cần phải xem xét tổng quát chung và quyết định thận trọng bởi lẽ họ đầu tư dài hạn nhiều hơn là ngắn hạn. Khi một công ty đa quốc gia lựa chọn thị trường chứng khoán để đầu tư thì họ sẽ xem xét và dự báo các chỉ số đặc trưng của nền kinh tế đó quyết định tỷ trọng đầu tư trong danh mục các nước của mình như thế nào. Ngoài ra, cũng như các nhà đầu tư tổ chức ở trong nước, các tập đoàn này sẽ tập trung hơn nữa vào các ngành tiềm năng thông qua các chỉ số đại diện ngành. Thêm vào mô hình Neural Network theo ngành và điều chỉnh lại mô hình bẳng các yếu tố ảnh hưởng đến hoạt động ngành sẽ giúp các nhà đầu tư này dự báo được hướng phát triển trong tương lai các ngành trong một nền kinh tế. KẾT LUẬN Có thể thấy trong một vài năm trở lại đây mô hình Neural Network được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau, như tài chính, y tế, địa chất và vật lý,... do đặc điểm là dễ sử dụng và năng lực xử lý cực kỳ tinh vi với khả năng mô phỏng các hàm cực kỳ phức tạp của mô hình này. Cấu trúc và quy trình hoạt động của mô hình này được nghiên cứu, xây dựng và phát triển dựa trên ý tưởng về bộ não của con người với khả năng học và chấp nhận sai trong hệ thống neuron sinh học. Hiện nay, có rất nhiều dạng mô hình Neural Network khác nhau với từng kiểu cấu trúc mạng đa dạng. Trong đó, phải kể đến mô hình Backpropagation là một mô hình với hệ thống đa lớp có nhiều tính năng ưu việt hơn cả, được sử dụng phổ biến và là tâm điểm của báo chí từ khi mô hình này được sử dụng rộng rãi trong dự báo chuỗi thời gian trong tài chính. Các thông số phổ biến trong thiết kế mô hình Backpropagation bao gồm xử lý dữ liệu, huấn luyện, topology. Điểm đặc biệt của mô hình này là khả năng xử lý hàm phi tuyến mạnh. Ngoài ra, mô hình này còn có khả năng xử lý và so sánh các kết quả dự báo từ đó đưa ra kết quả chính xác dựa trên tiêu chuẩn tối thiểu hóa sai số. CHƯƠNG 2: CÁC BƯỚC THIẾT KẾ MỘT MÔ HÌNH DỰ BÁO NEURAL NETWORK 2.1. SƠ LƯỢC VỀ VIỆC THIẾ