Đề tài Nghiên cứu, đánh giá và phát triển các mô hình Cluster Server

Khoa CNTT Báo cáo Luận văn Tốt nghiệp Nghiên cứu, Đánh giá & Phát triển các mô hình Cluster Server Trường Đại Học Khoa Học Tự Nhiên Tp HCM Khoa Công nghệ Thông tin Bộ môn Mạng máy tính & Viễn thông Báo cáo Đề tài : Giáo viên hướng dẫn Phạm Nguyễn Anh Huy Sinh viên thực hiện Nguyễn Trường An MSSV: 9912501 Phạm Thanh Phong MSSV: 9912645 Tp HCM Tháng 07/2003 Khoa CNTT Báo cáo Luận văn Tốt nghiệp Nghiên cứu, Đánh giá & Phát triển các mô hình Cluster Server Y×Z Với nhiều sự giúp đỡ vô cùng quý báu của Quý Thầy, Cô khoa Công Nghệ Thông Tin, sự chỉ bảo nhiệt tình của các Anh, chị khóa trước cùng với sự hỗ trợ từ bạn bè, chúng em đã hoàn thành Luận Văn Tốt Nghiệp này. Để bày tỏ lòng biết ơn to lớn ấy, chúng em xin chân thành cảm ơn: • Quý Thầy, Cô khoa Công Nghệ Thông Tin đã tận tình dìu dắt, chỉ dạy cho em những kiến thức quan trọng để chúng em hoàn thành Luận Văn này. • Đặc biệt, chúng em xin kính gửi đến Giáo viên Hướng dẫn - Thầy Phạm Nguyễn Anh Huy - Người đã tận tâm chỉ dẫn, truyền đạt kiến thức cho chúng em trong suốt thời gian làm Luận Văn Tốt Nghiệp lòng biết ơn sâu sắc nhất. • Xin chân thành cảm ơn các Anh chị khóa trước, các bạn học cùng khóa đã nhiệt tình góp ý giúp đỡ chúng em hoàn chỉnh luận văn này. Cuối cùng, chúng em xin kính chúc sức khỏe Quý Thầy, Cô, các anh chị và các bạn. Xin chân thành cảm ơn ! Trân trọng kính chào. Nhóm thực hiện đề tài Nguyễn Trường An & Phạm Thanh Phong Khoa CNTT Báo cáo Luận văn Tốt nghiệp Nghiên cứu, Đánh giá & Phát triển các mô hình Cluster Server MỤC LỤC 1. Đặt vấn đề ( bài toán) ...................................................................................................1 2. Giới thiệu ........................................................................................................................1 2.1 Single Server Solution........................................................................................................ 1 2.2 Cluster Server Solution ...................................................................................................... 2 3. Các giải pháp chia tải Server .......................................................................................3 3.1 DNS Load balancing (DNS Round Robin) ......................................................................... 4 3.1.1 Giới thiệu.................................................................................................................................... 4 3.1.2 Cấu hình ..................................................................................................................................... 6 3.1.3 Đánh giá ưu khuyết điểm............................................................................................................ 8 3.2 Hardware-based Load balancing........................................................................................ 9 3.2.1 Giới thiệu.................................................................................................................................... 9 3.2.2 Mô hình hoạt động.................................................................................................................... 10 3.2.3 Cisco LocalDirector 4000 series .............................................................................................. 11 3.2.4 Đặc điểm của thiết bị ............................................................................................................... 11 3.2.5 Cấu hình thiết bị ....................................................................................................................... 13 3.2.6 Bảng giá tham khảo.................................................................................................................. 13 3.3 Software-based Load balancing ....................................................................................... 14 3.3.1 Application level load balancing với Apache/mod_jk/Tomcat .................................................. 14 A. Giới thiệu .......................................................................................................................... 14 B. Cài đặt ............................................................................................................................... 15 3.3.2 Kỹ thuật IP load balancing với LVS (Linux Virtual Server) ..................................................... 19 A.Giới thiệu ........................................................................................................................... 19 B. Kiến trúc hệ thống............................................................................................................. 20 C. Kỹ thuật IP load balancing ................................................................................................ 25 D. Các thuật toán load balancing trong LVS.......................................................................... 31 E. Các công cụ dùng để quản trị LVS.................................................................................... 34 F. Cài đặt và cấu hình LVS cluster ........................................................................................ 35 G. Đánh giá ưu khuyết điểm.................................................................................................. 42 H. Kết luận............................................................................................................................. 43 3.4 Oracle 9iAS clustering ..................................................................................................... 43 3.4.1 Kiến trúc n-tier clustering ........................................................................................................ 43 A. Single tier-clustering ( basic clustering) ............................................................................ 44 B. Two tier-clustering ............................................................................................................ 45 C. Multi tier-clustering........................................................................................................... 47 3.4.2 n-tier clustering với Oracle 9iAS .............................................................................................. 48 A. Kiến trúc của một Oracle 9i cluster....................................................................................... 49 B. Cấu trúc cây phân cấp của Enterprise Manager trên Oracle 9iAS........................................ 57 C. Instance- specific.................................................................................................................... 58 D. Software & Hardware failure trên Oracle9iAS ..................................................................... 59 E. Cấu hình clustering và load balancing ................................................................................... 60 F. Cấu hình OC4J Instance trên Oracle9i AS............................................................................. 63 3.5 Mô hình cải tiến ( phát triển) ........................................................................................... 64 3.5.1 Apache/mod_jk/Tomcat với session replication........................................................................ 64 Khoa CNTT Báo cáo Luận văn Tốt nghiệp Nghiên cứu, Đánh giá & Phát triển các mô hình Cluster Server A. Giới thiệu session replication ............................................................................................ 64 B. Cơ chế hoạt động............................................................................................................... 65 C. Nâng cấp mô hình Apache/mod_jk/Tomcat với Session Replication................................ 66 D. Nhận xét ưu khuyết điểm.................................................................................................. 68 3.5.2 Content-based load balancing kết hợp LVS với Reverse proxy................................................. 68 A. Tại sao phải chia tải theo nội dung yêu cầu ( content-based)? ......................................... 68 B. Hướng giải quyết - cluster of cluster ................................................................................. 68 C. Cài đặt cluster of cluster.................................................................................................... 71 3.5.3 Giải quyết single point of failure .............................................................................................. 74 4. Cluster testing và Results ...........................................................................................75 4.1 Testing plan ...................................................................................................................... 75 4.2 Results .............................................................................................................................. 78 5. Hướng phát triển .........................................................................................................80 6. Kết luận ........................................................................................................................80 7. Tài liệu Tham khảo......................................................................................................82 8. Phụ lục...........................................................................................................................85 8.1 Phụ lục Các internet site xử dụng Cluster server với LVS .............................................. 85 8.2 Phụ lục Một số Thuật ngữ chuyên ngành sử dụng trong báo cáo .................................... 86 8.3 Phụ lục Cấu trúc CD báo cáo ........................................................................................... 88  DAN H MỤC HÌNH ẢNH Hình 2-1 Tổng quan về cluster server .............................................................................2 Hình 3-1 DNS lookup một yêu cầu ...................................................................................5 Hình 3-2 DNS load balancing ............................................................................................5 Hình 3-3 Cấu hình DNS Load balancing..........................................................................6 Hình 3-4 Server bị lỗi trong DNS Round Robin .............................................................8 Hình 3-5 sơ đồ phân tải luồng TCP/IP sử dụng LocalDirector(không có failover ở mức load balancer) ..........................................................................................................10 Hình 3-6 sơ đồ phân tải luồng TCP/IP sử dụng LocalDirector(có failover ở mức load balancer)...................................................................................................................11 Hình 3-7 Front view LocalDirector 430 / 416 ...............................................................11 Hình 3-8 Front view LocalDirector 417 .......................................................................12 Hình 3-9 Rear view (với kết nối cáp failover giữa primary và backup load balancer) LocalDirector 430 / 416 ...................................................................................................12 Hình 3-10 Kiến trúc Apache/Tomcat load balancing..................................................14 Hình 3-11 n-tier clustering với Apache load balancer .................................................15 Hình 3-12 Tổng quan về LVS.........................................................................................21 Khoa CNTT Báo cáo Luận văn Tốt nghiệp Nghiên cứu, Đánh giá & Phát triển các mô hình Cluster Server Hình 3 -13 Failover mức load balancer trong LVS ......................................................23 Hình 3-14 Các thành phần trong LVS ..........................................................................24 Hình 3-15 LVS-NAT........................................................................................................25 Hình 3-16 Một ví dụ LVS-NAT......................................................................................26 Hình 3-17 LVS-TUN........................................................................................................28 Hình 3-18 Hoạt động của LVS-TUN .............................................................................29 Hình 3-19 LVS-DR ..........................................................................................................30 Hình 3- 20 Hoạt động của LVS-DR...............................................................................31 Hình 3-21 Basic clustering...............................................................................................45 Hình 3-22 Two tier clustering (webtier và presentation tier chung một host).........46 Hình 3-23 Two tier clustering ( presentation tier và object tier chung host) ...........47 Hình 3-24 Multi tier clustering.......................................................................................48 Hình 3-25 Kiến trúc n-tier clustering trên Oracle 9iAS.............................................49 Hình 3-26 Kiến trúc cluster Oracle9iAS .......................................................................50 Hình 3-27 kiến trúc của farm và cluster trên Oracle9iAS..........................................51 Hình 3-28 Minh họa OHS ...............................................................................................55 Hình 3-29 Minh họa OC4J Instance..............................................................................56 Hình 3-30 Minh họa Islands ...........................................................................................57 Hình 3-31 Minh họa cấu trúc cây của Cluster.............................................................58 Hình 3-32 Minh họa Software failure ...........................................................................59 Hình 3-33 Minh họa hardware failure..........................................................................60 Hình 3-34 Minh họa load balancing trên Application Server Instance ...................61 Hình 3-35 Demo tạo cluster bằng Giao diện web-based .............................................61 Hình 3-36 Demo thêm một instance vào cluster bằng giao diện web-based.............62 Hình 3-37 Demo việc quản lý cluster farm bằng giao diện web-based......................62 Hình 3-38 Giao diện Web-based cấu hình web session replicate ..............................63 Hình 3- 39 Cấu hình Apache/Tomcat với session replication .....................................64 Hình 3- 40 Session replication over IP multicast..........................................................66 Hình 3-41 Hoạt động Reverse proxy .............................................................................69 Hình 3-42 LVS Load balancer kết hợp với Reverse proxy .........................................70 Hình 3-43 Cài đặt Reverse proxy trong cùng một mạng ...........................................71 Hình 3-44 cài đặt reverse proxy thuộc hai mạng khác nhau .....................................72 Hình 3-45 Mô hình giải pháp “single point of failure”...............................................75 Hình 4-1 Sơ đồ mạng testing mô hình Apache/mod_jk/Tomcat.................................76 Hình 4-2 Sơ đồ mạng testing mô hình LVS ...................................................................77 Hình 4-3 Kết quả testing mô hình Apache/mod_jk/Tomcat........................................78 Hình 4-4 Kết quả testing mô hình LVS .........................................................................79  Khoa CNTT Báo cáo Luận văn Tốt nghiệp Nghiên cứu, Đánh giá & Phát triển các mô hình Cluster Server DANH MỤC CÁC BẢNG Bảng 3-1 Cấu hình Local Director 416/430 ........................................................................... 13 Bảng 3-2 Cấu hình Local Director 417 .................................................................................. 13 Bảng 3-3 Bảng giátham khảo tại systems/prices/index_full.asp................................................................................................. 13 Bảng 3-4 Bảng giá tham khảo tại 14 Bảng 4-1 Cấu hình Client....................................................................................................... 76 Bảng 4-2 Cấu hình Server...................................................................................................... 76 Bảng 4-3 Cấu hình Apache load balancer.............................................................................. 77 Bảng 4-4 Cấu hình LVS Director ........................................................................................... 77  Khoa CNTT Báo cáo Luận văn Tốt nghiệp Nghiên cứu, Đánh giá & Phát triển các mô hình Cluster Server Khoa CNTT Báo cáo Luận văn Tốt nghiệp Nghiên cứu, Đánh giá & Phát triển các mô hình Cluster Server Trang 1 / 98 1. Đặt vấn đề ( bài toán) Ngày nay, với sự bùng nổ số lượng người sử dụng Internet đặc biệt là các ứng dụng Web, thương mại điện tử …cùng với sự phát triển của các trang web có nội dung động (dynamic content) đã làm gia tăng đáng kể khả năng xử lý của server. Đến một thời điểm nào đó server sẽ không thể đáp ứng với số lượng lớn các yêu cầu đồng thời, và giải pháp được đưa ra là thay thế hoặc nâng cấp server hiện tại bằng server khác có cấu hình mạnh, khả năng xử lý cao nhưng giải pháp này không được khả thi bởi vì các lý do sau: • Với server mới được thay thế này thì trong tương lai gần lại không thể đáp ứng được số lượng các yêu cầu lớn hơn và chúng ta lại phải thay thế hoặc nâng cấp server này bằng server khác có cấu hình mạnh mẽ hơn và điều này sẽ còn tiếp tục cho đến khi nào ??? • Với mỗi công đoạn thay thế hay nâng cấp server thì chi phí phải trả cho thiết bị phần cứng khá cao, và giải pháp này xem ra không mang lại hiệu quả kinh tế cho lắm. Từ các vấn đề trên , người ta đưa ra khái niệm “cluster server”? 2. Giới thiệu Tim Berners-Lee đã phát triển World Wide Web (WWW) năm 1990 khi ông đang làm việc tại CERN ( the European Laboratory for Particle Physics -Boutell). Kể từ đó, web đã trở thành nguồn chủ lực trong tất cả các loại thông tin. Web đã trở nên không còn hạn chế nữa khi Marc Andreessen thuộc The National Center for Supercomputing Applications cho ra đời Mosaic, một trình WWW client rất phổ biến. Trong vài năm gần đây, các ứng dụng web đã gia tăng rất đáng kể từ vài trăm pages đã lên đến hàng triệu web sites như hiện nay. Số lượng người dùng online ngày càng cao điển hình như : Yahoo, Amazon.com, Microsoft, …Một webserver thông thường sẽ không thể nào đáp ứng được hàng ngàn các requests cùng lúc được. Đối mặt với vấn đề này, các sites có lượng traffic cao thường có hai giải pháp lựa chọn : thay thế webserver cũ bằng webserver mới nhanh hơn hoặc thêm vào các server khác để làm tăng khả năng đáp ứng ( giải pháp thêm nhiều server hoạt động đồng thời này gọi là cluster server). 2.1 Single Server Solution Để giải quyết vấn đề gia tăng đáng kể các