Trong tất cả các nền văn minh từ trước đến nay, giao tiếp là một hoạt động không
thể thiếu, nó xuất hiện mọi nơi mọi lúc, trong mọi lĩnh vực và ảnh hưởng trực tiếp tới
cuộc sống của từng cá thể. Giao tiếp là một nhu cầu xã hội cơ bản, nó xuất hiện sớm
nhất trong đời sống của mỗi người và là yếu tố ảnh hưởng trực tiếp tới quá trình hình
thành lên tâm sinh lý của con người. Hơn thế nữa, giao tiếp giúp con người có thể
truyền tải thông tin, học hỏi tri thức và thể hiện cảm xúc. Nhờ có giao tiếp làm cho con
người văn hóa, xã hội văn minh và đất nước phát triển. Nhận thấy tầm quan trọng của
hoạt động giao tiếp nên con người đã bỏ rất nhiều thời gian và công sức vào nghiên
cứu yếu tố quyết định thành công của việc giao tiếp, không chỉ trong lĩnh vực giao tiếp
giữa con người với con người, mà ngày nay con người đã bắt đầu nghiên cứu về các hệ
thống tương tác người – máy. Mặt khác, trong giao tiếp thì khuôn mặt là nơi con người
thể hiện suy nghĩ, tình cảm, thái độ nên để con người và máy tính có thể tương tác với
nhau tự nhiên hơn thì các hệ thống được xây dựng dựa trên nền tảng là những thay đổi
của khuôn mặt. Muốn xác định được các thay đổi đó cần trích chọn được ra các yếu tố
riêng biệt của từng khuôn mặt, trên khía cạnh đó bài toán Trích chọn đặc trưng trên
khuôn mặt ra đời là động lực to lớn thúc đẩy sự phát triển của các hệ thống tương tác
người – máy tự động. Là một bài toán cơ bản và đã có rất nhiều các giải pháp trích
chọn đặc trưng khác nhau được đưa ra nhưng hầu hết các giải pháp trước đó đều gặp
khó khăn trong việc xử lý các bức ảnh khuôn mặt với độ phân giải khác nhau hay với
những điều kiện ánh sáng không thuận lợi. Trong khóa luận này, chúng tôi sẽ trình bày
về phương pháp lai để xác định các điểm đặc trưng trên khuôn mặt. Phương pháp lai
này sẽ khắc phục được những khó khăn mà các phương pháp trước đó gặp phải như
ảnh hưởng của điều kiện ánh sáng hay một số nhiễu trong ảnh. Dựa vào phương pháp
lai này chúng tôi xây dựng lên một hệ thống để xác định 20 điểm đặc trưng, hệ thống
đã được chạy thử nghiệm trên bộ dữ liệu Cohn – Kanade và cho kết quả khả quan.
67 trang |
Chia sẻ: oanhnt | Lượt xem: 1425 | Lượt tải: 1
Bạn đang xem trước 20 trang tài liệu Khóa luận Trích chọn đặc trưng trên khuôn mặt người, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD ở trên
ĐẠI HỌC CÔNG NGHỆ
ĐẠI HỌC QUỐC GIA HÀ NỘI
--------
Nguyễn Thành Trung
TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT
NGƯỜI
KHÓA LUẬN TỐT NGHIỆP HỆ CHÍNH QUY
Ngành: Công Nghệ Thông Tin
Hà Nội – 2010
ĐẠI HỌC CÔNG NGHỆ
ĐẠI HỌC QUỐC GIA HÀ NỘI
--------
Nguyễn Thành Trung
TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT
NGƯỜI
KHÓA LUẬN TỐT NGHIỆP HỆ CHÍNH QUY
Ngành: Công Nghệ Thông Tin
GV hướng dẫn: PGS.TS. Bùi Thế Duy
Hà Nội – 2010
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung
i
Lời cảm ơn
Trước tiên, em xin gửi lời cảm ơn sâu sắc nhất đến thầy Bùi Thế Duy, người đã
không quản vất vả hướng dẫn em trong suốt thời gian làm khóa luận tốt nghiệp vừa
qua. Em cũng xin chân thành cảm ơn các anh chị, thầy cô trong phòng tương tác người
- máy đã luôn chỉ bảo mỗi khi em có những vấn đề vướng mắc.
Em xin bày tỏ lời cảm ơn sâu sắc đến các thầy cô giáo trong Trường Đại Học Công
Nghệ đã tận tình dạy dỗ em suốt bốn năm học qua.
Con xin cảm ơn bố, mẹ và gia đình đã luôn bên con, cho con động lực để làm việc
tốt hơn. Cảm ơn tất cả bạn bè đã luôn sát cánh cùng tôi.
Hà Nội, ngày 20 tháng 5 năm 2010
Nguyễn Thành Trung
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung
ii
Tóm tắt
Bài toán trích chọn đặc trưng trên ảnh mặt người là bài toán cơ bản và quan trọng
trong nhóm các bài toán về xử lý ảnh mà đầu vào là ảnh 2D. Đầu ra của nó được sử
dụng làm đầu vào cho bài toán nhận dạng mặt, nhận dạng cảm xúc,... Trong khóa luận
này chúng tôi đưa ra một phương pháp lai và xây dựng hệ thống áp dụng phương pháp
lai này nhằm mục đích nhận dạng các điểm đặc trưng trong các bức ảnh mặt người
thông qua hướng tiếp cận trích chọn đặc trưng hình học. Hệ thống của chúng tôi đã
được xây dựng hoàn chỉnh và các kết quả chạy thử nghiệm trên bộ dữ liệu Cohn –
Kanade thu được là khả quan.
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung
iii
Mục lục
Lời cảm ơn ........................................................................................................................................................ i
Tóm tắt ............................................................................................................................................................ ii
Mục lục ........................................................................................................................................................... iii
Danh sách hình vẽ ............................................................................................................................................ v
Danh sách bảng .............................................................................................................................................. vii
Chương 1 Giới thiệu ......................................................................................................................................... 1
Chương 2 Phát hiện khuôn mặt người trong ảnh 2D .......................................................................................... 3
2.1 Giới thiệu ........................................................................................................................................... 3
2.2 Tổng quan về công nghệ phát hiện khuôn mặt ...................................................................................... 3
2.2.1 Chiến lược phát hiện khuôn mặt ................................................................................................ 3
2.2.2 Xác định hướng quay của đầu ................................................................................................... 5
2.2.3 Một số phương pháp dùng phát hiện khuôn mặt ......................................................................... 7
2.3 Nhận dạng khuôn mặt dùng đặc trưng giống Haar và Adaboost ........................................................... 8
2.3.1 Cơ sở lý thuyết đặc trưng giống Haar ......................................................................................... 8
2.3.2 Phương pháp học máy Adaboost ............................................................................................... 9
Chương 3 Tổng quan về các phương pháp trích chọn đặc trưng ........................................................................13
3.1 Các hướng tiếp cận ............................................................................................................................13
3.2 Phương pháp trích chọn đặc trưng hình học.......................................................................................14
3.2.1 Tổng quan ................................................................................................................................14
3.2.1 Xác định các điểm đặc trưng trên khuôn mặt .............................................................................14
3.2.2 Phát hiện hình dáng các bộ phận trên khuôn mặt .......................................................................16
3.2.3 Nhân trắc học và áp dụng với phương pháp trích chọn đặc trưng hình học .................................17
3.3 Trích chọn đặc trưng diện mạo ...........................................................................................................19
3.3.1 Tổng quan ................................................................................................................................19
3.3.2 Mã LBP ...................................................................................................................................19
3.3.3 Bộ lọc Gabor ............................................................................................................................23
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung
iv
Chương 4 Xây dựng hệ thống nhận dạng các điểm đặc trưng ............................................................................25
4.1 Tổng quan về hệ thống ........................................................................................................................25
4.2 Thiết kế hệ thống ................................................................................................................................27
4.3 Thực nghiệm ......................................................................................................................................33
4.3.1 Phát hiện khuôn mặt trong ảnh ..................................................................................................33
4.3.2 Xác định các vùng đặc trưng .....................................................................................................36
4.3.3 Xác định 6 điểm đặc trưng ........................................................................................................41
4.3.3 Xác định 14 điểm đặc trưng ......................................................................................................46
Chương 5 Tổng kết và hướng phát triển ...........................................................................................................55
Tài liệu tham khảo ...........................................................................................................................................56
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung
v
Danh sách hình vẽ
Hình 1 −Xác định đường cắt của đầu. ............................................................................................................... 6
Hình 2 − Ví dụ về 3 hướng quay của đầu. ......................................................................................................... 7
Hình 3 – Ảnh tích hợp ...................................................................................................................................... 9
Hình 4 − Sơ đồ hệ thống nhận dạng khuôn mặt. ...............................................................................................10
Hình 5 − Hệ thống nhận dạng khuôn mặt. ........................................................................................................12
Hình 6 − Lặp để xác định ngưỡng trên cửa sổ tìm kiếm ...................................................................................14
Hình 7 – Phép chiếu toàn bộ.............................................................................................................................15
Hình 9 − Sơ đồ hệ thống tự động xác định điểm đặc trưng. ..............................................................................16
Hình 10 – Mô hình nhiều trạng thái với mặt trực diện. ......................................................................................17
Hình 11 – Mô hình nhân trắc học của mặt (a) Các điểm mốc, (b) Khoảng cách. ................................................18
Hình 12 - Ví dụ về LBP và độ tương phản cục bộ C .........................................................................................20
Hình 13 - Tập hợp các điểm xung quanh Ptt. .....................................................................................................20
Hình 14 – Phần thực của bộ lọc Gabor với 5 tần xuất và 8 hướng với wmax = 𝝅/2, hàng ứng với sự thay đổi tần
suất, cột ứng với sự thay đổi hướng. .................................................................................................................23
Hình 15 – Một ví dụ về ảnh sau khi nhân xoắn với 48 bộ lọc Gabor ..................................................................24
Hình 16 – 20 điểm đặc trưng. ...........................................................................................................................25
Hình 17 – Hệ thống nhận dạng 20 điểm đặc trưng. ...........................................................................................27
Hình 18 – Vị trị, kích thước con ngươi. ............................................................................................................28
Hình 19 – Các vùng đặc trưng trên khuôn mặt. .................................................................................................29
Hình 20 – Thuật toán 2 đỉnh. ...........................................................................................................................30
Hình 21 – Xác định đường biên chính bằng thuật toán đồ thị liên thông. ...........................................................31
Hình 22 – Một số ví dụ phát hiện khuôn mặt bằng đặc trưng giống Haar trên hệ cơ sở dữ liệu Conh – Kanade . 36
Hình 23 – Kết quả nhận dạng khuôn mặt thời gian thực (sử dụng camera). .......................................................36
Hình 24 – Chia khuôn mặt thành 3 phần. ..........................................................................................................37
Hình 25 – Một số ví dụ về xác định vùng mắt phải. ..........................................................................................39
Hình 26 – Một số ví dụ về xác định vùng mắt trái.............................................................................................40
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung
vi
Hình 27 – Một số ví dụ xác định vùng miệng (a) đúng, (b) sai. .........................................................................41
Hình 28 – Đánh dấu hàng có histogram lớn nhất. .............................................................................................41
Hình 29 – Xác định vị trí mống mắt bằng histogram. ........................................................................................42
Hình 32 – Xác định mống mắt là tâm vùng đặc trưng. ......................................................................................42
Hình 31 – Một ví dụ dùng thuật toán phát hiện cạnh Canny sau khi lấy ngưỡng. ...............................................43
Hình 32 – Ví dụ về xác định 2 lỗ mũi. ..............................................................................................................43
Hình 33 – Xác định đường mép bằng histogram (a)Trường hợp chính xác, (b) Trường hợp không chính xác. ...44
Hình 34 – Ví dụ lấy ngưỡng trong khoảng [5 50]..............................................................................................45
Hình 35 – Ví dụ xác định cạnh bằng thuật toán Canny. .....................................................................................45
Hình 36 – Ví dụ xác định 2 điểm khóe miệng. ..................................................................................................46
Hình 37 – Thực nghiệm 8 điểm đặc trưng. .......................................................................................................46
Hình 38 – Ví dụ về xác định 8 điểm đặc trưng. .................................................................................................54
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung
vii
Danh sách bảng
Bảng 1 – Tỷ lệ khoảng cách giữa các mốc. .......................................................................................................18
Bảng 2 – Danh sách các điểm đặc trưng. ..........................................................................................................26
Bảng 3 - Bộ cơ sở dữ liệu Cohn – Kanade. ......................................................................................................34
Bảng 4 – Kết quả nhận dạng khuôn mặt trên bộ cơ sở dữ liệu Cohn – Kanade. ..................................................35
Bảng 5 – Các bộ phân lớp cascade. ..................................................................................................................38
Bảng 6 – Kết quả xác định vùng mắt phải. .......................................................................................................39
Bảng 7 – Kết quả xác định vùng mắt trái. .........................................................................................................39
Bảng 8 – Kết quả xác định vùng miệng. ...........................................................................................................40
Bảng 9 – Kết quả nhận dạng điểm mống mắt....................................................................................................42
Bảng 10 – Kết quả nhận dạng 2 lỗ mũi. ............................................................................................................43
Bảng 11 – Kết quả xác định 2 khóe miệng........................................................................................................44
Bảng 12 – Danh sách kích thước ảnh mẫu kiểm tra...........................................................................................50
Bảng 13 – Sai số trung bình. ............................................................................................................................53
Bảng 14 – Kết quả xác định 2 điểm P7,P8 với 10 mẫu. .....................................................................................54
Chương 1. Giới thiệu Nguyễn Thành Trung
1
Chương 1
Giới thiệu
Trong tất cả các nền văn minh từ trước đến nay, giao tiếp là một hoạt động không
thể thiếu, nó xuất hiện mọi nơi mọi lúc, trong mọi lĩnh vực và ảnh hưởng trực tiếp tới
cuộc sống của từng cá thể. Giao tiếp là một nhu cầu xã hội cơ bản, nó xuất hiện sớm
nhất trong đời sống của mỗi người và là yếu tố ảnh hưởng trực tiếp tới quá trình hình
thành lên tâm sinh lý của con người. Hơn thế nữa, giao tiếp giúp con người có thể
truyền tải thông tin, học hỏi tri thức và thể hiện cảm xúc. Nhờ có giao tiếp làm cho con
người văn hóa, xã hội văn minh và đất nước phát triển. Nhận thấy tầm quan trọng của
hoạt động giao tiếp nên con người đã bỏ rất nhiều thời gian và công sức vào nghiên
cứu yếu tố quyết định thành công của việc giao tiếp, không chỉ trong lĩnh vực giao tiếp
giữa con người với con người, mà ngày nay con người đã bắt đầu nghiên cứu về các hệ
thống tương tác người – máy. Mặt khác, trong giao tiếp thì khuôn mặt là nơi con người
thể hiện suy nghĩ, tình cảm, thái độ nên để con người và máy tính có thể tương tác với
nhau tự nhiên hơn thì các hệ thống được xây dựng dựa trên nền tảng là những thay đổi
của khuôn mặt. Muốn xác định được các thay đổi đó cần trích chọn được ra các yếu tố
riêng biệt của từng khuôn mặt, trên khía cạnh đó bài toán Trích chọn đặc trưng trên
khuôn mặt ra đời là động lực to lớn thúc đẩy sự phát triển của các hệ thống tương tác
người – máy tự động. Là một bài toán cơ bản và đã có rất nhiều các giải pháp trích
chọn đặc trưng khác nhau được đưa ra nhưng hầu hết các giải pháp trước đó đều gặp
khó khăn trong việc xử lý các bức ảnh khuôn mặt với độ phân giải khác nhau hay với
những điều kiện ánh sáng không thuận lợi. Trong khóa luận này, chúng tôi sẽ trình bày
về phương pháp lai để xác định các điểm đặc trưng trên khuôn mặt. Phương pháp lai
này sẽ khắc phục được những khó khăn mà các phương pháp trước đó gặp phải như
ảnh hưởng của điều kiện ánh sáng hay một số nhiễu trong ảnh. Dựa vào phương pháp
lai này chúng tôi xây dựng lên một hệ thống để xác định 20 điểm đặc trưng, hệ thống
đã được chạy thử nghiệm trên bộ dữ liệu Cohn – Kanade và cho kết quả khả quan.
Phần còn lại của khóa luận được trình bày như sau: tại Chương 2 chúng tôi giới thiệu
tổng quan về bài toán phát hiện khuôn mặt người trong ảnh 2D. Tiếp theo, chúng tôi
Chương 1. Giới thiệu Nguyễn Thành Trung
2
trình bày tổng quan về các phương pháp trích chọn đặc trưng trên khuôn mặt người
trong Chương 3. Sau đó, tại Chương 4 chúng tôi trình bày về hệ thống nhận dạng các
đặc trưng trên khuôn mặt của mình. Cuối cùng là phần tổng kết, đánh giá và hướng
phát triển chúng tôi trình bày trong Chương 5.
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung
3
Chương 2
Phát hiện khuôn mặt người trong ảnh 2D
2.1 Giới thiệu
Bài toán trích trọn đặc trưng trên ảnh khuôn mặt người đã được quan tâm từ khá lâu do
có rất nhiều ứng dụng như: Sử dụng trong hệ thống nhận dạng cảm xúc, hệ thống
tương tác giữa người và máy (điều khiển máy tính qua các cử động của khuôn mặt), hệ
thống nhận dạng người (giúp cho các cơ quan an ninh quản lý con người), hệ thống
quan sát theo dõi như hệ thống quản lý việc ra vào cho các cơ quan và công ty, hệ
thống kiểm tra người lái xe có ngủ gật hay không, hệ thống phân tích cảm xúc trên
khuôn mặt, hệ thống nhận dạng khuôn mặt cho các máy ảnh kỹ thuật số,...
Ngày nay, đã có rất nhiều các phương pháp trích chọn đặc trưng với những cách thức
rất khác nhau nhưng tất cả các phương pháp đó đều bao gồm hai công đoạn chính là:
Phát hiện khuôn mặt người trong ảnh,
Trích chọn đặc trưng.
Để hiểu rõ hơn về bài toán trích chọn đặc trưng và các công đoạn trong bài toán trích
chọn đặc trưng, đầu tiên chúng tôi sẽ trình bày tổng quan về công nghệ phát hiện
khuôn mặt trong ảnh 2D.
2.2 Tổng quan về công nghệ phát hiện khuôn mặt
2.2.1 Chiến lược phát hiện khuôn mặt
Hiện nay có rất nhiều phương pháp nhận dạng khuôn mặt người, dựa vào các tính chất
của các phương pháp, ta có thể chia ra làm hai hướng tiếp cận chính như sau:
Hướng tiếp cận dựa trên đặc trưng cơ bản
Đây là phương pháp dựa chủ yếu trên những hiểu biết của con người về khuôn mặt. Ví
dụ như những bộ phận trên khuôn mặt mắt, mũi, miệng, ngoài ra còn có thể về hình
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung
4
dạng, đường nét hay cấu tạo của khuôn mặt. Trong phướng pháp này có 2 chiến lược
tiếp cận khác nhau là:
Từ dưới lên (Bottum-up): Cố gắng xác định từng đặc trưng riêng biệt sau đó nhóm
chúng lại với nhau và kiểm tra lại. Phương pháp này có ưu điểm là không bị ảnh
hưởng của hướng xoay hay di chuyển của khuôn mặt nhưng có một số giới hạn
sau:
Thứ nhất, các đặc trưng dễ bị ảnh hưởng bởi các yếu tố như độ sáng tối, hay
nhiễu trong ảnh.
Thứ hai, các bước thực hiện trong cách tiếp cận này đòi hỏi chi