Báo cáo Đánh giá sự tác động của một dự án hoặc chương trình phát triển: phương pháp propensity score matching

TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008 140 ĐÁNH GIÁ SỰ TÁC ĐỘNG CỦA MỘT DỰ ÁN HOẶC CHƯƠNG TRÌNH PHÁT TRIỂN: PHƯƠNG PHÁP PROPENSITY SCORE MATCHING IMPACT EVALUATION OF A DEVELOPMENT PROGRAM OR PROJECT: APPROACH PROPENSITY SCORE MATCHING APPROACH LƢƠNG VINH QUỐC DUY Trường Đại Học Kinh Tế Tp. Hồ Chí Minh TÓM TẮT Đánh giá tác động của dự án hoặc chương trình phát triển giúp cho chủ đầu tư hoặc nhà tài trợ xác định liệu dự án đã mang lại kết quả như mong muốn không, và liệu những kết quả đó có thực sự do dự án mang đến hay không. Bài viết này sẽ trình bày một cách cô đọng việc đánh giá sự tác động bằng phương pháp Propensity Score Matching (gọi tắt là phương pháp PSM), một phương pháp được đánh giá cao trong việc đưa đến một kết quả có sức thuyết phục cao trong đánh giá sự tác động của dự án đối với người tham gia dự án. ABSTRACT The impact evaluation of development projects or programs helps investors or donors determine whether the outcomes have been reached, or such outcomes really come from the projects. This paper briefly introduces the Propensity Score Matching approach (PSM), an approach highly appreciated for showing rigorous results in evaluation of impact on participants. 1. Giới thiệu Thực chất của việc đánh giá sự tác động là so sánh lợi ích mà ngƣời tham gia thu đƣợc sau khi dự án xuất hiện. Sự so sánh có thể thực hiện theo thời gian hoặc theo không gian hoặc kết hợp cả hai. Theo thời gian thì gọi là so sánh trƣớc và sau dự án còn theo không gian là so sánh giữa ngƣời tham gia và ngƣời không tham gia 1, và khi kết hợp đƣợc cả không gian và thời gian thì sự so sánh sẽ phản ánh đầy đủ nhất tác động của dự án. Nội dung trung tâm trong hoạt động đánh giá sự tác động là tạo ra đƣợc sự tương đồng trong quá trình so sánh, nghĩa là việc so sánh theo thời gian phải đƣợc thực hiện đối với cùng một ngƣời tham gia, còn so sánh theo không gian phải đƣợc diễn ra giữa những ngƣời tham gia và không tham gia có những đặc điểm tƣơng tự nhau. Cần phải có sự tƣơng đồng trong so sánh, nếu không kết quả thu đƣợc có thể sẽ quá cao hoặc quá thấp so với tác động thực, sự tƣơng đồng trong so sánh giúp chúng ta có thể tiếp cận đến giá trị tác động đích thực của dự án. Chẳng hạn, để so sánh năng suất của hai giống lúa khác nhau, ngƣời ta sẽ trồng cả hai loại trong một điều kiện tự nhiên và dƣới sự săn sóc nhƣ 1 “Ngƣời không tham gia” là các tổ chức, hộ gia đình hoặc cá nhân không tham gia vào dự án. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008 141 nhau, có nhƣ vậy thì sự khác biệt về năng suất sẽ thực sự xuất phát từ bản thân của giống lúa. Tuy nhiên, trong lĩnh vực khoa học xã hội, việc tạo ra sự tƣơng đồng trong so sánh không hề đơn giản. Chẳng hạn, rất khó có thể tìm đƣợc những hộ gia đình có đặc điểm giống nhau hoàn toàn về nhân khẩu học, giá trị tài sản sở hữu, năng lực và kinh nghiệm trong sản xuất-kinh doanh... Vì vậy, trên lý thuyết, các phƣơng pháp đánh giá sự tác động hƣớng đến việc tạo ra sự tƣơng đồng trong khi so sánh. Có nhiều phƣơng pháp để tạo ra sự tƣơng đồng trong so sánh, bao gồm so sánh theo không gian, so sánh theo thời gian và so sánh kết hợp không gian và thời gian. Trong đó phƣơng pháp so sánh theo không gian mà cụ thể là phƣơng pháp Propensity Score Matching (PSM) đƣợc đánh giá rất cao trong đánh giá tác động của dự án. Tính ƣu việt của phƣơng pháp PSM chính là tính khả thi của nó. Đối với các phƣơng pháp so sánh có liên quan đến thời gian nhƣ so sánh phản thân (reflexive comparisons) và khác biệt kép (double difference), cần phải tổ chức khảo sát trong nội bộ ngƣời tham gia trước và sau khi tham gia dự án, sau đó so sánh kết quả của hai đợt khảo sát sẽ đƣợc so sánh để tìm ra tác động của dự án. Yêu cầu cơ bản của phƣơng pháp này là cả hai đợt khảo sát phải đƣợc thực hiện đối với cùng một ngƣời tham gia để tạo ra sự tƣơng đồng trong so sánh. Mặc dù phƣơng pháp này không phức tạp về kỹ thuật nhƣng không phải dự án nào cũng có tổ chức khảo sát tiền dự án nên việc áp dụng phƣơng pháp so sánh theo thời gian trở nên khó áp dụng. Việc đánh giá sự tác động thông thƣờng chỉ đƣợc đề cập đến sau khi dự án đã đi vào hoạt động, vì thế việc so sánh theo không gian bằng PSM trở nên khả thi hơn so với so sánh theo thời gian. Các bƣớc cơ bản để thực hiện so sánh bằng PSM đƣợc tóm tắt nhƣ sau2: - Bước 1: Tiến hành điều tra chọn mẫu hai nhóm: nhóm ngƣời tham gia và nhóm ngƣời không tham gia. Cuộc điều tra này phải bảm bảo đƣợc tính tƣơng đồng, chẳng hạn nhƣ cùng phiếu điều tra, cùng thời điểm, cùng ngƣời phỏng vấn, cùng địa bàn … - Bước 2: Từ số liệu của cuộc điều tra, xây dựng mô hình logic trong đó biến phụ thuộc là 0 cho ngƣời không tham gia và 1 cho ngƣời tham gia, còn biến độc lập là những nhân tố có thể ảnh hƣởng đến khả năng tham gia vào dự án của cả hai nhóm. - Bước 3: Tiến hành hồi quy cho mô hình logic rồi tính giá trị dự đoán hay xác suất dự đoán (predicted propability) cho từng cá thể trong hai nhóm. Giá trị xác suất dự đoán đƣợc gọi là propesity score, giá trị này sẽ nằm trong khoảng từ 0 đến 1. - Bước 4: Loại bớt những cá thể có xác suất dự đoán quá thấp hoặc quá cao so với cả mẫu. 2 Theo Baker (2000) và Ravallion (2001) TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008 142 - Bước 5: Tƣơng ứng với mỗi cá thể trong nhóm ngƣời tham gia, chúng ta tìm một hoặc một số cá thể trong nhóm ngƣời không tham gia mà có xác suất dự đoán gần giống nhau nhất rồi so sánh với nhau. Chẳng hạn, so sánh thu nhập của cá thể trong nhóm ngƣời tham gia với thu nhập bình quân của các cá thể trong nhóm ngƣời không tham gia mà có xác suất dự đoán gần giống nhau nhất. Kết quả của những so sánh này là tác động của dự án đối với mỗi cá thể tham gia dự án, gọi là “individual gains”. - Bước 6: Cuối cùng tính trung bình của tất cả “individual gains” để đƣợc giá trị trung bình chung, giá trị trung bình chung này chính là tác động của dự án đối với những ngƣời tham gia. Những bƣớc cơ bản là nhƣ vậy, còn thực tế sẽ phức tạp hơn hay đơn giản hơn tùy từng dự án. Trong các bƣớc trên, hai bƣớc đầu tiên là quan trọng nhất và khó nhất. Nếu làm tốt hai bƣớc này, việc tính toán còn lại chỉ đơn thuần là một bài tính trừ. 2. Ứng dụng Phƣơng pháp PSM đã đƣợc tác giả áp dụng để đánh giá tác động của một dự án phát triển đàn bò sữa đối với các hộ tham gia vào dự án tại huyện Củ Chi, TP.HCM năm 2003. Các bƣớc tiến hành đƣợc tóm tắt nhƣ sau: - Bước 1: Tiến hành điều tra chọn mẫu hai nhóm hộ: 150 hộ có tham gia dự án và 150 hộ không tham gia dự án. Cuộc điều tra này phải bảm bảo đƣợc tính tƣơng đồng, chẳng hạn nhƣ cùng phiếu điều tra, cùng thời điểm, cùng ngƣời phỏng vấn, cùng địa bàn … - Bước 2: Từ số liệu của cuộc điều tra, xây dựng mô hình logit trong đó biến phụ thuộc là 0 cho hộ không tham gia dự án và 1 cho hộ có tham gia dự án, còn biến độc lập là những nhân tố có thể ảnh hƣởng đến khả năng tham gia vào dự án của cả hai nhóm, ví dụ: đặc điểm nhân khẩu học của hộ, đặc điểm về hoạt động chăn nuôi của hộ. - Bước 3: Tiến hành hồi quy cho mô hình logit rồi tính giá trị dự đoán hay xác suất dự đoán cho từng hộ ở cả hai nhóm. - Bước 4: Loại bớt những hộ có xác suất dự đoán quá thấp hoặc quá cao so với cả mẫu. - Bước 5: Tƣơng ứng với mỗi hộ trong nhóm tham gia dự án, tìm một hoặc một số hộ trong nhóm không tham gia dự án có xác suất dự đoán gần giống nhau nhất rồi so sánh với nhau. Tổng cộng có 144 lƣợt so sánh đƣợc thực hiện, có 6 hộ tham gia bị loại khỏi so sánh vì có xác suất dự đoán quá cao so với mẫu. - Bước 6: Kết quả đánh giá tác động chung của dự án đối với thu nhập bình quân đầu ngƣời/tháng của những hộ tham gia là gần 200.000 đồng. Con số này có nghĩa là dự án đã có tác động tích cực đến thu nhập từ sữa của các hộ tham gia vào TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008 143 dự án, và xét trên tổng thể, thu nhập bình quân đầu ngƣời/tháng từ sữa của những hộ tham gia cao hơn những hộ không tham gia là gần 200.000 đồng. Để so sánh thu nhập giữa hai nhóm bất kỳ, ngƣời ta còn có thể áp dụng phƣơng pháp so sánh giá trị trung bình giữa hai nhóm có kèm kiểm định T (Independent Sample T-test). Áp dụng phƣơng pháp này vào dữ liệu khảo sát ở trên sẽ đƣợc kết quả nhƣ sau: Bảng 1: Kết quả so sánh thu nhập bình quân đầu người theo “Independent Sample T-Test” Giá trị chênh lệch thu nhập bình quân Sai số chuẩn Trung bình sai số chuẩn t Bậc tự do Mức ý nghĩa thống kê ở 95% 324.514 937.525 76.548 -4,239 149 0,000 Nguồn: Tính toán từ dữ liệu điều tra hộ nông dân nuôi bò sữa năm 2003 Bảng 1 cho thấy kết quả so sánh bằng phƣơng pháp thông thƣờng cho ra kết quả thu nhập bình quân đầu ngƣời của những hộ tham gia cao hơn những hộ không tham gia là gần 325.00 đồng, trong khi đó kết quả từ phƣơng pháp PSM là gần 200.000 đồng. Khoảng tin cậy cho giá trị tính toán về chênh lệch thu nhập giữa hai nhóm đƣợc tính toán từ công thức sau3: với Kết quả khoảng tin cậy là (1 - 2) = 165.568 đến 483.461 đồng, nên cả hai kết quả tính toán về giá trị tác động của dự án đều có ý nghĩa về mặt thống kê, nhƣng theo nhận xét của các chuyên gia trong lĩnh vực chăn nuôi bò sữa tại vùng nghiên cứu thì kết quả của phƣơng pháp PSM có vẻ hợp lý hơn con số đƣợc tính theo cách so sánh thông thƣờng. 3. Gợi ý cho việc áp dụng phương pháp PSM Phƣơng pháp PSM giúp xác định và so sánh những đối tƣợng có nét tƣơng đồng, vì vậy cần mẫu quan sát tƣơng đối lớn. Ngoài ra, cần nhận diện tốt những nhân tố có thể tác động đến khả năng tham gia và không tham gia vào dự án của các đối tƣợng nghiên cứu, làm cơ sở cho mô hình logic. Với các dự án và chƣơng 3 Wonnacott and Wonnacott (1990: 265-266) TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008 144 trình phát triển, các chủ đầu tƣ đôi khi miễn cƣỡng tiến hành đánh giá tác động đối với đối tƣợng thụ hƣởng vì quan ngại kết quả đánh giá tác động có thể không nhƣ kỳ vọng, sẽ ảnh hƣởng đến uy tín của chủ đầu tƣ. Thêm vào đó, hoạt động đánh giá tác động cũng có thể chiếm một khoản kinh phí không nhỏ đối với chủ đầu tƣ (khảo sát dữ liệu, xử lý dữ liệu, thuê chuyên gia…). Vì vậy, với một nguồn lực hạn chế, hoạt động đánh giá tác động thƣờng bị bỏ qua trong tiến trình của một dự án. Tuy nhiên, nếu xét trong dài hạn, kết quả đánh giá tác động của dự án này sẽ là bài học kinh nghiệm quý giá cho những dự án tƣơng tự sau đó, nhờ đó, hiệu quả của dự án sẽ đƣợc cải thiện và nâng cao. Trong bối cảnh hiện nay khi hiệu quả của các dự án phát triển nhằm thực hiện mục tiêu phát triển kinh tế không cao và đang là một vấn đề quan tâm của chủ dự án – các tổ chức và chính quyền các địa phƣơng. Phƣơng pháp PSM này có thể sử dụng tốt trong đánh giá tính hiệu quả của các dự án phát triển khi triển khai thực hiện ở các địa phƣơng trƣớc khi đƣợc tiến hành đại trà trên diện rộng. Phƣơng pháp này sẽ góp thêm một công cụ góp phần nâng cao hiệu quả các dự án qua đó góp phần phát triển kinh tế bền vững cho địa phƣơng và đƣợc sử dụng bởi chính quyền các địa phƣơng và các tổ chức tài trợ dự án. TÀI LIỆU THAM KHẢO [1] Baker, J.L. (2000) Direction in Development-Evaluating the Impact of Development Projects on Poverty-A Handbook for Practicioners, Ngân hàng Thế giới, Washington, D.C. [2] ngày truy cập: 20/10/2002. [3] Ravallion, M. (2001) „The Mystery of the Vanishing Benefits: An Introduction to Impact Evaluation‟, The World Bank Economic Review, quyển 15, số 1, từ trang 115 đến trang 140. [4] Wonnacott, T.H. và Wonnacott, R.J. (1990) Introductory Statistics. New York: John Wiley&Son, tái bản lần thứ 5.