Để thống nhất cách hiểu, các khái niệm dùng trong đo lường tác động & đánh giá hiệu quả học tập được giới thiệu: Show Học tập: Là quá trình tiếp thu giá trị mới (kiến thức, kỹ năng, thái độ). Quá trình học tập diễn ra dưới nhiều hình thức: tham gia lớp học, được kèm cặp trong công việc, được trải nghiệm dự án thực tiễn … Tác động: là sự thay đổi trong hành vi, kết quả công việc của 1 cá nhân, tổ chức. Hiệu quả: là tương quan giữa kết quả nhận được và chi phí bỏ ra. Đo lường: là xác định mức độ/độ lớn thực tế của 1 hay 1 bộ tiêu chí, kết quả của đo lường là đưa ra những bằng chứng và con số (facts and fingers). Đánh giá: là nhận định về kết quả thực tế đo lường được, trong mối tương quan với kỳ vọng, mục tiêu và chi phí. Đánh giá là căn cứ dẫn đến những quyết định. 1.2 Mô hình đo lường tác động & hiệu quả học tập Tới nay, thế giới ghi nhận 2 người có công lớn nhất trong phương pháp đo lường tác động & hiệu quả học tập: Donald Kirkpatrick, giáo sư danh dự tại Đại học Wisconsin ở Hoa Kỳ và là cựu chủ tịch của Hiệp hội đào tạo và phát triển Hoa Kỳ (ASTD). Kirkpatrick có đóng góp lớn cho nghề L&D thế giới với việc tạo ra một mô hình 'bốn cấp độ' đánh giá tác động đào tạo, đây cũng là đề tài tiến sĩ của ông năm 1954. Bốn cấp độ tác động của đào tạo theo Kirkpattrick bao gồm: - Cấp độ 1 - Phản ứng: Học viên cảm nhận về như thế nào về chương trình (nội dung, giảng viên, công tác tổ chức lớp), mục tiêu chính là để cải thiện chương trình. - Cấp độ 2 - Học tập: những giá trị mới (kiến thức, kỹ năng, thái độ) từ khóa học tại thời điểm kết thúc. Để đánh giá kiến thức, thường dùng các bài test, kỹ năng thường được đánh giá từ các bài thực hành, diễn vai giả định, thái độ thường được đánh giá qua phỏng vấn hoặc mục tiêu ứng dụng. CBLĐ yêu cầu học viên trình bày báo cáo ngày đầu tiên trở lại với công việc. - Cấp độ 3 - Hành vi: đo lường khả năng chuyển hóa kiến thức, kỹ năng, thái độ từ môi trường học tập thành hành vi thể hiện trong công việc thực tiễn. Ở đây, xuất hiện yếu tố điều kiện và môi trường làm việc với những cơ hội áp dụng kiến thức/kỹ năng/thái độ đã học hoặc những rào cản (văn hóa tổ chức, phong cách quản lý, điều kiện cơ sở vật chất, thiết bị …). Cần lưu ý, ngay cả trong môi trường có nhiều cơ hội thì hành vi của học viên cũng cần thời gian để thay đổi. Sự tham gia của quản lý trực tiếp là yếu tố quan trọng để khuyến khích học viên thay đổi hành vi. - Cấp độ 4 - Kết quả: đo lường mức độ đóng góp của hoạt động học tập lên kết quả hoạt động của cá nhân, bộ phận và công ty hay không? Ở cấp độ này, cần bóc tách được các yếu tố khác ảnh hưởng tới kết quả. Chưa hài lòng với 4 cấp độ, Jack Phillips-Chủ tịch Viện ROI, nơi cung cấp dịch vụ đo lường, phân tích và đánh giá tác động của đào tạo, người đã cung cấp dịch vụ tư vấn cho hơn 60 công ty thuộc Fortune 100 và là diễn giả nổi tiếng thế giới trong các hội thảo - đã đẩy vấn đề đi xa hơn bằng việc giới thiệu một cấp độ mới. - Cấp độ 5-ROI: Đo lường hiệu quả từ 1 đồng vốn đầu tư cho đào tạo. Mặc dù cấp độ này đòi hỏi rất nhiều điều kiện nhưng nó cũng giúp thỏa mãn trăn trở của khách hàng quan trọng nhất của đào tạo - chủ đầu tư. Dưới đây là hình mô tả toàn bộ 5 cấp độ: Vận dụng mô hình trong thực tiễn, người làm nghề L&D cần chú trọng các quy tắc sau: - Phù hợp: áp dụng cấp độ đánh giá phù hợp với nội dung. Ví dụ, với các khóa học thời lượng ngắn, chỉ áp dụng đo lường ở cấp độ 1, 2. Với các chương trình trọng điểm, áp dụng cấp độ 3, 4, 5 - Nhất quán: đo lường và đánh giá phải dựa trên hệ quy chiếu nhất quán, ví dụ so sánh sự thay đổi về hành vi trước và sau đào tạo phải cùng một bộ tiêu chí, một thang đo. - Thuyết phục: phương pháp luận, công cụ, dữ liệu phải đáng tin cậy để thuyết phục được các bên liên quan và không lãng phí công sức - Hiệu quả: thực tế có những cách rất đơn giản để đạt được mục đích đo lường, ví dụ xem 5 bức ảnh chụp ngẫu nhiên 1 lớp học có thể đánh giá khá chính xác độ hài lòng của học viên. Tương tự, hãy chọn phương thức đơn giản nhất, mất ít nguồn lực nhất để đảm bảo tính hiệu quả của hoạt động đo lường tác động & hiệu quả học tập. II - Quy trình đo lường hiệu quả đào tạo 2.1 Quy trình đo lường hiệu quả đào tạo Để thực hiện đo lường tác động & hiệu quả học tập, cần thực hiện 4 bước dưới đây:
Trong bước này, cần xác định rõ yêu cầu đo gì, phạm vi (số mẫu) cần đo, các bên liên quan đến việc đo (bản thân học viên, lãnh đạo trực tiếp, đồng nghiệp, khách hàng của học viên), phương thức đo, ngưỡng “đạt” và các biểu mẫu sẽ sử dụng, mẫu báo cáo. 2. Bước 2: Triển khai đo lường Thực hiện hoạt động đo, có thể là khảo sát kiến thức, quan sát thực tiễn biểu hiện hành vi, bài tập mô phỏng, phỏng vấn thái độ… để có những dữ liệu sơ cấp (primary data) và nghiên cứu các báo cáo/tài liệu đã có sẵn dưới dạng dữ liệu thứ cấp (secondary data). 3. Bước 3: Phân tích dữ liệu Dữ liệu thu được cần phân tích theo nhiều chiều để tìm ra sự thật. Cần lưu ý phân tích các yếu tố: điểm trung bình (mean) của 1 tiêu chí, độ phân tán của điểm số quanh giá trị trung bình (phương sai), diễn biến của dữ liệu theo thời gian, sự khác biệt của dữ liệu theo không gian (các địa điểm khác nhau), mối tương quan (thuận/nghịch) giữa các chỉ số … Trong bước này, người làm L&D cần có chút kiến thức môn phân tích thống kê. 4. Bước 4: Báo cáo kết quả Từ những dữ liệu thu được, người làm L&D so sánh và đưa ra nhận định về việc thực hiện, chỉ số nào “đạt”, kết quả như vậy đã yên tâm được chưa, cần điều chỉnh gì để giảm rủi ro và tăng hiệu quả học tập nếu được làm lại. 2.2. Công cụ đo lường hiệu quả đào tạo Tương ứng với mục tiêu đo và cấp độ, các công cụ thường dùng trong đo lường tác động & hiệu quả học tập được mô tả trong hình dưới đây: Cấp độ 1: Đánh giá mức độ hài lòng của học viên bằng phiếu khảo sát3 câu hỏi quan trọng cần trả lời trong Cấp độ 1: - Học viên có thích chương trình không? - Học viên có thích giảng viên không? - Học viên có thích không khí & điều kiện học tập không? Điểm cần lưu ý khi đánh giá Cấp độ 1: - Làm rõ mục tiêu khảo sát là để lấy được đánh giá “thật lòng” - Phiếu khảo sát được thiết kế tốt: ngắn gọn, rõ ràng, phần đánh giá bằng số có mô tả định nghĩa về thang đo (thế nào là 1, thế nào là 5), khuyến khích viết nhận xét & gợi ý cải thiện - Cần thực hiện đánh giá ngay tại thời điểm kết thúc chương trình/khóa học, ép thời hạn hoàn thành phiếu khảo sát max 5 phút. Trong thiết kế phiếu khảo sát, một sai lầm thường gặp là đòi nhiều thông tin từ học viên. Thực tế, theo tâm lý học hành vi, một bản khảo sát dài quá 1 trang màn hình máy tính hoặc 1 tờ A4 thường không thu được đánh giá thật lòng. Cấp độ 2: Đánh giá sự thay đổi của thái độ kiến thức, kỹ năng bằng bài kiểm tra, bài thi 3 câu hỏi quan trọng cần trả lời trong Cấp độ 2: - Kiến thức nào mới được biết/hiểu? - Kỹ năng nào được rèn hay cải thiện? - Thái độ nào đã được thay đổi? Một số điểm cần lưu ý: - Đo lường kiến thức: Test mức độ biết, hiểu - Đo lường kỹ năng: diễn vai tình huống - Đo lường thái độ: phỏng vấn, thông tin trong bản kế hoạch hành động - Đánh giá bằng hội đồng (nếu có thể) - Cần thực hiện đo trước và sau đào tạo để tìm ra sự chênh lệch. Thiết kế bài kiểm tra, bài thi là công việc đòi hỏi tư duy, kinh nghiệm ở cấp độ chuyên gia. Bài kiểm tra, bài thi cũng cần được thử nghiệm, hiệu chỉnh trước chính thức đưa vào sử dụng. Thực tế đáng báo động là ở nhiều công ty, công việc cần chất xám nhất này đang được giao cho người chưa giỏi, thiếu sự kiểm soát dẫn đến kết quả sai lệch, hệ quả là đo còn tệ hại hơn là không đo. Cấp độ 3: Đánh giá sự thay đổi hành vi (KBIs – Key Behaviour Indicators) qua Quan sát & Đánh giá hiện trường 3 câu hỏi quan trọng cần trả lời trong đánh giá Cấp độ 3: - Hành vi nào được chuyển từ môi trường học vào trong môi trường công việc? - Hành vi nào đã thể hiện trong môi trường học nhưng không thể hiện trong môi trường công việc? - Điều gì “ngăn cản” hoặc “thúc đẩy” học viên ứng dụng hành vi đã có trong môi trường học vào công việc? Một số lưu ý trong đánh giá cấp độ 3: - Cho học viên có thời gian để thay đổi và vận dụng vào công việc - Xem xét yếu tố bối cảnh khi hành vi thể hiện, lặp lại hoạt động đo lường nếu cần thiết - Đo lường nhiều chiều: khảo sát/phỏng vấn cấp trên, cấp dưới, và những người liên quan trực tiếp đến học viên trong công việc - So sánh giữa học viên và nhóm không là học viên Cấp độ 4: Đánh giá sự thay đổi kết quả thông qua Các chỉ số kinh doanh vận hànhĐo lường sự thay đổi kết quả dựa trên các yếu tố như: xác định mức độ ảnh hưởng của học tập tới các kết quả kinh doanh, vận hành của bộ phận, công ty; đánh giá doanh số/ năng suất/ chất lượng/ thời gian phục vụ/ kiểm soát chi phí/ độ hài lòng của nhân viên/ độ hài lòng của khách hàng… ***Một số lưu ý khi triển khai cấp độ 4 - Cần một thời gian để các kết quả kinh doanh, vận hành hiển thị sau khi học viên kết thúc chương trình học - So sánh các chỉ số kết quả kinh doanh, vận hành trước và sau khi học viên tham gia học - So sánh kết quả giữa học viên và nhóm đối tượng không là học viên - Xem xét yếu tố bối cảnh, phân tích tác động của các yếu tố khác ‘rào cản’ và ‘xúc tác’ Để đánh giá được cấp độ này, người làm L&D ngoài việc giỏi nghề đào tạo phải có hiểu biết về kinh doanh, vận hành. Cấp độ 5: Đánh giá hiệu quả đầu tư thông qua ROITừ kết quả đánh giá Cấp độ 4, việc đánh giá hiệu quả đầu tư khá đơn giản. Chỉ cần tính tổng các lợi ích chương trình mang lại cho tổ chức – các chi phí trực tiếp và gián tiếp của Chương trình đào tạo, ROI (Return On Investment) là khả năng sinh lời của 1 đồng vốn đầu tư cho đào tạo. |
