Thiết kế điểm phê duyệt, escalation và audit trail để tự động hóa bằng AI nhanh hơn mà không giao nhầm quyền quyết định.
- Không cần duyệt mọi bước; chỉ đặt người vào nơi có hậu quả, độ chắc chắn thấp hoặc dữ liệu nhạy cảm.
- Màn hình duyệt phải cho biết agent định làm gì, dựa vào nguồn nào và thay đổi nào sẽ xảy ra.
- Dữ liệu approve, edit và reject là nguồn quan trọng để cải thiện workflow theo thời gian.
Human-in-the-loop là gì?
Human-in-the-loop (HITL) là thiết kế trong đó hệ thống AI tạm dừng tại một số điểm để con người kiểm tra, chỉnh sửa hoặc phê duyệt trước khi tiếp tục. Một agent có thể đọc yêu cầu, tìm dữ liệu và chuẩn bị hành động, nhưng việc gửi báo giá, thay đổi quyền hay trả lời khiếu nại vẫn cần người có trách nhiệm quyết định.
HITL không có nghĩa mọi bước đều chờ duyệt. Điều đó tạo hàng đợi, làm chậm quy trình và khiến người dùng bấm approve theo thói quen. Mục tiêu là phân loại mức rủi ro, tự động hóa bước xác định và dành sự chú ý của con người cho tình huống bất định hoặc có hậu quả đáng kể.
- Approve: chấp nhận hành động như đề xuất.
- Edit: sửa đầu ra hoặc tham số trước khi chạy.
- Reject/escalate: dừng và chuyển cho người hoặc quy trình khác.
Human-in-the-loop tốt không biến người duyệt thành nút bấm. Nó đưa đúng thông tin đến đúng người ở đúng điểm mà phán đoán thực sự có giá trị.
Đặt approval gate theo rủi ro
Bắt đầu bằng impact và reversibility. Một bản tóm tắt nội bộ có ảnh hưởng thấp và dễ sửa; email gửi khách hàng ảnh hưởng cao hơn; thay đổi dữ liệu tài chính hoặc quyền truy cập có thể khó đảo ngược. Kết hợp thêm độ chắc chắn, loại dữ liệu và giá trị giao dịch để quyết định bước nào tự chạy, bước nào lấy mẫu review và bước nào luôn cần duyệt.
Không dùng confidence score của model như một sự thật tuyệt đối. Điểm số cần được hiệu chỉnh bằng dữ liệu thực và kết hợp rule nghiệp vụ. Ví dụ, mọi báo giá trên một ngưỡng tiền hoặc mọi hành động với khách hàng VIP đều cần duyệt bất kể model tự tin đến đâu.
- Low risk: tự động và lấy mẫu kiểm tra.
- Medium risk: chạy khi đạt điều kiện, còn lại chuyển review.
- High risk: phê duyệt bắt buộc và quyền thực hiện tách biệt.
Thiết kế trải nghiệm duyệt không gây mệt mỏi
Người duyệt cần thấy mục tiêu, đề xuất, nguồn dữ liệu, trường sẽ thay đổi và lý do hệ thống chuyển review. Hiển thị diff thay vì buộc họ đọc lại toàn bộ nội dung. Cho phép approve, edit, reject và ghi lý do bằng ít thao tác. Với hành động quan trọng, hiển thị tác động cụ thể như người nhận email, số tiền hoặc bản ghi sẽ cập nhật.
Gửi yêu cầu đến kênh người dùng đang làm việc nhưng giữ một source of truth cho trạng thái. Slack hoặc email có thể thông báo, còn quyết định nên được ghi về hệ thống với danh tính và thời gian. Đặt SLA, nhắc lại và người thay thế; nếu không, một approval bị bỏ quên có thể làm cả workflow treo vô thời hạn.
- Context ngắn nhưng đủ để quyết định.
- Diff và impact rõ trước khi xác nhận.
- SLA, reminder, delegation và timeout.
Audit trail, feedback và bảo mật
Lưu phiên bản prompt, input, nguồn truy xuất, đề xuất, tool call, quyết định của người duyệt và kết quả cuối. Audit trail phải trả lời ai đã quyết định điều gì dựa trên dữ liệu nào. Với dữ liệu nhạy cảm, lưu ID hoặc hash khi có thể, giới hạn quyền xem log và đặt thời gian retention phù hợp.
Phân tích lý do edit và reject theo nhóm. Nếu người duyệt liên tục sửa giọng văn, prompt hoặc template cần cập nhật. Nếu họ từ chối vì dữ liệu cũ, vấn đề nằm ở retrieval. Nếu một ngoại lệ lặp lại và có quy tắc rõ, có thể tự động hóa dần. HITL tạo một vòng phản hồi vận hành, không chỉ là hàng rào an toàn.
- Theo dõi approval rate, edit rate và reject rate.
- Phân loại lý do thay vì chỉ ghi “không đồng ý”.
- Review quyền truy cập log và dữ liệu phê duyệt.
Lộ trình triển khai và tiêu chí giảm review
Giai đoạn đầu, đặt review rộng để thu thập lỗi và hiểu mức rủi ro. Sau đó chia tình huống theo loại, xây test set và giảm review ở nhóm đã ổn định. Có thể chuyển từ duyệt 100% sang lấy mẫu, giám sát theo cảnh báo hoặc human-on-the-loop, nơi hệ thống chạy và con người can thiệp khi phát hiện bất thường.
Chỉ giảm review khi chất lượng, tỷ lệ ngoại lệ và khả năng khôi phục đạt ngưỡng đã thống nhất. Giữ review bắt buộc cho hành động không thể đảo ngược, nghĩa vụ pháp lý, quyền truy cập và giao tiếp có ảnh hưởng lớn. Mỗi lần thay model, prompt, nguồn dữ liệu hay công cụ cần đánh giá lại ranh giới.
- Bắt đầu bằng review rộng và test set thực tế.
- Giảm review theo loại tình huống, không theo cảm giác chung.
- Tái đánh giá sau mỗi thay đổi đáng kể của hệ thống.
FAQ
Câu hỏi thường gặp
Human-in-the-loop có làm automation chậm không?
Có thể nếu đặt duyệt ở mọi bước. Thiết kế tốt chỉ giữ approval ở điểm có rủi ro, gom đủ context và có SLA để thời gian review thấp hơn lợi ích tự động hóa.
Khi nào có thể bỏ bước duyệt?
Khi một nhóm tình huống có dữ liệu đủ lớn cho thấy chất lượng ổn định, hậu quả thấp, lỗi dễ đảo ngược và hệ thống giám sát/khôi phục hoạt động tốt.
Human-on-the-loop khác gì human-in-the-loop?
Human-in-the-loop yêu cầu người tham gia trước khi một số bước chạy. Human-on-the-loop cho hệ thống chạy chủ động hơn và con người giám sát, can thiệp khi có cảnh báo hoặc ngoại lệ.
Nguồn tham khảo
Tài liệu đã dùng để biên soạn
Ưu tiên tài liệu chính thức và nguồn kỹ thuật gốc. Truy cập để kiểm tra chi tiết hoặc theo dõi cập nhật mới nhất.