Giám sát tác tử AI giống giám sát một nhân viên thời vụ giỏi nhưng còn mới: quyết từ trước bước nào cần mình duyệt, bảo đảm mọi hành động đều được ghi nhật ký, đều đặn xem lại một phần việc đã xong, đặt hạn mức để nó tự dừng, và biết chính xác cách tạm ngưng nó. Giám sát không phải ngồi nhìn từng cú bấm; mà là đặt điểm duyệt ở chỗ sai thì đắt, còn lại thì kiểm mẫu.
Nhiều người chao giữa hai thái cực. Hoặc duyệt từng thao tác vụn vặt, chẳng mấy chốc chán tới mức bấm “đồng ý” mà không đọc, hoặc để tác tử tự chạy không ai trông chỉ vì nó làm tốt được một tuần. Cả hai đều không bền. Kế hoạch giám sát tốt phải đủ nhẹ để theo kịp, và chặt đúng ở chỗ cần chặt.
Vì sao “con người trong vòng lặp” hay hỏng khi làm thật?
Cụm từ “con người trong vòng lặp” (human in the loop) nghe rất yên tâm, nhưng chỉ có tác dụng khi người đó thật sự để tâm. Tác tử xin duyệt bốn mươi lần một ngày cho những bước lặt vặt thì người ta thôi đọc. Hiện tượng này gọi là mỏi duyệt (approval fatigue), và nó biến lớp kiểm an toàn thành nghi thức cho có.
Kiểu thất bại ngược lại là trôi dần. Tác tử chạy tốt vài tuần, người duyệt kiểm ít dần, rồi một thay đổi ở đâu đó, như nhà cung cấp đổi mẫu hoá đơn hay hãng AI cập nhật mô hình, sinh ra lỗi mà cả tháng không ai thấy.
Giám sát tốt tránh được cả hai bằng cách chọn lọc. Chỉ đặt điểm duyệt ở hành động tốn kém hoặc không đảo ngược được. Còn lại thì ghi nhật ký và xem theo đợt. Thời gian rà soát được xếp lịch hẳn hoi, không phụ thuộc vào chuyện có ai nhớ ra hay không.
Mỗi tác tử nên có một người giám sát có tên cụ thể. Ai cũng có trách nhiệm trông thì thực tế là chẳng ai trông.
Đặt điểm duyệt ở đâu?
Trước khi bất cứ thứ gì ra khỏi công ty. Email cho khách, tin nhắn cho đối tác, bài đăng trên trang công khai. Gửi rồi thì không thu lại chắc chắn được.
Trước khi tiền chuyển đi. Mua hàng, hoàn tiền, đăng ký gói thuê bao, mọi hành động phát sinh phí.
Trước khi dữ liệu bị xoá hay ghi đè. Sửa hàng loạt hồ sơ, xoá tệp, đổi dữ liệu gốc như bảng giá.
Trước khi quyền truy cập thay đổi. Chia sẻ tệp cho người mới, mời người dùng, đổi cài đặt hay quyền hạn.
Khi tác tử không chắc. Dặn nó dừng lại hỏi khi thông tin thiếu hoặc mâu thuẫn, thay vì đoán.
Ở lần chạy đầu của mọi việc mới. Mấy lần đầu duyệt từng hành động, rõ cách nó cư xử rồi mới nới.
Khi khối lượng bất thường. Tác tử sắp xử lý số món nhiều hơn hẳn thường lệ thì phải dừng chờ xác nhận.
Không đặt ở thao tác đọc thường ngày. Mở tệp, tìm kiếm, tóm tắt không cần duyệt; mỏi duyệt sinh ra chính từ đó.
Một nhật ký tác tử có ích gồm những gì?
Công cụ chưa ghi những mục này thì hỏi nhà cung cấp, hoặc bổ sung bằng quy trình của mình.
| Mục ghi | Vì sao cần |
|---|---|
| Thời gian và việc được giao | Khớp được hành động với yêu cầu đã kích hoạt nó |
| Nguồn đã đọc | Cho thấy email, trang web, tệp nào đã ảnh hưởng tới quyết định của tác tử |
| Hành động đã làm | Thay đổi cụ thể: thư đã nháp hay đã gửi, hồ sơ đã tạo, tệp đã chuyển |
| Lần duyệt và ai duyệt | Cho thấy chỗ nào có người xác nhận, và ai chịu trách nhiệm |
| Lỗi và lần thử lại | Thất bại lặp lại lộ ra chỗ tác tử rối, kết nối hỏng hay vòng lặp |
| Chi phí, lượng dùng | Theo dõi tiền tiêu cho mô hình và dịch vụ trả phí theo từng việc |
| Báo cáo cuối | Bản tự tóm tắt của tác tử: đã làm gì, bỏ qua gì |
Giữ nhật ký trong khoảng thời gian hợp với doanh nghiệp và nghĩa vụ pháp lý nếu có, và cất ở nơi chính tác tử không sửa được.
Lịch rà soát hằng tuần chừng hai mươi phút
Xếp lịch như một cuộc họp bình thường.
- Đọc bản tổng kết tuần. Bao nhiêu việc, bao nhiêu lần duyệt, bao nhiêu lỗi, tổng chi phí.
- Bốc ngẫu nhiên một ít mẫu. Mở năm tới mười việc đã xong, đối chiếu với tài liệu gốc.
- Xem mọi lỗi và mọi lần dừng vì “không chắc”. Chúng cho thấy chỉ dẫn chỗ nào còn mơ hồ hoặc dữ liệu chỗ nào đã đổi.
- Soi hành động bất thường. Người nhận mới, trang web mới, khối lượng lớn hơn thường lệ.
- Sửa chỉ dẫn. Chỗ nào tác tử hiểu sai thì sửa bản giao việc, và ghi lại đã đổi gì.
- Quyết mức tự chủ. Giữ, siết hay nới điểm duyệt dựa trên bằng chứng, không dựa trên cảm hứng.
Những hạn mức tự chặn sự cố
Giới hạn số bước. Chặn số hành động tác tử được làm cho một việc. Vòng lặp chạm trần thì dừng, thay vì chạy suốt đêm.
Giới hạn thời gian. Việc chạy lâu hơn hẳn bình thường thì kết thúc và gắn cờ để xem lại.
Trần chi tiêu. Đặt ngân sách ngày hoặc tháng cho lượng dùng mô hình và công cụ trả phí, có cảnh báo trước khi chạm trần.
Trần khối lượng. Giới hạn số email gửi, số hồ sơ sửa, số tệp chuyển mỗi ngày.
Danh sách được phép. Khoanh nơi gửi tới, trang web, người nhận trong danh sách quen nếu được.
Công tắc dừng rõ ràng. Biết cách tạm ngưng tác tử bằng một bước, và có hơn một người làm được việc đó.
Báo động tới người. Chạm bất kỳ hạn mức nào thì nhắn cho người giám sát, để lần dừng đó được để ý và xử lý.
Một tuần giám sát thật trông ra sao?
Lấy ví dụ một cửa hàng online bán gốm làm tay từ Bát Tràng. Tác tử nháp thư trả lời khách hỏi về giao hàng và cách giữ gìn đồ gốm, đồng thời cập nhật tồn kho vào bảng tính theo ghi chú của nhóm đóng gói. Chủ cửa hàng là người giám sát có tên.
Thư nháp nằm trong hàng chờ; nhân viên đọc rồi gửi, mỗi sáng thường chỉ mất vài phút. Cập nhật tồn kho chạy tự động nhưng mỗi ngày không được sửa quá số dòng đã định, và hễ có con số tồn kho xuống dưới không là lần chạy dừng lại, nhắn cho chủ.
Chiều thứ sáu, chủ cửa hàng bỏ chừng hai mươi phút rà soát tuần. Có tuần, mẫu kiểm cho thấy tác tử báo thời gian giao hàng cũ, vì đơn vị vận chuyển đã đổi dịch vụ mà văn bản chính sách chưa ai cập nhật. Chỗ sửa không nằm ở tác tử mà ở tài liệu chính sách nó đọc. Chuyện này rất điển hình: nhiều “lỗi của tác tử” hoá ra là chỉ dẫn hoặc dữ liệu đã cũ.
Sau hai tháng rà soát sạch sẽ, chủ cửa hàng cho tác tử tự gửi trả lời cho đúng một nhóm câu hỏi đơn giản là cách giữ gìn đồ gốm, còn câu hỏi về giao hàng và hoàn tiền vẫn qua tay người. Quyền tự chủ được nới một bước nhỏ, có chủ đích, có bằng chứng chống lưng.
Câu hỏi thường gặp
Giám sát tác tử tốn bao nhiêu thời gian?
Với một việc thường lệ, khi tác tử đã ổn định thì một buổi rà ngắn mỗi tuần cộng với duyệt vài hành động then chốt thường là đủ. Những tuần đầu, khi phải duyệt gần hết, sẽ tốn thời gian hơn.
Một tác tử có giám sát được tác tử khác không?
Tác tử thứ hai có thể giúp gắn cờ hành động bất thường hay đối chiếu đầu ra với quy tắc, đỡ được phần việc. Nó không nên thay người ở những lần duyệt có hậu quả thật, vì cả hai có thể sai theo cùng một kiểu.
Mỏi duyệt là gì?
Là khi người ta bấm duyệt mà không đọc vì yêu cầu quá nhiều. Cách chữa là ít lần duyệt hơn nhưng có ý nghĩa hơn, chỉ đặt ở hành động tốn kém hoặc không đảo ngược được.
Có nên cho tác tử chạy ngoài giờ làm việc không?
Việc chỉ đọc hoặc chỉ nháp thì chạy qua đêm được nếu đã có hạn mức. Việc gửi đi hay thay đổi dữ liệu nên xếp vào giờ có người phản hồi được khi có cảnh báo.
Công cụ của nhà cung cấp không có nhật ký thì sao?
Vậy thì có chuyện cũng không điều tra được, nên không hợp với việc gì quan trọng. Chỉ dùng cho việc rủi ro thấp, hoặc chọn sản phẩm có ghi lại hành động để mình xem.
Khi nào cần siết giám sát trở lại?
Sau mọi lỗi đã tới tay khách, khi dữ liệu đầu vào đổi định dạng, khi nhà cung cấp cập nhật mô hình, hoặc khi tác tử được giao việc mới hay quyền mới.
