Quản trị, an toàn và rủi ro

3 loại kiểm soát

• Preventative: ngăn chặn

  Bằng code. Giới hạn những gì có thể xảy ra.

  Ví dụ

  Giới hạn tool, allowlist cho input, kiểm tra schema.

• Detective: phát hiện

  Bằng code. Ghi lại những gì đã xảy ra để kiểm toán.

  Ví dụ

  Log truy vết theo từng người dùng.

• Probabilistic: xác suất

  Dựa vào model. Có tác dụng định hướng nhưng không đảm bảo.

  Ví dụ

  Quy tắc từ chối trong system prompt.

5 lớp phòng thủ theo thứ tự

1. Kiểm tra input, lọc injection. Bằng code, ngay từ cổng vào.
2. Ràng buộc trong system prompt. Có tính xác suất.
3. Giới hạn quyền của tool. Bằng code, thu hẹp thiệt hại nếu có sự cố.
4. Lọc output. Bằng code, là kiểm tra cuối cùng trước khi gửi cho người dùng.
5. Người duyệt. Xử lý phần rủi ro còn lại.

Quyền hạn và truy vết

• Least privilege: cấp credential theo từng người hoặc từng việc. Tránh service account dùng chung có quyền quá rộng.
• Hạn mức cứng đặt trong code của tool: ví dụ hoàn tiền tối đa 500 USD. Hạn mức trong prompt có thể bị vượt qua.
• Bỏ tool không cần thiết: đây là biện pháp ngăn chặn tận gốc. Khi agent bị jailbreak, nó vẫn không thể gọi tool nó không có.
• Data minimization: chỉ gửi những trường mà việc đó cần.
• Cắt tool output: để dữ liệu nhạy cảm không cần thiết không nằm lại trong lịch sử.

Truy vết đầu cuối cho mỗi request: nội dung đã lấy, lời gọi tool cùng input và output, số token, độ trễ, và người dùng tương ứng. Log đầy đủ payload là bằng chứng kiểm toán vững nhất, nhưng phải xử lý dữ liệu nhạy cảm trong log.

Đặt người duyệt ở đâu

• Hành động không thể hoàn tác hoặc tác động lớn

  Thanh toán, xóa dữ liệu, ký hợp đồng, gửi thông tin ra ngoài: phải được duyệt trước khi chạy.

• Kết quả mơ hồ hoặc độ tin cậy thấp

  Chuyển cho người duyệt theo ngưỡng do kiến trúc đặt. Ngưỡng phải được kiểm chứng trên dữ liệu có nhãn.

• Quyết định thuộc diện có quy định

  Luôn cần một người chịu trách nhiệm, dù model có chính xác đến đâu.

• Việc nhiều, rủi ro thấp

  Lấy mẫu kiểm tra định kỳ. Định tuyến ticket hay tóm tắt thường không cần duyệt từng lần.

Tuân thủ theo loại dữ liệu

• GDPR

  Áp dụng

  Dữ liệu cá nhân do đơn vị đặt tại EU xử lý, hoặc của người ở EU khi công ty ngoài EU bán hàng hay theo dõi hành vi của họ.

  Quan tâm

  Cơ sở pháp lý, tối thiểu hóa dữ liệu, quyền xóa.

• HIPAA

  Áp dụng

  Thông tin y tế được bảo vệ (PHI) tại Mỹ.

  Quan tâm

  Cần biện pháp bảo vệ và ký BAA (Business Associate Agreement) trước khi xử lý dữ liệu thật. Che PHI không cần thiết trước khi gửi đến model API.

• FedRAMP

  Áp dụng

  Dịch vụ cloud cho cơ quan liên bang Mỹ.

  Quan tâm

  Chứng nhận cho dịch vụ cloud.

Prompt injection

Indirect prompt injection là khi chỉ dẫn độc hại nằm trong nội dung agent đọc được, như trang web, email hay tài liệu.

Cách phòng

• Bọc nội dung không đáng tin trong dấu phân tách rõ ràng và coi là dữ liệu, không phải chỉ dẫn.
• Kiểm tra input ngay ở lớp đầu tiên.
• Giới hạn quyền của tool, để nếu bị lừa thì agent cũng không gây được nhiều thiệt hại.

Kiểm tra đạo đức

• Bias: đánh giá theo nhóm nhân khẩu học, ngôn ngữ, khu vực. Con số tổng có thể che lỗi của một nhóm. Ví dụ độ chính xác tổng 97%, nhưng trường dị ứng trong hồ sơ bệnh án lại hay sai.
• Fairness: kiểm tra xem các nhóm có nhận kết quả khác nhau không. Ví dụ, cùng câu hỏi viết bằng phương ngữ khác mà lời khuyên kém hơn.
• Transparency: cho người dùng biết đang dùng AI và giải thích ở mức phù hợp.

Xử lý sự cố và quy trình

Sự cố và việc đầu tiên cần làm

• Hallucination: sửa grounding và retrieval ở phía trước. Yêu cầu subagent trả về trích dẫn có cấu trúc để bước tổng hợp ít bịa hơn.
• Prompt injection: kiểm tra input ở lớp 1.
• Rò rỉ dữ liệu: lọc output, giữ log sạch, giới hạn quyền truy cập.
• Capability bloat: giới hạn tool theo least privilege.
• Báo sai quá nhiều: đưa tiêu chí rõ, kiểm tra được, kèm ví dụ thế nào là lỗi thật.

Quy trình 5 bước khi gặp tình huống

1. Xác định loại dữ liệu và khu vực pháp lý.
2. Đặt phạm vi tool theo least privilege.
3. Đặt người duyệt ở hành động không thể hoàn tác, đặt ngưỡng bằng code.
4. Ghi log truy vết theo từng người dùng.
5. Đánh giá bias và fairness theo từng nhóm.

Nhớ nhanh

• Model bị chiếm mà biện pháp vẫn có tác dụng thì mới là đảm bảo.
• Hạn mức cứng đặt trong code của tool.
• Hành động không thể hoàn tác cần người duyệt trước.
• Xác định quy định theo loại dữ liệu và người liên quan, đừng chỉ nhìn nơi đặt văn phòng.
• Lọc output là kiểm tra bằng code cuối cùng trước khi gửi đi.