Giao tiếp với các bên liên quan

3 nhóm người nghe

Cùng một quyết định, mỗi nhóm cần nghe một cách khác nhau. Ví dụ dưới đây là việc nâng lên model đắt hơn.

• Lãnh đạo

  Quan tâm

  Hiệu quả, giảm chi phí, chuyển đổi kinh doanh.

  Nên nói

  Chi phí mỗi request tăng, nhưng tỉ lệ tự giải quyết tăng 15%, nên chi phí nhân sự giảm. Không nói điểm benchmark.

• Pháp lý và tuân thủ

  Quan tâm

  Kiểm soát rủi ro, đúng quy định, ai chịu trách nhiệm.

  Nên nói

  Giới hạn tool, lọc output, least privilege, người chịu trách nhiệm ở đâu. Sẵn sàng đối chiếu với GDPR, HIPAA, FedRAMP.

• Vận hành và kỹ thuật

  Quan tâm

  Dễ bảo trì, dễ giám sát, lỗi có thể đoán trước.

  Nên nói

  Runbook đổi gì, lỗi mới có dạng nào, cấu hình chung cho cả team qua CLAUDE.md của dự án.

5 giai đoạn theo thứ tự

1. Discovery: xác định mục tiêu và ranh giới. Lỗi hay gặp: chọn model trước khi biết yêu cầu độ trễ.
2. Design: chọn kiểu kiến trúc, model, cách tích hợp. Mỗi lựa chọn phải gắn với một trụ giá trị: hiệu suất, chi phí hoặc hiệu năng. Không gắn được thì đó chỉ là sở thích, chưa phải kiến trúc.
3. Handoff: bàn giao cho vận hành. Lỗi hay gặp: hệ thống chạy được nhưng thiếu runbook, danh sách prompt, mốc eval, quy trình leo thang.
4. Monitoring: theo dõi so với SLA: p95/p99, độ chính xác tối thiểu, token, chi phí mỗi giao dịch.
5. Iteration: dùng tín hiệu monitoring để chỉnh prompt, chunking hoặc model. Lỗi hay gặp: chất lượng giảm dần mà không ai biết.

Hãy lấy ý kiến các bên ở mỗi lần chuyển giai đoạn, không đợi đến cuối dự án. Sửa sớm thì rẻ, sửa muộn thì đắt.

5 đầu ra của Discovery

• Business problem statement

  Vấn đề cùng tiêu chí thành công đo được. Dùng ở Iteration để xác nhận đã cải thiện.

• Constraint inventory

  Độ trễ, ngân sách, nơi lưu dữ liệu, các quy định tuân thủ. Dùng ở Design. Đây là đầu ra hay bị xem nhẹ nhất.

• Data inventory và access map

  Dữ liệu ở đâu, ai sở hữu, agent được đọc và ghi gì. Dùng ở Handoff và khi rà soát bảo mật.

• Stakeholder map

  Các bên liên quan và người có quyền quyết định. Nên gồm pháp lý, tuân thủ, vận hành và chủ nghiệp vụ.

• Current-process baseline

  Số liệu “trước khi làm”. Không có mốc này thì không chứng minh được đã cải thiện.

SLA theo xác suất

Hệ thống dùng LLM luôn có tỉ lệ lỗi. Vì vậy đừng hứa “luôn đúng”. Hãy cam kết 4 thứ:

• Accuracy floor

  Tỉ lệ đúng tối thiểu. Ví dụ minh họa: 0,92.

• Error budget

  Mức lỗi tối đa, vượt qua thì phải xử lý. Ví dụ minh họa: 0,08.

• Latency percentile

  Dùng p95, p99 vì trung bình che mất các ca chậm. Ví dụ minh họa: p95 1,8 giây, p99 3 giây.

• Remediation path

  Kết quả độ tin cậy thấp hoặc mơ hồ về chính sách được chuyển cho người duyệt, kèm đủ ngữ cảnh.

ADR: ghi lại quyết định

ADR là một ghi chép ngắn, có version control, về một quyết định quan trọng. Gồm 4 phần:

• Context

  Bối cảnh và các yếu tố dẫn đến quyết định.

• Options Considered

  Các phương án đã xem xét, kể cả phương án bị loại.

• Decision

  Phương án được chọn.

• Consequences

  Đánh đổi và tác dụng phụ, viết rõ ràng.

System prompt và comment trong code không thay thế được ADR, vì chúng không ghi lại các phương án đã loại.

Chọn đúng tài liệu

Đề thường hỏi tài liệu nào trả lời cho câu hỏi nào.

• ADR

  Vì sao chọn phương án này?

• Runbook

  Vận hành thế nào, gặp sự cố thì xử lý ra sao?

• Data inventory và access map

  Có dữ liệu gì, agent được đọc và ghi những gì?

• Constraint inventory

  Có những giới hạn nào về độ trễ, chi phí, nơi lưu dữ liệu, quy định?

• Integration contract

  Các thành phần trao đổi dữ liệu theo định dạng và giao diện nào?

• CLAUDE.md của dự án

  Cả team dùng chung chuẩn nào khi làm việc với Claude Code?

Tình huống hay gặp

• Yêu cầu mơ hồ: “tự động hóa toàn bộ review pháp lý”

  Làm rõ vấn đề, tiêu chí đo được và baseline trước. Chưa làm prototype.

• Đòi chính xác 100%

  Đưa ra accuracy floor, error budget và đường xử lý. Không hứa tuyệt đối, cũng không từ chối thẳng.

• CFO hỏi về prompt caching

  Nói theo chi phí và hiệu quả: chỉ dẫn lặp lại rẻ hơn, phản hồi nhanh hơn.

• Độ trễ tăng đột biến

  Trình bày số liệu, tác động lên SLA và các phương án. Không tự ý hạ model, không đổ lỗi cho nhà cung cấp, không giấu trong số trung bình.

• So sánh Agentic với Workflow

  Nói thẳng: chi phí và độ trễ biến động hơn để đổi lấy khả năng xử lý việc mở. Không hứa chi phí cố định.

• Khi nào thiết kế đánh giá fairness theo nhóm

  Ở Discovery, để xác định sớm rủi ro và chỉ số.

Nhớ nhanh

• Thứ tự: Discovery, Design, Handoff, Monitoring, Iteration.
• Lãnh đạo nghe về kết quả kinh doanh, không nghe về benchmark.
• Không hứa 100%. Cam kết tỉ lệ đo được và đường xử lý khi lỗi.
• ADR giải thích vì sao. Runbook hướng dẫn vận hành. Data inventory liệt kê dữ liệu và quyền.
• Lấy phản hồi ở mỗi lần chuyển giai đoạn, khi sửa còn rẻ.