0

Đưa AI agent từ scoping tới production trong startup: những gì hoạt động thật

Một startup đến với đội tôi với yêu cầu "làm một AI agent". Yêu cầu đó là cái bẫy: nếu hai tuần đầu không scope đúng, dự án sẽ không bao giờ lên production. Tôi đã dẫn hai hệ thống agent đi đến production, một travel agent (đội 10 người) và một e-commerce concierge hoàn tất đơn hàng trong giới hạn người dùng đặt ra (cũng đội 10). Bài này là chuỗi bước đã chạy được, và những lỗi tôi sẽ bỏ qua ở lần sau.

1. Scope một quyết định, không phải một demo

"AI agent" không phải sản phẩm. Hãy viết ra đúng một quyết định mà agent được phép đưa ra. Travel agent: gợi ý và chuẩn bị lịch trình. Concierge: hoàn tất đơn hàng. Mỗi hệ một quyết định. Nếu không gọi được tên quyết định đó, bạn có một mong muốn chứ không có scope.

Quy tắc tôi dùng: agent chỉ được hành động khi hành động đó đảo ngược được và rẻ để kiểm chứng. Hoàn tất đơn hàng không thỏa mãn điều nào, nên concierge hiện giỏ hàng chính xác và xin xác nhận. Ràng buộc này chấm dứt một trăm cuộc tranh luận thiết kế trong một cuộc họp.

2. Kiến trúc: nhàm chán thắng thông minh

Bộ khung đã chạy được trên cả hai agent:

  • Một orchestrator với giao diện tool. Không phải swarm, không phải framework hot trend. Một vòng lặp, một bộ tool, một giới hạn chi phí.
  • Retrieval trên dữ liệu có cấu trúc, không phải đống văn bản. Travel agent gọi thẳng API chuyến bay, thời tiết, geolocation. Tool trả kết quả có kiểu, model suy luận trên dữ liệu sạch.
  • State store sống qua restart. Người dùng bỏ dở phiên rồi quay lại. Agent mà quên ngữ cảnh thì chỉ là đồ chơi.

Concierge chạy trên AWS, kiến trúc được vẽ trước sprint đầu, guardrail về governance định nghĩa từ đầu. Nhàm chán, review được, và từng mảnh test được riêng lẻ không cần model.

3. Đo trước khi tin

Câu hỏi không phải "nó có có vẻ thông minh không" mà là "tần suất nó chọn đúng hành động". Chúng tôi dựng bộ eval nhỏ từ kịch bản thật và đo lại sau mỗi lần đổi prompt hoặc tool. Con số đi xuống thì dừng lại sửa.

Hai phát hiện khiến tôi ngạc nhiên:

  • Đa số lỗi nằm ở tool, không phải ở suy luận. Thông báo lỗi tệ từ một API gây nhiều câu trả lời sai hơn chính model.
  • Thêm càng nhiều luật vào system prompt, model càng nghe kém hơn. Đẩy luật xuống tầng tool (concierge về mặt kỹ thuật không thể đặt đơn ngoài giới hạn) thắng mọi prompt engineering.

4. Production là một dự án khác

Độ trễ, retry, chi phí mỗi phiên, và chống lạm dụng. Log mọi lời gọi tool cùng tham số, vì báo cáo sự cố đầu tiên sẽ hỏi tới. Đặt trần chi phí mỗi phiên. Version prompt như version code.

Giờ tôi làm fractional AI tech lead cho các đội đã có sản phẩm nhưng thiếu lãnh đạo AI: kiến trúc có scope trước, slice chạy được thứ hai, và người thiết kế hệ thống vẫn ngồi trong code review cho đến khi ship. Chi tiết: https://dotrungnghia.com/fractional-ai-tech-lead

Các case study đầy đủ: https://dotrungnghia.com/ai-consultant


Do Trung Nghia (Đỗ Trung Nghĩa) là AI consultant và tech lead tại Việt Nam. 40+ giải pháp AI/ML đã ship cho viễn thông, tài chính, blockchain, cloud. Làm việc remote với đội toàn cầu. Website: https://dotrungnghia.com


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí