Bài học 3.47 triệu một ngày khi dùng 10,000 USD credit của Google cho Hermes Agent

Tôi thắng một giải hackathon của Google DeepMind và nhận được gói credit 10,000 USD trên GCP. Để tận dụng số tiền này nuôi Hermes Agent chạy các model siêu xịn như Claude Opus 4.8, tôi phải tự dựng một proxy trung chuyển. Và đó là nơi lỗi rò rỉ âm thầm bắt đầu.

bối cảnh & thiết lập: chiếc ví 10,000 USD từ Google

Đầu năm 2026, tôi may mắn giành chiến thắng tại một giải hackathon do Google DeepMind tổ chức và nhận được phần thưởng trị giá 10,000 USD credit sử dụng trên nền tảng Google Cloud (GCP).

Với số credit khổng lồ này, mục tiêu của tôi rất rõ ràng: Cấu hình cho Hermes Agent—bộ não trợ lý AI chạy liên tục của tôi—gọi những model thông minh nhất thế giới hiện tại như Claude Opus 4.8 hay Claude Fable 5 để xử lý các tác vụ phức tạp hằng ngày.

Tuy nhiên, Google Cloud không hỗ trợ xuất mã khóa API trực tiếp giống các ví thông thường khác để cắm vào agent. Nó bắt buộc người dùng phải đi qua cơ chế bảo mật OAuth và Tài khoản dịch vụ (Service Account) của Google.

Để giải quyết rào cản này, tôi đã tự code một đoạn chương trình chuyển tiếp (thường gọi là proxy) chạy ngầm trên máy Mac nội bộ ở cổng :8765. Vai trò của nó rất đơn giản: khi Hermes Agent gửi một câu hỏi kiểu định dạng quen thuộc sang, proxy này sẽ tự động đóng dấu bảo mật của Google, chuyển tiếp nó lên hệ thống GCP để hỏi Claude, rồi nhận câu trả lời chuyển ngược lại cho tôi.

Hệ thống hoạt động trơn tru 100%. Tôi chat mượt mà, gọi tool tốt, dữ liệu trả về đều đặn và không hề có một dòng báo lỗi nào trong suốt nhiều tuần.

hướng đi thất bại: vết rò rỉ im lặng trị giá 3.47 triệu đồng mỗi ngày

Mọi thứ chỉ vỡ lở khi tôi vào trang quản lý chi phí của Google Cloud để kiểm tra số dư. Trong một ngày vận hành thử nghiệm sâu, hệ thống thông báo số tiền tiêu tốn hằng ngày đã chạm mốc 3.467.325₫ (gần 3.47 triệu VND):

• Claude Opus 4.8 tiêu tốn: 2.360.899₫
• Claude Sonnet 5 tiêu tốn: 1.096.174₫
• Claude Fable 5 tiêu tốn: 10.252₫

Tôi lập tức lục soát lại toàn bộ nhật ký trò chuyện của Hermes Agent. Không có lỗi, không có yêu cầu nào bị nghẽn mạng hay phải gửi lại. Nhưng chi phí của mỗi câu hỏi sau trong cùng một phiên chat vẫn bị tính tiền đắt đỏ y như lượt hỏi đầu tiên.

Đối với người dùng agent thường xuyên, mỗi phiên làm việc thường mang theo một lượng dữ liệu tĩnh cực kỳ đồ sộ bao gồm: các luật hệ thống (system prompt), danh sách các công cụ gán kèm, các skill ghi nhớ và phần lịch sử chat dài phía trước. Tổng lượng chữ ổn định này dễ dàng vượt mức 30.000 từ.

Các model đời mới hiện nay đều có tính năng Lưu trữ đệm (Prompt Caching). Khi bật tính năng này, sau lượt chat đầu tiên, nhà cung cấp sẽ tự lưu lại phần dữ liệu tĩnh khổng lồ kia trên bộ nhớ của họ và gỡ giá ưu đãi tới 90% cho các lượt chat sau. Khi đó, thay vì phải trả tiền biên dịch lại 30.000 từ ở mỗi lượt hỏi, bạn chỉ phải trả một phần tiền siêu nhỏ cho câu hỏi mới.

Vấn đề nằm ở chỗ: proxy của tôi hoạt động mượt mà về mặt kỹ thuật, nhưng nó hoàn toàn bỏ sót tính năng tiết kiệm tiền này.

vướng vướng ở đâu: lỗi bỏ sót tính năng tiết kiệm

Khi viết mã nguồn cho proxy, tôi chỉ tập trung dịch chuyển các trường dữ liệu cơ bản từ Hermes sang Google Cloud: chuyển model, chuyển nội dung hội thoại, chuyển tham số nhiệt độ.

Do tính năng prompt caching là một đặc tính riêng biệt và mới tinh của Claude, nó không hành xử tự động. Người dùng phải chèn một thẻ đánh dấu bắt đầu ghi nhớ (breakpoint) rõ ràng vào trong gói dữ liệu gửi đi.

Vì interface trung gian của tôi bỏ sót việc đính kèm thẻ breakpoint này lên Google Cloud, hệ thống của Google mặc định hiểu rằng đây là một yêu cầu hoàn toàn mới. Máy chủ GCP buộc phải biên dịch lại toàn bộ 30.000 từ bối cảnh cũ ở mỗi lượt chat nhỏ tiếp theo và tính phí toàn bộ.

Lỗi này cực kỳ nguy hiểm bởi vì nó không hề báo lỗi. Đầu ra của bạn vẫn đẹp đẽ, trôi chảy, chỉ có chiếc ví của bạn là bị rò rỉ tiền âm thầm mà không hề hay biết.

sự thay đổi: chêm van khóa chi phí

Tôi lập tức can thiệp trực tiếp vào mã nguồn của proxy cục bộ trên máy Mac. Thay vì bắt client phía Hermes Agent phải gửi lệnh, tôi cấu hình để proxy tự động đính thẻ breakpoint lưu trữ đệm vào gói dữ liệu gửi đi:

# Tự động bật Prompt Caching dạng ephemeral trên hệ thống Google Cloud Vertex.
# Máy chủ của Google sẽ tự động đặt điểm ghi nhớ ở phần bối cảnh tĩnh cuối cùng.
if os.environ.get("GCP_CLAUDE_DISABLE_CACHE", "") != "1":
    akw["cache_control"] = {"type": "ephemeral"}

Đồng thời, tôi bắt proxy phải in rõ số lượng token đã tiết kiệm được trên giao diện log để dễ quan sát:

# Log rõ số lượng chữ được lấy ra từ bộ nhớ đệm
print(f"Token đọc từ đệm: {r.usage.cache_read_input_tokens}")
print(f"Token tạo mới đệm: {r.usage.cache_creation_input_tokens}")

Kết quả kiểm nghiệm lập tức hiển thị rõ ràng trên phiên chat thực tế sau đó:

Lượt hỏi 1: Tạo bộ nhớ đệm thành công (write = 32,260 từ, read = 0)
Lượt hỏi 2: Sử dụng 100% bộ nhớ đệm tĩnh (write = 0, read = 32,260 từ)
Lượt hỏi 3: Sử dụng 100% bộ nhớ đệm tĩnh (write = 0, read = 32,260 từ)

Thay vì tốn tiền biên dịch lại 32.260 từ ở mỗi lượt hỏi sau, hệ thống chỉ lấy dữ liệu ra từ đệm với mức giá rẻ hơn 10 lần.

kết quả thực tế

Trong một bài test có kiểm soát gồm 5 lượt gọi liên tiếp sử dụng chung bối cảnh 32.260 từ trên model Claude Sonnet 5, sự thay đổi nhỏ này mang lại hiệu quả rõ rệt:

Hệ thống thống kê Google Cloud Monitoring sau thời điểm vá lỗi cũng ghi nhận một con số khổng lồ: tổng cộng 17.622.536 token đã được đọc ra trực tiếp từ đệm trong traffic thật, cứu nguy cho chiếc ví 10,000 USD credit của tôi khỏi đợt tiêu hao lãng phí.

cùng gỡ workflow của bạn

Nếu bạn là người dùng agent và đang tự vận hành các kết nối thông qua các cổng trung gian tự dựng, hoặc thuê server riêng bên ngoài để chạy mô hình AI, bài học rút ra rất đơn giản: Chạy thành công về mặt tính năng (nhận câu trả lời) không đồng nghĩa với việc tối ưu về mặt kinh tế.

Nếu bạn cảm thấy chi phí sử dụng agent của mình đang tăng lên một cách bất thường, hoặc muốn kiểm tra xem hệ thống kết nối AI của mình đã thực sự kích hoạt các tính năng tiết kiệm tiền hay chưa, hãy nhắn cho tôi:

• Discord: annguyen175 (Hoặc chat trực tiếp với tôi qua link này)
• Email: [email protected]
• Nhóm thảo luận Facebook: vnhermesagent

Cứ gửi cho tôi sơ đồ kết nối và mã log sử dụng hiện tại của bạn. Tôi sẽ cùng bạn rà soát lại các dòng dữ liệu để block ngay những điểm rò rỉ token lãng phí nhất.