BÀI VIẾT
Phần 6/6: Vận hành: chi phí, bảo mật, vòng học và đo hiệu quả
Phần cuối của series: tiền agent đi đâu và cách đặt trần, bảng mối đe dọa ánh xạ tới từng file trong repo, vòng học biến mỗi lần sửa sai thành quy tắc, skill, hook hoặc test, năm chỉ số đo hiệu quả, và bài tập hoàn thành spec 0002 từ đầu đến cuối.

Trong bài viết
Muốn xem nhanh trước? Video tổng hợp cả series (21 phút) đi qua toàn bộ vòng lặp trên repo mẫu.
Hết phần 5, quy trình đã chạy được: spec đi vào, agent lập kế hoạch và làm trong các worktree riêng, hai họ model cùng review, CI chặn cửa trước khi merge. Câu hỏi tiếp theo là câu hỏi vận hành. Tuần trước tốn bao nhiêu tiền, và lần chạy nào thực sự đáng tiền? Chuyện gì xảy ra khi phần mô tả của một pull request chứa lời dặn nhắm vào agent review? Vì sao agent cứ lặp lại đúng lỗi mà mình đã sửa hôm thứ Ba? Và tất cả những thứ này có thật sự nhanh hơn trước không?
Phần cuối này trả lời các câu hỏi đó bằng những việc làm được ngay trong tuần: các nút kiểm soát chi phí đã có sẵn trong repo mẫu, một bảng mối đe dọa mà dòng nào cũng trỏ tới một file cụ thể, một vòng học biến mỗi lần sửa sai thành quy tắc, bước kiểm tra hoặc hook, và năm con số có thể thu thập mà không cần mua công cụ nào. Sau đó mình mang cùng vòng lặp này ra ngoài phạm vi code, và bạn sẽ hoàn thành spec 0002 từ đầu đến cuối với mọi thứ đã học trong series.
Cuối bài bạn sẽ có
- Bức tranh rõ ràng về chỗ tiền agent đi đâu, nút kiểm soát cho từng chỗ, và một buổi rà soát chi phí 15 phút mỗi tuần.
- Bảng mối đe dọa cho quy trình dùng agent, ánh xạ tới biện pháp và file trong
agentic-shortlink, kèm lệnh chứng minh các biện pháp đó hoạt động. - Một thói quen, và một chỗ cố định, cho mỗi lần sửa sai:
AGENTS.md, skill, hook hoặc deny rule, hoặc test. - Năm chỉ số đo lường và lịch chạy lại bộ eval 20 task từ phần 1 mỗi quý.
- Kế hoạch triển khai cho cả team, và cùng vòng lặp áp dụng cho nội dung, dữ liệu và vận hành.
- Spec 0002 được làm xong từ đầu đến cuối và so sánh với lời giải tham khảo.
Chuẩn bị
Bạn đã có repo từ phần 2 và đã trust workspace trong Claude Code, có các script từ phần 4, cùng các workflow CI và review từ phần 5. Nếu bỏ qua phần 5, các mục chi phí và bảo mật vẫn áp dụng được ở máy local; chỉ những dòng liên quan tới CI là còn ở mức lý thuyết.
Chi phí: tiền đi đâu và cách đặt trần
Tiền đi đâu
Theo những gì mình thấy khi chạy hằng ngày, hóa đơn hiếm khi đến từ bước viết code. Nó đến từ ba chỗ:
- Lập kế hoạch và review bằng model mạnh. Planner và reviewer đọc rất nhiều (spec,
AGENTS.md, mọi file bị chạm tới, cả diff) và chủ đích chạy trên model đắt nhất. Đánh đổi đó là đúng, nhưng nghĩa là một lần review tốn hơn bạn tưởng. - Context dài. Mỗi lượt lại gửi lại toàn bộ cuộc hội thoại. Một phiên đi lòng vòng qua hai mươi file trước khi làm gì đó sẽ trả tiền cho những file ấy ở mọi lượt sau. Một spec gọn và một bảng task ghi rõ tên file là cách tối ưu rẻ nhất mà bạn có.
- Vòng lặp. Review tìm ra vấn đề, agent sửa, review chạy lại, bản sửa làm hỏng một test, thêm một lần chạy nữa. Mỗi vòng là một context đầy đủ. Vòng lặp chính là chỗ một task 1 đô biến thành task 10 đô.
Vì vậy các đòn bẩy là: chọn model theo vai trò, giữ context nhỏ, và đặt điểm dừng cứng cho mọi lần chạy tự động.
Những nút kiểm soát bạn đã có
| Control | What it does | Where it is used in the repo |
|---|---|---|
--max-turns N | Dừng một lần chạy Claude Code sau N lượt | agent-task.sh (40), cross-review.sh (20, 30), workflow review (15), workflow mention (30) |
--max-budget-usd N | Dừng lần chạy headless khi ước tính chi phí phía client chạm N | agent-task.sh (3) |
--output-format json | Ghi .total_cost_usd cạnh .result và .session_id | agent-task.sh ghi ra agent-runs/<name>/claude.json |
| Model per role | Model mạnh ở chỗ cần phán đoán, model rẻ hơn cho phần thực thi | --model sonnet cho task, opus cho review, reviewer.md dùng opus, refuter.md dùng sonnet |
| Effort level (Codex) | model_reasoning_effort theo project hoặc profile | medium trong .codex/config.toml, high trong examples/codex/deep-review.config.toml |
| CI concurrency | Lần push mới hủy lần review đang chạy của commit cũ | cancel-in-progress: true trong mọi workflow review và CI |
| CI timeouts | Dừng job bị treo | timeout-minutes: 10 (CI), 15 (review), 30 (mention) |
| Opt-in switch | AI review chỉ chạy khi đã đặt biến của repo, không bao giờ chạy trên draft hay fork | vars.ENABLE_AI_REVIEW == 'true' |
| Gateway | Một chỗ duy nhất cho key, log và ngân sách của mọi công cụ | gateway/litellm.config.yaml |
Script chạy task headless ở phần 4 gộp bốn dòng đầu lại với nhau:
scripts/agent-task.sh
case "$tool" in
claude)
claude -p "$prompt" \
--model sonnet \
--permission-mode acceptEdits \
--allowedTools "Read,Edit,Write,Glob,Grep,Bash(pnpm *),Bash(git status),Bash(git diff *),Bash(git add *),Bash(git commit *)" \
--max-turns 40 \
--max-budget-usd 3 \
--output-format json >"$runs/claude.json"
node -e 'const r=require(process.argv[1]);console.log(r.result);console.error(`cost_usd=${r.total_cost_usd}`)' \
"$runs/claude.json" >"$runs/summary.md"
;;
// ...
Có hai chi tiết quan trọng. Thứ nhất, --max-budget-usd là con số do client tự ước tính, không phải giới hạn do API áp đặt, nên hãy coi nó là điểm dừng mềm: một lần chạy có thể kết thúc cao hơn mức đó một chút. Mình đặt khoảng gấp ba chi phí của một task bình thường, để nó chỉ kích hoạt khi agent chạy vòng vô tận. Thứ hai, script in cost_usd ra stderr, nên bạn thấy nó trên terminal nhưng nó không được lưu vào summary.md. Con số này nằm trong claude.json, và buổi rà soát hằng tuần sẽ đọc từ file đó.
Lưu ý: cross-review.sh có --max-turns nhưng không có --max-budget-usd, vì nó chạy ở foreground khi bạn đang ngồi xem. Nếu bạn lên lịch cho nó chạy tự động, hãy thêm --max-budget-usd vào cả hai lệnh claude -p.
Codex: kiểm soát bằng model và effort
Trong tài liệu của Codex, mình không tìm thấy giới hạn chính thức về số lượt hay số tiền cho mỗi lần chạy codex exec. Nút kiểm soát của bạn là model và mức reasoning effort. Config của project giữ việc thường ngày ở mức medium; profile deep-review nâng lên high nhưng đồng thời hạ xuống read-only, để cấu hình đắt tiền chỉ được đọc:
examples/codex/deep-review.config.toml
model = "gpt-6.1-sol"
model_reasoning_effort = "high"
approval_policy = "never"
sandbox_mode = "read-only"
Muốn có trần cứng cho chi phí Codex, hãy dùng ngân sách theo project của nhà cung cấp, hoặc cho Codex đi qua gateway (profile litellm trong examples/codex/) rồi đặt ngân sách ở đó. Trong CI, trần chính là timeout của job: timeout-minutes: 15 trong ai-review-codex.yml.
CI: chỉ commit mới nhất được tiêu tiền
Mọi workflow review đều mở đầu bằng cùng một khối. Khi bạn push ba bản sửa trong năm phút, chỉ bản cuối cùng được review:
.github/workflows/ai-review-claude.yml
concurrency:
group: ai-review-claude-${{ github.event.pull_request.number }}
cancel-in-progress: true
jobs:
review:
# Secrets are not available to fork PRs, and drafts are not ready for review.
if: >-
vars.ENABLE_AI_REVIEW == 'true' &&
github.event.pull_request.draft == false &&
github.event.pull_request.head.repo.full_name == github.repository
runs-on: ubuntu-latest
timeout-minutes: 15
Quy tắc về draft cũng đồng thời là quy tắc chi phí: mở pull request ở dạng draft khi agent còn đang sửa đi sửa lại, và chỉ chuyển sang ready một lần. Mỗi pull request ready được review một lần, không phải mỗi lần push.
Ngân sách ở gateway
Các flag chỉ đặt trần cho một lần chạy. Gateway đặt trần cho một người, một team hay một project trên mọi công cụ. gateway/litellm.config.yaml đã đưa mọi model về sau một endpoint với một master key, nên bạn có một log duy nhất về việc ai đã gọi gì. File mẫu chưa đặt ngân sách: phần cấu hình này phụ thuộc vào phiên bản và cách bạn triển khai LiteLLM, nên hãy lấy từ tài liệu của LiteLLM. Cách tổ chức mình khuyên dùng là mỗi người một key, mỗi workflow CI một key, mỗi key có ngân sách theo tháng, để một vòng lặp CI chạy mất kiểm soát chỉ chạm trần của chính nó chứ không ăn vào phần của cả team.
Rà soát chi phí hằng tuần (15 phút)
Sáng thứ Hai nào mình cũng làm đúng bốn việc:
- Liệt kê chi phí của mọi lần chạy headless trong tuần trước (lệnh bên dưới).
- Mở hai hoặc ba lần chạy đắt nhất và đọc phần tóm tắt. Thường sẽ có một lần bị lặp vì task mơ hồ hoặc vì một test chập chờn.
- Xem dashboard của nhà cung cấp (hoặc log của gateway) để tìm khoản chi không đến từ
agent-task.sh: review trong CI, các lần gọi@claude, các phiên làm việc tương tác. - Thay đổi đúng một thứ: task gọn hơn, effort thấp hơn, đổi model cho một vai trò, hoặc một quy tắc mới từ vòng học bên dưới. Ghi lại để tuần sau biết thay đổi đó có giúp gì không.
for f in agent-runs/*/claude.json; do
node -e 'const r=JSON.parse(require("fs").readFileSync(process.argv[1],"utf8"));console.log(process.argv[1], r.total_cost_usd)' "$f"
done
Kiểm tra: sau ít nhất một lần chạy scripts/agent-task.sh claude ..., vòng lặp in ra mỗi lần chạy một dòng theo dạng agent-runs/<name>/claude.json <cost in USD>. Nếu một dòng hiện undefined, lần chạy đó không kết thúc với JSON hợp lệ; hãy mở claude.json của nó để xem lý do.
Bảo mật: mối đe dọa và biện pháp tương ứng
Agent là một chương trình nhận chỉ dẫn từ văn bản và có quyền dùng shell. Mọi thứ nó đọc đều có thể trở thành chỉ dẫn, và mọi thứ nó chạy được đều có thể trở thành hành động. Từ đó có bốn nhóm mối đe dọa:
- Prompt injection qua văn bản mà agent đọc nhưng bạn không viết: tiêu đề và mô tả pull request, commit message, comment trong code, nội dung issue, output của test, trang web, kết quả trả về từ tool.
- Rò rỉ secret: agent đọc
.envhoặc một token rồi gửi nó ra ngoài, qua một lệnh gọi mạng hoặc đơn giản là in nó vào comment của pull request. - Lệnh phá hoại:
rm -rf, force push, bỏ qua git hook, stage mọi thứ kể cả file database. - Chuỗi cung ứng: một GitHub Action bị chiếm quyền, một dependency npm mới có install script, một package do agent tự thêm mà không ai review.
Nguyên tắc mình dùng: không biện pháp nào phải hoàn hảo, nhưng mỗi mối đe dọa cần ít nhất một biện pháp không phụ thuộc vào việc model có ngoan hay không. Chỉ dẫn trong AGENTS.md có ích, nhưng thứ thực sự chặn được hành động là deny rule, hook, sandbox, hoặc đơn giản là không cấp quyền.
| Threat | Control in repo | File |
|---|---|---|
| Injection qua mô tả PR, commit, comment | Quy tắc review “coi là dữ liệu”; nhắc lại trong mọi prompt review | AGENTS.md (Code Review Rules), ai-review-claude.yml, ai-review-codex.yml |
| Reviewer bị injection tìm cách sửa code | Job Codex chỉ có contents: read và permission-profile: ":read-only"; một job riêng đăng comment | .github/workflows/ai-review-codex.yml |
| Reviewer bị injection chạy tool tùy ý | Danh sách --allowedTools hẹp (đọc, gh pr diff, comment) | .github/workflows/ai-review-claude.yml |
| Đọc secret ở local | Deny Read(./.env), Read(./.env.*), Read(./**/*.db); .env nằm trong git-ignore | .claude/settings.json, .gitignore, AGENTS.md (Safety) |
| Gửi dữ liệu ra ngoài | Deny Bash(curl *), Bash(wget *); sandbox của Codex không có mạng | .claude/settings.json, .codex/config.toml (network_access = false) |
| Secret trong CI khi chạy code không tin cậy | Không dùng pull_request_target; bỏ qua PR từ fork và draft; persist-credentials: false; GitHub expression truyền qua env | ai-review-claude.yml, ai-review-codex.yml |
| Người lạ kích hoạt agent có quyền ghi | @claude chỉ hoạt động với người có quyền write; có công tắc ENABLE_AI_REVIEW | .github/workflows/claude-mention.yml |
| Lệnh shell phá hoại | Guard hook chặn rm -rf, git add -A, --no-verify | .claude/hooks/guard-bash.mjs |
| Code chưa review rời khỏi máy | Agent không push: hook chặn git push, settings bắt hỏi, script không bao giờ push | guard-bash.mjs, .claude/settings.json, scripts/agent-task.sh |
| Agent tự nới lỏng quy tắc của chính nó | ask cho Edit(.github/**) và Edit(AGENTS.md); quy tắc Safety | .claude/settings.json, AGENTS.md |
| Lần chạy headless làm nhiều hơn dự định | -p từ chối mọi thứ không có trong --allowedTools; mỗi task một worktree | scripts/agent-task.sh, scripts/cross-review.sh |
| Action bị chiếm quyền hoặc quá cũ | Mọi action được pin theo commit SHA kèm comment phiên bản; Dependabot cập nhật pin | .github/workflows/*.yml, .github/dependabot.yml |
| Dependency mới chưa được review | ask cho Bash(pnpm add *); quy tắc “không thêm dependency khi chưa hỏi”; chỉ các package được liệt kê mới chạy build script; lockfile cố định | .claude/settings.json, AGENTS.md, package.json (onlyBuiltDependencies) |
| Thay đổi rủi ro cao được merge chỉ nhờ AI duyệt | Review levels: schema, auth, workflow, dependency cần hai họ model cộng một người duyệt | AGENTS.md (Review levels) |
Kiểm thử biện pháp, đừng chỉ tin vào nó
Một biện pháp bạn chưa từng thấy nó kích hoạt thì vẫn chỉ là phỏng đoán. Guard hook đọc JSON từ stdin, nên bạn có thể kiểm thử nó mà không cần khởi động agent:
echo '{"tool_input":{"command":"git add -A"}}' | node .claude/hooks/guard-bash.mjs; echo "exit=$?"
echo '{"tool_input":{"command":"rm -rf dist"}}' | node .claude/hooks/guard-bash.mjs; echo "exit=$?"
echo '{"tool_input":{"command":"git add src/app.ts"}}' | node .claude/hooks/guard-bash.mjs; echo "exit=$?"
Kiểm tra: kết quả mong đợi là
Blocked by .claude/hooks/guard-bash.mjs: stage files explicitly: git add <paths>
exit=2
Blocked by .claude/hooks/guard-bash.mjs: recursive force delete is not allowed
exit=2
exit=0
Tiếp theo, kiểm tra rằng mọi action trong các workflow đều được pin theo SHA đầy đủ kèm comment phiên bản. Lệnh dưới đây in ra những dòng chưa đạt:
git grep -nE "uses: " .github/workflows | grep -vE "@[0-9a-f]{40} # v"
Kiểm tra: không có output nào. Dòng nào được in ra là một action đang pin theo tag hoặc branch.
Bài kiểm thử hook chứng minh script chạy đúng, nhưng không chứng minh Claude Code có gọi nó. Để chắc chắn, hãy mở repo trong Claude Code ở chế độ tương tác, yêu cầu nó chạy git add -A và xác nhận bạn thấy thông báo “Blocked by”. Nếu agent cứ thế chạy lệnh, workspace chưa được trust và toàn bộ .claude/settings.json đang bị bỏ qua (bài học thực tế số 1, bên dưới).
Những lỗ hổng đã biết, ghi rõ ra
Hãy gọi tên các lỗ hổng để không ai mặc định là chúng đã được che. Deny rule Read(./.env) áp dụng cho tool Read, không áp dụng cho lệnh shell cat .env. Trong repo này cat không nằm trong danh sách allow, nên phiên tương tác sẽ hỏi bạn trước và lần chạy headless -p sẽ từ chối, nhưng một allow rule rộng như Bash(*) sẽ mở toang cánh cửa đó. Còn claude-mention.yml có contents: write và giữ credential của checkout vì nó được thiết kế để push thay đổi khi được yêu cầu; đó là lý do chỉ người có quyền write mới kích hoạt được nó.
Vòng học: mỗi lần sửa sai đều phải có chỗ ở

Agent không nhớ chuyện hôm thứ Ba. Nếu bạn sửa nó trong khung chat, lời sửa chỉ sống đúng bằng thời gian của phiên đó. Bộ nhớ duy nhất tồn tại lâu dài là repo. Vì vậy mỗi khi phải sửa agent, hoặc phải nhắc một chỉ dẫn lần thứ hai, hãy tự hỏi một câu: chuyện này có lặp lại không? Nếu có, câu trả lời đi vào một trong bốn chỗ, chọn theo mức độ đảm bảo cần có:
AGENTS.mdcho quy tắc áp dụng với mọi task (“thời gian lấy từnow()được inject”). Rẻ nhất và yếu nhất: model vẫn có thể bỏ qua.- Skill cho một quy trình có nhiều bước (
new-spec,implement-spec). Bạn không phải gõ lại quy trình, và lần nào nó cũng được làm giống nhau. - Hook hoặc deny rule cho điều không bao giờ được phép xảy ra. Nó hoàn toàn không phụ thuộc vào model.
- Test hoặc bước CI cho mọi thứ máy kiểm tra được. Nó bắt được lỗi dù agent nào hay người nào gây ra.
Khi phân vân, hãy chọn mức mạnh hơn một bậc. Quy tắc mà agent đã phá một lần thì sẽ còn bị phá nữa; test thì không để lọt.
Các bài học thực tế từ repo này, và chỗ đặt bản sửa
| Lesson | What happened | Where the fix lives | Type |
|---|---|---|---|
| 1 Trust | Claude Code bỏ qua toàn bộ .claude/settings.json, cả permission lẫn hook, cho tới khi workspace được trust. Một lệnh thử git add -A đã chạy. | Bước onboarding “mở tương tác một lần, chấp nhận trust, thử git add -A” (mục triển khai cho team bên dưới) | Procedure, checked by a hook test |
| 2 Frontmatter | Formatter markdown của Biome chèn một dòng trống sau dấu --- mở đầu của file skill và agent. | biome.json: "!.claude" trong files.includes; xác nhận bằng claude -p "list skills" | Config plus a check |
| 3 Silent migration | biome migrate đổi bộ rule recommended thành "preset": "none", tắt hết lint. | biome.json giờ ghi "preset": "recommended"; quy tắc review là “đọc diff của mọi thay đổi config tự động” | Config plus human gate |
| 4 Line endings | Trên Windows với core.autocrlf=true, lint báo lỗi vì CRLF. | .gitattributes với * text=auto eol=lf; core.autocrlf false trong repo | Config, enforced by the lint step in CI |
| 5 Stale pins | Dependabot mở 4 PR chỉ vài phút sau khi push: checkout v5 lên v7, setup-node v4 lên v7. | .github/dependabot.yml (hằng tuần, github-actions và npm); pin được cập nhật trong một commit, CI xanh sau 24 giây | CI automation |
| 6 Hook path | Format hook không làm gì khi thử với đường dẫn kiểu Git Bash (/d/...); nó chạy đúng với đường dẫn mà Claude thực sự gửi. | Thói quen: kiểm thử hook bằng đúng JSON mà tool gửi, như ở mục bảo mật | Test procedure |
Hai bài học trong số này cho thấy giới hạn của vòng học. Bài học số 3 chưa có rào chắn tự động: không có gì báo lỗi nếu ai đó đặt lại preset lint thành none, nên một bước CI nhỏ kiểm tra biome.json sẽ là bản sửa mạnh hơn. Bài học số 1 không sửa được bên trong repo, vì quyết định trust nằm ở từng máy; đó là lý do nó nằm trong quy trình onboarding.
Biến nó thành thói quen
Bước “Learn” ở cuối vòng lặp từ phần 1 chỉ mất hai phút cho mỗi pull request đã merge. Đọc lại các comment review của chính bạn và các mục “Done but not verified” và “Skipped” trong báo cáo của agent. Với mỗi điều có thể lặp lại, hãy mở một pull request nhỏ để thêm quy tắc, skill, hook hoặc test. Mọi thay đổi với AGENTS.md đã bắt buộc phải được duyệt trong .claude/settings.json (ask), nên những pull request này luôn có người xem qua.
Kiểm tra: git log --oneline -- AGENTS.md .claude .github biome.json cho thấy mỗi tháng có ít nhất một commit xuất phát từ một lần sửa sai. Nếu cả quý không có commit nào, hoặc agent của bạn đã hoàn hảo, hoặc vòng học không hề chạy.
Đo xem agent có thực sự giúp ích
“Cảm giác nhanh hơn” không phải là một phép đo. Bạn không cần một nền tảng nào để làm tốt hơn thế; năm con số ghi trong một bảng tính là đủ, và tất cả đều lấy được từ git, GitHub và các log chạy mà bạn đã có.
| Metric | How to collect it | What it tells you |
|---|---|---|
| Lead time per spec | Từ ngày spec chuyển sang approved đến ngày pull request được merge (git log trên file spec, ngày merge trên GitHub) | Cả vòng lặp có nhanh hơn không, chứ không chỉ khâu gõ code |
| Review minutes per PR | Người review ghi số phút vào pull request khi approve | Việc làm rẻ đi có đẩy chi phí sang phía bạn không |
| Rework rate | Tỷ lệ pull request cần agent chạy lần hai sau review | Chất lượng spec và kích thước task |
| Escaped defects | Lỗi phát hiện sau merge mà lẽ ra một dòng Behaviour hoặc một test phải bắt được | Các bước kiểm tra đã đủ mạnh chưa |
| Cost per merged PR | Tổng total_cost_usd của các lần chạy cho pull request đó cộng phần chi phí review trong CI | Cách phối model đã hợp lý chưa |
Hãy đọc chúng cùng nhau. Lead time giảm trong khi số phút review tăng nghĩa là bạn đã chuyển công sức từ viết sang đọc. Rework thấp nhưng lỗi lọt ra tăng nghĩa là khâu review đang cho qua quá dễ. Chi phí mỗi pull request tăng trong khi rework không đổi thường nghĩa là có một vai trò đang chạy trên model mạnh hơn mức cần.
Với lead time, lịch sử của file spec cho bạn ngày bắt đầu:
git log --format='%h %ad %s' --date=short -- docs/specs/0002-daily-click-stats.md
Kiểm tra: mỗi commit chạm vào spec là một dòng, mới nhất ở trên, mỗi dòng có ngày. Commit đặt Status: approved là điểm bắt đầu; lần merge pull request của tính năng là điểm kết thúc.
Chạy lại bộ eval 20 task mỗi quý
Ở phần 1, bạn đã dựng một bộ eval gồm 20 task lấy từ backlog của chính mình, mỗi task có một kết quả đúng đã biết, và dùng nó để so sánh các cấu hình. Model, giá và công cụ thay đổi vài tháng một lần, nên lựa chọn đó sẽ cũ đi. Mỗi quý một lần:
- Chạy lại đúng 20 task đó với cấu hình hiện tại, mỗi task qua
scripts/agent-task.shđể lần chạy nào cũng có worktree, log vàclaude.jsonriêng. - Ghi lại cho từng task:
check: PASShayFAILtrongsummary.md, chi phí, và số phút bạn cần để review kết quả. - Đổi một biến (model rẻ hơn cho phần thực thi, reviewer thuộc họ model khác, effort thấp hơn) rồi chạy lại.
- Chỉ giữ thay đổi nếu số task đạt không giảm và chi phí hoặc số phút review đi xuống.
Giữ nguyên 20 task giữa các quý. Nếu lần nào cũng đổi task, bạn đang đo các task chứ không phải đo cấu hình.
Kiểm tra: grep -l "check: PASS" agent-runs/*/summary.md | wc -l in ra số lần chạy đạt. So sánh với con số của quý trước trong bảng tính.
Triển khai cho cả team
Những gì mình thấy hiệu quả đều bắt đầu hẹp và chậm:
- Bắt đầu với một repo. Chọn repo có lệnh kiểm tra nhanh và đáng tin. Quy trình chỉ chạy được khi
pnpm check(hoặc lệnh tương đương của bạn) vừa nhanh vừa đáng tin. Ở repo này, toàn bộ bước kiểm tra chạy khoảng một giây ở local và 24 giây trên CI. - Team sở hữu
AGENTS.md. Nó là code: thay đổi đi qua pull request, được review, và ai cũng có thể đề xuất. Nếu bạn dùng CODEOWNERS (repo mẫu thì không), hãy đặtAGENTS.mdvà.claude/dưới quyền tech lead. - Review levels được thống nhất, không ứng biến. Bảng ở cuối
AGENTS.mdnói rõ mỗi loại thay đổi cần gì trước khi merge. Thống nhất một lần, rồi chỉ vào bảng thay vì tranh luận ở từng pull request. - Ai được bật AI review. Chỉ admin của repo mới đặt được biến
ENABLE_AI_REVIEWvà các secret chứa API key. Chỉ người có quyền write mới kích hoạt được@claude. Hãy giữ nguyên như vậy để chi phí và quyền hạn luôn dự đoán được. - Onboarding là một checklist, không phải một buổi nói chuyện. Clone,
corepack enable,pnpm install,pnpm check; mở Claude Code trong repo và chấp nhận hộp thoại trust; chạy ba bài kiểm thử hook; thửgit add -Atrong một phiên và thấy nó bị chặn; đọc hếtAGENTS.md; làm xong một spec nhỏ với một đồng nghiệp review phần kế hoạch.
Kiểm tra: ngay ngày đầu, thành viên mới có thể cho bạn xem một lệnh git add -A bị chặn trong phiên Claude Code của chính họ.
Ngoài phạm vi phần mềm
Vòng lặp này không quan tâm đầu ra có phải là code hay không. Spec, plan, thực thi, kiểm tra, review, chốt chặn, học hỏi áp dụng được cho mọi công việc mà agent làm phần lớn và bước kiểm tra có thể viết ra được. Dưới đây là ba ví dụ từ chính tuần làm việc của mình.
Xuất bản nội dung
Series này được soạn nháp với agent. “Test” của một bài viết là các bước kiểm tra biên tập, và mỗi bước là một dòng trong bản brief mà agent làm theo: bài đúng ngôn ngữ, có excerpt (tóm tắt) và mô tả SEO trong giới hạn độ dài, phần thân không có H1 (theme đã hiển thị tiêu đề), mọi hình ảnh có alt text mô tả rõ, và mỗi bài có bản dịch đi kèm với cấu trúc giống hệt. Phần lớn có thể kiểm tra bằng grep trước khi có ai đọc một chữ:
grep -c "<h1" p6.vi.html
grep -c '<img[^>]*alt=""' p6.vi.html
grep -c "wp:heading" p6.en.html p6.vi.html
Kiểm tra: 0, 0, và số heading bằng nhau ở cả hai ngôn ngữ. Nếu số cuối lệch nhau, cặp bản dịch đã bị lệch cấu trúc.
Phân tích dữ liệu
Hai quy tắc. Thứ nhất, mọi con số phải đi kèm câu query đã tạo ra nó. Agent nói “tỷ lệ giữ chân giảm 4%” mà không có SQL là đang đưa bạn một khẳng định, chưa phải kết quả; có query thì bạn chạy lại được, và một model thứ hai có thể review nó như review một diff. Thứ hai, agent kết nối bằng user hoặc connection chỉ đọc. Nó không thể sửa dữ liệu do nhầm lẫn hay do một dòng ghi chú trong bảng bảo nó làm vậy. Đây chính là deny rule trong .claude/settings.json, chuyển sang tầng database.
Vận hành hệ thống
Runbook trở thành skill. Một skill gồm “kiểm tra service, đọc 50 dòng log cuối, khởi động lại, xác nhận health endpoint” có cùng định dạng SKILL.md với implement-spec, và agent làm theo nó giống nhau mỗi lần. Quy tắc không thương lượng là sao lưu trước mọi thao tác ghi: trước khi agent chạm vào schema hay dữ liệu của database, nó phải tạo bản dump (với Postgres là pg_dump -Fc vào một thư mục có ngày) và báo bản dump nằm ở đâu. Thao tác ghi lên production cần một lệnh rõ ràng từ con người cho đúng thao tác đó. Đó vẫn là bảng review levels, chỉ là áp dụng cho hạ tầng.
Bài tập cuối: spec 0002 từ đầu đến cuối
Spec 0002 (docs/specs/0002-daily-click-stats.md) thêm bảng link_clicks, ghi nhận mỗi lần redirect theo ngày UTC, và thêm GET /api/links/:slug/stats/daily?days=N. Mục Risk ghi “new table and a write on the hot redirect path”, nên theo review levels trong AGENTS.md đây là thay đổi schema: CI xanh, AI review từ hai họ model, và một người duyệt. Hãy dùng mọi thứ từ series:
- Lập kế hoạch (phần 3). Mở Claude Code ở plan mode và chạy
/implement-spec 0002. Chỉ duyệt bảng task trongdocs/tasks/0002-daily-click-stats.mdkhi task nào cũng có lệnh kiểm tra và các task chạy song song không dùng chung file. - Thực thi song song (phần 4). Chạy các task code và task README trong các worktree riêng, dùng số thứ tự task trong bảng của bạn:
scripts/agent-task.sh claude 0002-repo "Do T1 and T2 from docs/tasks/0002-daily-click-stats.md"vàscripts/agent-task.sh codex 0002-docs "Update the README API section for spec 0002". - Kiểm tra. Mỗi file
agent-runs/<name>/summary.mdkết thúc bằngcheck: PASS. Merge các branch vào một feature branch và tự chạypnpm check. - Review chéo (phần 4). Trên feature branch, chạy
scripts/cross-review.shvà sửa những gì còn lại trongagent-runs/review-<branch>/final.md. - Chốt chặn của con người và CI (phần 5). Bạn push, bạn mở pull request, chuyển sang ready khi agent đã xong, rồi để CI và cả hai AI review chạy. Chỉ approve sau khi đã đối chiếu diff với từng dòng Behaviour.
- Vận hành (phần này). Ghi lại năm chỉ số cho pull request này và thêm ít nhất một mục vào vòng học.
So sánh với lời giải tham khảo
Branch solution/0002-daily-stats thay đổi sáu file: spec, src/app.ts, src/db.ts, file mới src/lib/days.ts, src/repo.ts và file mới test/daily-stats.test.ts. Xem branch của bạn khác ở đâu:
git diff --stat solution/0002-daily-stats HEAD -- src test
git show solution/0002-daily-stats:test/daily-stats.test.ts > test/reference-0002.test.ts
pnpm vitest run test/reference-0002.test.ts
rm test/reference-0002.test.ts
Kiểm tra: các test HTTP trong khối describe thứ hai chạy đạt trên code của bạn. Khối thứ nhất kiểm thử hai helper tham khảo lastNDays và fillDays trong src/lib/days.ts, còn test HTTP cuối cùng gọi repo.dailyClicks; nếu agent của bạn đặt tên khác, các test này hỏng ở khâu import chứ không phải ở hành vi. Hãy xóa chúng khỏi bản copy và giữ phần còn lại: test HTTP mới là hợp đồng, tên hàm thì không.
Còn một phép so sánh nên làm bằng tay, và chính nó đã bắt được một lỗi thật khi mình chuẩn bị series này. Phiên bản đầu của branch tham khảo đã tick mọi ô Definition of done, kể cả “README API section updated”, nhưng README.md không có trong diff và chưa có dòng nào cho endpoint mới. Agent viết phần này phát hiện ra khi diff branch với main; bản sửa là commit b22d65b trên solution/0002-daily-stats. Một ô đã tick là một lời khẳng định, chưa phải bằng chứng. Đây là mục đầu tiên rất đáng thêm vào vòng học: một quy tắc review yêu cầu đối chiếu từng ô đã tick với diff.
Checklist cuối cho toàn bộ series
| Part | You have | Check |
|---|---|---|
| 1 Architecture and model roles | Mỗi vai trò có một model được ghi rõ, và một danh sách eval 20 task cố định | Danh sách tồn tại và đã được chạy lại trong quý này |
| 2 Repo setup | AGENTS.md, CLAUDE.md import nó, settings, hook, config Codex | claude -p "list skills" hiện new-spec và implement-spec; git add -A bị chặn trong một phiên |
| 3 Spec, plan, tasks | Spec 0002 đã duyệt, bảng task có lệnh kiểm tra cho từng task | docs/tasks/0002-daily-click-stats.md tồn tại và được duyệt trước khi viết code |
| 4 Parallel work and providers | Các lần chạy trong worktree với Claude và Codex, review chéo | Mọi summary.md kết thúc bằng check: PASS; có file final.md |
| 5 CI/CD with AI review | CI chặn cửa, hai AI reviewer, action được pin | Pull request có CI xanh và comment từ cả hai reviewer |
| 6 Operating it | Rà soát chi phí, biện pháp đã kiểm thử, vòng học, chỉ số | Vòng lặp chi phí in ra các lần chạy; kiểm thử hook trả exit=2; đã merge một quy tắc, skill, hook hoặc test mới |
Những lỗi hay gặp
- Mặc định là settings đã có hiệu lực. Khi workspace chưa được trust, Claude Code bỏ qua cả permission lẫn hook. Hãy kiểm thử một lần trên mỗi máy.
- Kiểm thử hook bằng input sai. Format hook của mình “không làm gì” với đường dẫn kiểu Git Bash nhưng chạy đúng với đường dẫn mà Claude gửi. Hãy dùng đúng JSON mà tool gửi.
- Coi
--max-budget-usdlà giới hạn cứng. Đây là ước tính phía client; muốn có trần thật thì dùng ngân sách của nhà cung cấp hoặc của gateway. Codex thì hoàn toàn chưa có trần chính thức cho mỗi lần chạy. - Review mọi lần push. Thiếu
cancel-in-progressvà quy tắc draft, một agent đang sửa đi sửa lại sẽ trả tiền cho một lần review đầy đủ ở mỗi commit. - Tin vào thay đổi config tự động.
biome migrateđã lặng lẽ tắt mọi rule lint ở repo này. Hãy đọc diff của mọi lần migrate và mọi pull request của Dependabot. - Để bài học nằm lại trong khung chat. Lời sửa nào không được ghi vào file thì tuần sau bạn sẽ phải nói lại.
- Tin vào các ô đã tick. Đối chiếu từng mục Definition of done với diff.
- Đo bằng cảm giác. Không có lead time, số phút review và chi phí mỗi pull request, bạn không phân biệt được một team nhanh hơn với một team bận hơn.
Checklist
- Mọi lần chạy headless đều có
--max-turns, và mọi lần chạy Claude theo lịch đều có thêm--max-budget-usd. - Mỗi vai trò dùng một model được chọn có chủ đích, và effort của Codex được đặt theo project và theo profile.
- Các workflow review có concurrency, timeout, quy tắc draft và biến bật tắt.
- Lịch của bạn có buổi rà soát chi phí 15 phút mỗi tuần, và buổi đó kết thúc bằng một thay đổi.
- Bảng mối đe dọa nằm trong tài liệu của repo, và các bài kiểm tra hook và pin đều đạt.
- Mỗi lần sửa sai đều kết thúc ở
AGENTS.md, một skill, một hook hoặc deny rule, hoặc một test. - Năm chỉ số được ghi lại cho mỗi pull request đã merge; bộ eval 20 task được chạy lại mỗi quý.
- Một repo,
AGENTS.mddo team sở hữu, review levels đã thống nhất, một checklist onboarding. - Spec 0002 đã merge và đã được so sánh với
solution/0002-daily-stats.
Lời kết
Sau sáu phần, điều cốt lõi khá đơn giản. Agent đã làm cho việc “làm” trở nên rẻ: viết code, bản nháp, câu query hay runbook giờ chỉ tốn vài phút và vài đô. Riêng điều đó chưa khiến bạn nhanh hơn, vì đầu ra không được kiểm tra chỉ đẩy công việc sang người phải đọc nó. Tốc độ đến từ việc làm rẻ cộng với việc kiểm tra cũng rẻ: spec có các dòng hành vi cụ thể, một lệnh kiểm tra đáng tin, reviewer từ hai họ model, hook không thương lượng, và thói quen ghi mọi bài học vào repo. Hãy đầu tư cho phía kiểm tra kỹ như cho phía thực thi, và tốc độ sẽ ở lại.
Trong series này
- Kiến trúc và vai trò của model
- Thiết lập repo cho Claude Code và Codex
- Spec, plan, tasks
- Làm song song và dùng nhiều nhà cung cấp
- CI/CD với AI review
- Vận hành: chi phí, bảo mật, vòng học và đo hiệu quả
- Phần 7: Áp dụng quy trình agent vào một dự án thật
Toàn bộ code trong series nằm ở repo mẫu luonghongthuan/agentic-shortlink, lời giải tham khảo cho spec 0002 nằm trên branch solution/0002-daily-stats. Các nguyên tắc đằng sau nằm trong bài viết mở đầu.

Thảo luận
Bình luận được duyệt trước khi công khai. Email của bạn được giữ riêng tư.