Skip to content

Giới hạn tốc độ và đồng thời

AzScraper tính credits cho crawl và chỉ throttle HTTP chọn lọc trên route dễ lạm dụng. Chưa có cap RPS toàn cục trên mọi API đã xác thực.

Credits

Loại job Credits / target
Search (SERP từ khóa) 5 / từ khóa
Chi tiết sản phẩm (ASIN/URL) 2 / ASIN hoặc URL

Credits trừ khi tạo hoặc retry job. Tỷ lệ nạp: $1 = 10.000 credits. Tài khoản mới: bonus đăng ký (1.000 credits).

Thiếu credits → 402 INSUFFICIENT_CREDITS.

Hàng đợi và worker

  1. API validate, giữ credits, lưu job, đẩy Redis (BullMQ).
  2. Worker xử lý theo capacity chung; backlog có thể tăng thời gian chờ.
  3. Poll GET /jobs/:id hoặc webhook khi cấu hình.

Concurrency thực tế phụ thuộc credits, độ sâu queue, và giới hạn crawler (mặc định tham chiếu admin 60 req/phút).

Rate limit HTTP

Surface Giới hạn Ghi chú
API private đã auth Chưa throttle toàn cục Poll job với backoff hợp lý
POST /referral/click 5 req / 10 giây / IP 429 RATE_LIMIT_EXCEEDED
Admin Cấu hình operator Mặc định API 600/phút, crawler 60/phút

Khuyến nghị client

  • Gom target vào một job khi có thể.
  • Poll trạng thái với backoff (2s → 5s → 10s).
  • Dùng export sau khi hoàn tất.
  • Không retry tạo job vòng lặp chặt khi 402; backoff khi 429.

English: Rate limits & concurrency