Giới hạn tốc độ và đồng thời¶
AzScraper tính credits cho crawl và chỉ throttle HTTP chọn lọc trên route dễ lạm dụng. Chưa có cap RPS toàn cục trên mọi API đã xác thực.
Credits¶
| Loại job | Credits / target |
|---|---|
| Search (SERP từ khóa) | 5 / từ khóa |
| Chi tiết sản phẩm (ASIN/URL) | 2 / ASIN hoặc URL |
Credits trừ khi tạo hoặc retry job. Tỷ lệ nạp: $1 = 10.000 credits. Tài khoản mới: bonus đăng ký (1.000 credits).
Thiếu credits → 402 INSUFFICIENT_CREDITS.
Hàng đợi và worker¶
- API validate, giữ credits, lưu job, đẩy Redis (BullMQ).
- Worker xử lý theo capacity chung; backlog có thể tăng thời gian chờ.
- Poll
GET /jobs/:idhoặc webhook khi cấu hình.
Concurrency thực tế phụ thuộc credits, độ sâu queue, và giới hạn crawler (mặc định tham chiếu admin 60 req/phút).
Rate limit HTTP¶
| Surface | Giới hạn | Ghi chú |
|---|---|---|
| API private đã auth | Chưa throttle toàn cục | Poll job với backoff hợp lý |
POST /referral/click |
5 req / 10 giây / IP | 429 RATE_LIMIT_EXCEEDED |
| Admin | Cấu hình operator | Mặc định API 600/phút, crawler 60/phút |
Khuyến nghị client¶
- Gom target vào một job khi có thể.
- Poll trạng thái với backoff (2s → 5s → 10s).
- Dùng export sau khi hoàn tất.
- Không retry tạo job vòng lặp chặt khi 402; backoff khi 429.
English: Rate limits & concurrency