kincses/service-finder
1
0
Fork 0
Code Issues 7 Pull Requests Packages Projects 2 Releases Wiki Activity

Worker: vehicle_ultimate_r1_scraper #89

New Issue
Closed
opened 2026-03-18 03:12:05 +01:00 by kincses · 1 comment
kincses commented 2026-03-18 03:12:05 +01:00
Owner
Copy Link

Mérföldkő: EPIC 9: UltimateSpecs Pipeline Overhaul (Decoupled, Car & Moto Ready)
Cél: A Nyers Letöltő (Univerzális) worker létrehozása, amely letölti a HTML/JSON tartalmat az -ból és létrehoz egy rekordot az táblában.

🔗 Függőségek (Dependencies)

  • Bemenet (Mikre támaszkodik): tábla (level='engine', status='pending'), Playwright böngésző, Cloudflare védelem megkerülés, tábla
  • Kimenet (Mik támaszkodnak rá): R2 Enricher (a library sorait várja)

📝 Elemzés

A robot kiveszi az -ból a és sorokat. Playwright segítségével (3 retry, 3-6s delay) letölti a megadott URL-t, megkerülve a Cloudflare védelmet. Minden táblázatot és fejlécet kinyer egy 'Mindenevő' JS parserrel, JSON formátumban elmenti. Létrehoz egy új sort az táblában (, , , , ). A Queue tételt -re állítja. A robotnak képesnek kell lennie kezelni a 404, 403, 429 hibákat.

**Mérföldkő:** EPIC 9: UltimateSpecs Pipeline Overhaul (Decoupled, Car & Moto Ready) **Cél:** A Nyers Letöltő (Univerzális) worker létrehozása, amely letölti a HTML/JSON tartalmat az -ból és létrehoz egy rekordot az táblában. ### 🔗 Függőségek (Dependencies) - **Bemenet (Mikre támaszkodik):** tábla (level='engine', status='pending'), Playwright böngésző, Cloudflare védelem megkerülés, tábla - **Kimenet (Mik támaszkodnak rá):** R2 Enricher (a library sorait várja) ### 📝 Elemzés A robot kiveszi az -ból a és sorokat. Playwright segítségével (3 retry, 3-6s delay) letölti a megadott URL-t, megkerülve a Cloudflare védelmet. Minden táblázatot és fejlécet kinyer egy 'Mindenevő' JS parserrel, JSON formátumban elmenti. Létrehoz egy új sort az táblában (, , , , ). A Queue tételt -re állítja. A robotnak képesnek kell lennie kezelni a 404, 403, 429 hibákat.
kincses added this to the EPIC 9: UltimateSpecs Pipeline Overhaul (Decoupled, Car & Moto Ready) milestone 2026-03-18 03:12:05 +01:00
kincses added the Status: To DoType: ScriptScope: Robot labels 2026-03-18 03:12:05 +01:00
kincses added Status: Done and removed Status: To Do labels 2026-03-18 11:17:29 +01:00
kincses commented 2026-03-18 11:17:29 +01:00
Author
Owner
Copy Link

✅ Munka befejezve: 2026-03-18 10:17:29

Technikai Összefoglaló:
-m

⏱️ A ráfordított időt a Gitea rögzítette.

✅ **Munka befejezve:** 2026-03-18 10:17:29 **Technikai Összefoglaló:** -m ⏱️ *A ráfordított időt a Gitea rögzítette.*
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
Role: Admin
👑 Role: Admin
 Role: User
👤 Role: User
 Scope: API
🔌 Scope: API
 Scope: Backend
🏗️ Scope: Backend
 Scope: Core
⚙️ Scope: Core
 Scope: Database
Scope: Frontend
🖥️ Scope: Frontend
 Scope: Robot
Status: Blocked
Status: Done
Status: In Progress
Status: To Do
Type: Bug
🐞 Type: Bug
 Type: Database
💾 Type: Database
 Type: Feature
✨ Type: Feature
 Type: Model
🧠 Type: Model
 Type: Refactor
Type: Refactor
Type: Script
📜 Type: Script
No Label Scope: Robot Status: Done Type: Script
Milestone
No items
No Milestone EPIC 9: UltimateSpecs Pipeline Overhaul (Decoupled, Car & Moto Ready)
Projects
Clear projects
No project
Assignees
Clear assignees
kincses
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: kincses/service-finder#89
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?