Ein cooler Begriff:
CRON = Programmiertechnik, die Aufgaben automatisch in festgelegten Intervallen plant

Web was?

Bei der Recherche zu Projekten etc. schreiben wir normalerweise Informationen von verschiedenen Seiten – sei es in einem Tagebuch/Excel/Doc etc.
Wir scrapen das Web und extrahieren Daten manuell.

Web Scraping automatisiert dies.

Beispiel

Wenn man beispielsweise „Sneakers“ online googelt, wird eine Liste von Websites mit Produkten und Preisen angezeigt. Auf der Registerkarte „Einkaufen“ gibt es einen detaillierteren Eintrag, oder?
Google hat gerade Websites für Sie durchsucht, um Sneaker von verschiedenen Websites anzuzeigen.
Diese Technik wird von fast allen großen Unternehmen für ihre Geschäfte genutzt, da die Datenmengen exponentiell zunehmen.

Webcrawler

Dies ist eine Technik, die zwar Informationen abruft, sich jedoch vom Scraping in dem Sinne unterscheidet, dass sie nach den besten Websites sucht und diese indiziert, während das Scraping auf einer einzelnen Website durchgeführt wird.

Es wird für die SEO-Analyse (Scraping – Sammeln von Daten) verwendet.

Berühmte Web-Scraping-Technologien:

• Puppenspieler
• Schöne Suppe
• BrightData

Probleme!

Beachten Sie, dass es sich nicht um einen Benutzer handelt, der Anfragen zum Abrufen der Informationen von der Website stellt, sondern um den geschriebenen Code! Wenn die Websites wissen, dass diese Aufgabe automatisiert ist, werden sie die IP-Adresse schnell blockieren.
Und diese Prüfung hat zu

1. Captchas
2. Ratenbegrenzung
3. Dynamischer Inhalt

Ziel: Simulieren, wie Menschen arbeiten!

Bright Data automatisiert den Job. Es rotiert sogar IPs, um den Benutzer unbekannt zu machen, und entsperrt Websites (kostenpflichtige Version!) für den Benutzer.

Danke an JSM für die wundervolle Erklärung.
Ps:

Lol!