Un terme sympa :
CRON = technique de programmation qui planifie automatiquement les tâches à intervalles spécifiés

Web quoi ?

Lors de la recherche de projets, etc., nous écrivons généralement des informations provenant de divers sites, que ce soit dans un journal/Excel/doc, etc.
Nous grattons le Web et extrayons les données manuellement.

Le Web scraping automatise cela.

Exemple

Lorsque vous recherchez sur Google des baskets en ligne, une liste de sites Web avec des produits et des prix s'affiche. Sur l'onglet Shopping, il y a un enregistrement plus détaillé, n'est-ce pas ?
Google vient de supprimer des sites Web pour vous permettre de montrer des baskets provenant de différents sites.
Cette technologie est utilisée par presque toutes les grandes entreprises pour leurs activités car les données ont augmenté de façon exponentielle.

Robot d'exploration Web

Il s'agit d'une technique qui, bien que récupérant des informations, diffère du scraping dans le sens où elle recherche les meilleurs sites Web et les indexe alors que le scraping est effectué sur un seul site Web.

Il est utilisé pour l'analyse SEO (scraping - collecte de données).

Technologies de web scraping célèbres :

• Marionnettiste
• BelleSoupe
• BrightData

Problèmes!

Remarquez que ce n'est pas un utilisateur qui fait des demandes pour obtenir les informations du site, c'est le code écrit ! Si les sites Web savent que cette tâche est automatisée, ils bloqueront rapidement l'adresse IP.
Et ce chèque a donné lieu à

1. Captchas
2. Limitation de débit
3. Contenu dynamique

Objectif : simuler le fonctionnement des humains !

Bright data automatise le travail. Il fait même pivoter les adresses IP pour rendre l'utilisateur inconnu et débloque les sites (version payante !) pour l'utilisateur.

Merci à JSM pour cette merveilleuse explication.
Ps : 

Mdr!