クールな用語:
CRON = 指定された間隔でタスクを自動的にスケジュールするプログラミング技術

ウェブって何？

プロジェクトなどを調査するとき、私たちは通常、日記、エクセル、ドキュメントなど、さまざまなサイトから情報を書き込みます。
私たちはウェブをスクレイピングし、手動でデータを抽出しています。

Web スクレイピングによってこれが自動化されています。

例

スニーカーをオンラインでグーグル検索すると、製品と価格が記載されたウェブサイトのリストが表示されます。ショッピングタブには、より詳細な記録がありますよね?
Google がウェブサイトをスクレイピングして、さまざまなサイトのスニーカーを表示できるようにしました。
データが急激に増加しているため、この技術はほとんどすべての大企業でビジネスに使用されています。

ウェブ クローラー

これは情報を取得する手法ですが、スクレイピングが単一の Web サイトで実行されるのに対し、最適な Web サイトを検索してインデックスを作成するという点でスクレイピングとは異なります。

SEO 分析 (スクレイピング - データ収集) に使用されます。

有名な Web スクレイピング テクノロジー:

• 人形遣い
• 美しいスープ
• ブライトデータ

問題！

サイトから情報を取得するリクエストを行っているのはユーザーではなく、記述されたコードであることに注意してください。 Web サイトがこのタスクが自動化されていることを認識すると、すぐに IP アドレスをブロックします。
そして、このチェックにより

1. キャプチャ
2. レート制限
3. 動的コンテンツ

目標: 人間がどのように働くかをシミュレートします!

ブライトデータはジョブを自動化します。さらに、IP をローテーションしてユーザーを不明にし、ユーザーのサイト (有料版!) のブロックを解除します。

素晴らしい説明をしてくれた JSM に感謝します。
追伸:

笑！