Web サイトにアクセスしたときに、確認コードの入力やその他の確認手順の完了を求められたことがありますか?これらの対策は通常、ボット トラフィックが Web サイトに影響を与えるのを防ぐために行われます。ボット トラフィックは、実際の人間ではなく自動化されたソフトウェアによって生成され、Web サイトの分析データ、全体的なセキュリティ、パフォーマンスに大きな影響を与える可能性があります。そのため、多くの Web サイトでは CAPTCHA などのツールを使用してボット トラフィックの侵入を識別し、阻止しています。この記事では、ボット トラフィックとは何か、住宅用プロキシを通じて合法的にボット トラフィックを使用する方法、および悪意のあるボット トラフィックを検出する方法について説明します。

ボットトラフィックとは何ですか?またその仕組みは何ですか?

ロボットのトラフィックを理解する前に、人間のトラフィックとは何かを理解する必要があります。ヒューマン トラフィックとは、ページの閲覧、フォームへの入力、リンクのクリックなど、実際のユーザーが Web ブラウザを使用して生成する Web サイトとのやり取りを指します。これらはすべて手動操作によって実現されます。

ただし、ボット トラフィックはコンピューター プログラム (つまり「ボット」) によって生成されます。ボット トラフィックはユーザーによる手動のアクションを必要とせず、自動化されたスクリプトを通じて Web サイトと対話します。これらのスクリプトは、Web ページの訪問、リンクのクリック、フォームへの入力、さらにはより複雑なアクションの実行など、実際のユーザーの動作をシミュレートするように作成できます。

ボット トラフィックは通常、次の手順で生成されます:

1. ボットの作成: 開発者は、Web コンテンツのスクレイピングやフォームへの自動入力など、ボットが特定のタスクを自動的に実行できるようにするコードまたはスクリプトを作成します。
2. ロボットをデプロイする: ロボットを作成したら、Selenium を使用してブラウザ操作を自動化するなど、自動的に実行できるようにサーバーまたは PC にデプロイします。
3. タスクの実行: ロボットは、記述されたスクリプトに従って、ターゲット Web サイト上で特定のタスクを実行します。これらのタスクには、データ収集、シミュレートされたデータ収集や自動フォーム入力などのコンテンツ クロールが含まれます。
4. データの収集と対話: タスクの完了後、ロボットは収集したデータをサーバーに送り返すか、さらにリクエストを開始したり、さらに多くのページにアクセスしたりするなど、ターゲット Web サイトとさらに対話します。

ボットトラフィックはどこから来るのでしょうか?

ボット トラフィックのソースは非常に広範囲に渡っており、これはボット自体の多様性と切り離すことができません。ボットは、世界中のパーソナル コンピューター、サーバー、さらにはクラウド サービス プロバイダーから発生する可能性があります。しかし、ボット自体には本質的に善も悪もありません。ボットは人々がさまざまな目的で使用する単なるツールです。違いは、ボットのプログラム方法とそれを使用する人々の意図にあります。たとえば、広告詐欺ボットは広告を自動的にクリックして多額の広告収入を得る一方、正規の広告主は検出と検証のために広告検証ボットを使用します。

ボット トラフィックが合法的に使用されました

ロボット トラフィックの正当な使用は、通常、サイトのルールとプロトコルに準拠し、サーバーへの過剰な負荷を回避しながら、有益な目的を達成します。正当な使用例をいくつか示します:

• 検索エンジン クローラー

Google や Bing などの検索エンジンは、ユーザーが検索エンジンを通じて関連情報を見つけられるように、クローラーを使用してウェブページのコンテンツをクロールし、インデックスを作成します。

• データスクレイピング

一部の合法的な企業はロボットを使用して公開データをクロールしています。たとえば、価格比較 Web サイトは、ユーザーに比較サービスを提供するために、さまざまな電子商取引 Web サイトから価格情報を自動的にクロールします。

• ウェブサイトのモニタリング

ロボットを使用してウェブサイトのパフォーマンス、応答時間、可用性を監視し、ウェブサイトが常に最高のパフォーマンスを発揮できるようにします。

ボット トラフィックが悪意を持って使用されました

倫理的な使用とは対照的に、ロボット トラフィックの悪意のある使用は、Web サイトに悪影響を及ぼしたり、損害を与えたりすることがよくあります。悪意のあるロボットの目的は通常、違法な利益を得たり、競合他社の通常の業務を妨害したりすることです。以下は、一般的な悪意のある使用シナリオの一部です:

• サイバー攻撃

悪意のあるボットを使用して DDoS (分散型サービス拒否) 攻撃を実行し、サーバーに負荷をかけ、Web サイトにアクセスできなくするために、ターゲットの Web サイトに大量のリクエストを送信することがあります。

• アカウントハッキング

一部のボットは、多数のユーザー名とパスワードの組み合わせを使用してユーザー アカウントをクラッキングし、不正アクセスを取得しようとします。

• コンテンツの盗難

悪意のあるロボットは、他の Web サイトからコンテンツを収集し、許可なく他のプラットフォームに公開して、広告収入やその他の利益を生み出します。

ロボットを合法的に使用するときにブロックされないようにするにはどうすればよいですか?

ロボットの倫理的使用のプロセスでは、目的は正当なタスク (データ スクレイピング、Web サイトの監視など) であっても、CAPTCHA、IP ブロック、Web サイトのロボット対策措置に遭遇する可能性があります。これらのブロック措置を回避するための一般的な戦略は次のとおりです:

robots.txt ファイルをフォロー

robots.txt ファイルは、ウェブマスターが検索エンジン クローラーにアクセスできるページとアクセスできないページを指示するために使用するファイルです。 robots.txt ファイルを尊重すると、ブロックされるリスクが軽減され、クロール動作がウェブマスターの要件を満たすことが保証されます。

# Example: Checking the robots.txt file
import requests

url = 'https://example.com/robots.txt'
response = requests.get(url)

print(response.text)

クロール レートの制御

クロール レートが高すぎると、Web サイトのボット対策がトリガーされ、IP ブロックまたはリクエスト ブロックが発生する可能性があります。適切なクロール間隔を設定し、人間のユーザーの行動をシミュレートすることで、検出されブロックされるリスクを効果的に軽減できます。

import time
import requests

urls = ['https://example.com/page1', 'https://example.com/page2']

for url in urls:
response = requests.get(url)
print(response.status_code)
time.sleep(5) #5 seconds interval to simulate human behavior

住宅用プロキシを使用するか、IP アドレスをローテーションします

911Proxy などの住宅用プロキシは、実際のホーム ネットワーク経由でトラフィックをルーティングします。これらの IP アドレスは一般ユーザーの住居住所として認識されることが多いため、Web サイトによってロボット トラフィックとして簡単に識別されることはありません。さらに、異なる IP アドレスをローテーションすることで、単一の IP の頻繁な使用を回避し、ブロックされるリスクを軽減します。

# Example: Making requests using a residential proxy
proxies = {
'http': 'http://user:[email protected]:port',
'https': 'http://user:[email protected]:port',
}

response = requests.get('https://example.com', proxies=proxies)
print(response.status_code)

実際のユーザーの行動をシミュレートする

Selenium などのツールを使用すると、クリック、スクロール、マウスの動きなど、ブラウザ上で実際のユーザーの動作をシミュレートできます。実際のユーザーの動作をシミュレートすると、動作分析に基づいた一部のボット対策が欺瞞される可能性があります。

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://example.com')

# Simulate user scrolling the page
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

# Simulate click
button = driver.find_element(By.ID, 'some-button')
button.click()

driver.quit()

CAPTCHA のトリガーを回避します

CAPTCHA は最も一般的なボット対策の 1 つであり、多くの場合、自動ツールへのアクセスがブロックされます。 CAPTCHA を直接バイパスすることは非倫理的であり、違法である可能性がありますが、妥当なクローリング レートを使用したり、Residential-Proxies を使用したりすることで、CAPTCHA のトリガーを回避することができます。特定の操作については、検証コードをバイパスする私の他のブログを参照してください。

リクエスト ヘッダーと Cookie を使用して通常のブラウジングをシミュレートします

適切なリクエスト ヘッダー (ユーザー エージェント、リファラーなど) を設定し、セッション Cookie を維持することにより、実際のブラウザ リクエストをより適切にシミュレートできるため、傍受される可能性が低くなります。

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Referer': 'https://example.com',
}

cookies = {
'session': 'your-session-cookie-value'
}

response = requests.get('https://example.com', headers=headers, cookies=cookies)
print(response.text)

リクエストパターンをランダム化

クロール時間間隔、リクエスト順序をランダム化し、さまざまなブラウザ構成 (ユーザー エージェントなど) を使用することにより、ロボットとして検出されるリスクを効果的に軽減できます。

import random
import time

urls = ['https://example.com/page1', 'https://example.com/page2']

for url in urls:
response = requests.get(url)
print(response.status_code)
time.sleep(random.uniform(3, 10)) # Random interval of 3 to 10 seconds

悪意のあるボットトラフィックを検出するには?

悪意のあるロボット トラフィックを検出および特定することは、Web サイトのセキュリティを保護し、通常の動作を維持するために重要です。悪意のあるロボット トラフィックは異常な動作パターンを示すことが多く、Web サイトに脅威をもたらす可能性があります。以下は、悪意のあるロボット トラフィックを識別するためのいくつかの一般的な検出方法です:

• 交通データを分析する

Web サイトのトラフィック データを分析することで、管理者はロボット トラフィックの兆候である可能性のある異常なパターンを見つけることができます。たとえば、特定の IP アドレスが非常に短期間に多数のリクエストを開始した場合、または特定のアクセス パスのトラフィックが異常に増加した場合、これらはロボット トラフィックの兆候である可能性があります。

• 行動分析ツールを使用する

行動分析ツールは、管理者が異常なユーザー行動（過度に速いクリック速度、不当なページ滞在時間など）を特定するのに役立ちます。これらの行動を分析することで、管理者はロボット トラフィックの可能性を特定できます。

• IP アドレスと地理位置情報のスクリーニング

ボットのトラフィックが特定の IP アドレスまたは地理的場所に集中する場合があります。サイトが通常とは異なる場所からトラフィックを受信して​​いる場合、またはそれらの場所が短期間に大量のリクエストを送信している場合、そのトラフィックはボットから送信されている可能性があります。

• CAPTCHA とその他の検証手段を導入する

検証コードやその他の形式の検証手段を導入することは、ロボットのトラフィックをブロックする効果的な方法です。ユーザーエクスペリエンスに一定の影響を与える可能性がありますが、適切なトリガー条件を設定することで、セキュリティを確保しながら影響を最小限に抑えることができます。

要約する

現代の Web 環境では、ロボット トラフィックが大手 Web サイトが直面する大きな課題となっています。ロボット トラフィックは正当で有益な目的に使用される場合がありますが、悪意のあるロボット トラフィックは Web サイトのセキュリティとパフォーマンスに重大な脅威をもたらす可能性があります。この課題に対処するには、Web サイト管理者はロボット トラフィックを識別してブロックする方法を習得する必要があります。 Web サイトのブロック対策を回避する必要があるユーザーにとって、911Proxy などの住宅用プロキシ サービスの使用は間違いなく効果的なソリューションです。結局のところ、Web サイト管理者も一般ユーザーも常に警戒を怠らず、適切なツールと戦略を使用してロボット トラフィックによってもたらされる課題に対処する必要があります。