Как смоделировать поведение браузера с помощью запросов Python и фальшивых пользовательских агентов

библиотеки Python - это мощный инструмент для выполнения запросов HTTP, но он может столкнуться с ограничениями при попытке доступа к определенным веб -сайтам. Это связано с тем, что веб-сайты могут реализовать анти-ботские меры, которые различают реальные браузеры и автоматические сценарии. Чтобы обойти эти блоки, разработчики могут использовать методы для имитации поведения браузера и генерировать пользовательские заголовки пользовательских агентов.

предоставление заголовка пользователя-агента

один эффективный метод-обеспечить действительный заголовок пользователя-агента, который идентифицирует брозер и операционную систему, используемые защитником. Имитируя популярный браузер, такой как Chrome или Firefox, запросы могут повысить вероятность получения желаемого ответа с целевого веб -сайта.

import requests

url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)
print(response.content)

Использование Fake-Useragent Library

для более удобного подхода, библиотека подделки, используя, обеспечивает надежную базу данных пользовательского агента. Используя эту библиотеку, разработчики могут с легкостью генерировать реалистичные пользовательские агенты. ua = userAgent () headers = {'user-agent': ua.chrome} response = requests.get (url, headers = headers)

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent': ua.chrome}

response = requests.get(url, headers=headers)