Comment simuler le comportement du navigateur avec les demandes de Python et les faux agents utilisateur

Les demandes de Python sont un outil puissant pour faire des demandes HTTP, mais cela peut comprendre des limites lorsque vous essayez d'accès à certains sites Web. En effet, les sites Web peuvent mettre en œuvre des mesures anti-BOT qui distinguent les navigateurs réels et les scripts automatisés. Pour contourner ces blocs, les développeurs peuvent utiliser des techniques pour imiter le comportement du navigateur et générer des en-têtes d'agent utilisateur personnalisés.

Fournir un en-tête d'agent utilisateur

Une méthode efficace est de fournir un en-tête d'utilisateur valide, qui identifie le développeur et le système opérationnel utilisé par le régimeur. En imitant un navigateur populaire comme Chrome ou Firefox, les demandes peuvent améliorer les chances d'obtenir la réponse souhaitée à partir du site Web cible.

import requests

url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)
print(response.content)

Utilisation de la bibliothèque de faux useragent

Pour une approche plus pratique, la bibliothèque de fausses useragents fournit une base de données robuste des chaînes d'agent utilisateur. En utilisant cette bibliothèque, les développeurs peuvent générer facilement des agents utilisateur réalistes. ua = userAgent () en-têtes = {'user-agent': ua.chrome} Response = requers.get (url, en-têtes = en-têtes)

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent': ua.chrome}

response = requests.get(url, headers=headers)