كيفية محاكاة سلوك المتصفح مع طلبات Python ووكلاء المستخدمين المزيفين

تعتبر مكتبة طلبات Python أداة قوية لتقديم طلبات HTTP ، لكنها قد تواجه قيودًا عند محاولة الوصول إلى أجهزة الويب الخاصة. وذلك لأن المواقع الإلكترونية يمكنها تنفيذ التدابير المضادة للبوت التي تميز بين المتصفحات الحقيقية والبرامج النصية الآلية. لتجاوز هذه الكتل ، يمكن للمطورين استخدام تقنيات لتقليد سلوك المتصفح وإنشاء رؤوس وكيل المستخدم المخصصة. من خلال محاكاة متصفح شهير مثل Chrome أو Firefox ، يمكن للطلبات تحسين فرص الحصول على الاستجابة المطلوبة من الموقع المستهدف.

استيراد طلبات الاستيراد url = 'http://www.ichangtou.com/#company:data_000008.html' رؤوس = {'user-agent': 'Mozilla/5.0 (Macintosh ؛ Intel Mac OS X 10_10_1) AppleWebkit/537.36 (KHTML ، مثل Gecko) Chrome/39.0.2171.95 Safari/537.36'}} استجابة = requests.get (url ، الرؤوس = الرؤوس) print (response.content)

باستخدام مكتبة مستخدم مزيف

للحصول على نهج أكثر ملاءمة ، توفر مكتبة المستخدم المزيفة قاعدة بيانات قوية لأسلاك وكيل المستخدم. من خلال استخدام هذه المكتبة ، يمكن للمطورين إنشاء وكلاء مستخدمين واقعيين بسهولة. ua = useragent () الرؤوس = {'user-agent': ua.chrome} Response = requests.get (url ، headers = headers)

import requests

url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)
print(response.content)

عن طريق زيارات المتصفح وإنشاء رؤوس وكيل المستخدم المناسبة ، يمكن لطلبات Python تجاوز كتل موقع الويب واسترداد المعلومات كما لو كانت قادمة من متصفح حقيقي. تفتح هذه التقنية إمكانيات جديدة لأتمتة مهام الويب ، والوصول إلى المحتوى المقيد ، وتعزيز دقة عمليات تجريف الويب.