مصطلح رائع:
CRON = تقنية برمجة تقوم بجدولة المهام تلقائيًا على فترات زمنية محددة

ويب ماذا؟

عند البحث عن المشاريع وما إلى ذلك، نكتب عادةً معلومات من مواقع مختلفة - سواء كان ذلك في مذكرات / Excel / doc وما إلى ذلك.
نحن نقوم بتجميع الويب واستخراج البيانات يدويًا.

يعمل تجريف الويب على أتمتة هذا الأمر.

مثال

عند البحث على Google عن أحذية رياضية عبر الإنترنت، فإنه يعرض قائمة بمواقع الويب التي تحتوي على المنتجات والأسعار. يوجد سجل أكثر تفصيلاً في علامة تبويب التسوق، أليس كذلك؟

قامت Google للتو بحذف مواقع الويب لتتمكن من عرض أحذية رياضية من مواقع مختلفة.
يتم استخدام هذه التقنية من قبل جميع الشركات الكبرى تقريبًا في أعمالها نظرًا لتزايد البيانات بشكل كبير.

زاحف الويب

هذه تقنية على الرغم من أنها تجلب المعلومات ولكنها تختلف عن الاستخراج بمعنى أنها تبحث عن أفضل مواقع الويب وفهرستها بينما يتم الاستخراج في موقع ويب واحد.

يتم استخدامه في

تحليل تحسين محركات البحث (استخراج - جمع البيانات).

تقنيات تجريف الويب الشهيرة:

محرك الدمى
حساء جميل
برايت داتا

مشاكل!

لاحظ أنه ليس المستخدم هو الذي يقدم طلبات للحصول على المعلومات من الموقع، بل هو الكود المكتوب! إذا علمت مواقع الويب أن هذه المهمة تلقائية، فسوف تقوم بحظر عنوان IP بسرعة.

وقد أدى هذا الاختيار إلى

رموز التحقق
تحديد المعدل
المحتوى الديناميكي

الهدف: محاكاة طريقة عمل البشر!

البيانات الساطعة تعمل على أتمتة المهمة. حتى أنه يقوم بتدوير عناوين IP لجعل المستخدم غير معروف ويزيل حظر المواقع (النسخة المدفوعة!) للمستخدم.

تحية لـ JSM على الشرح الرائع.

ملاحظة:

مضحك جداً!