Le grattage Web implique souvent l'extraction de données des sites Web, mais cela peut être difficile dans de nombreux cas. Les données dont vous avez besoin pourraient ne pas être directement accessibles en raison des techniques d'obscurcissement utilisées par les sites Web.

Obfuscation javascript , en particulier, est une méthode utilisée pour rendre le processus de grattage plus difficile en utilisant JavaScript.

Dans cet article, nous discuterons de la déobfuscation JavaScript, pourquoi cela compte dans le tracotage Web, et comment le gérer.

Qu'est-ce que l'obscurcissement JavaScript dans le grattage Web?

Obfuscation javascript est une technique pour rendre le code plus difficile à interpréter par des humains ou des outils automatisés. Les sites Web obscurcissent souvent JavaScript pour protéger leurs données ou entraver les tentatives de grattage Web.

Les techniques d'obscurcissement communes peuvent impliquer:

• Modification des noms de variables et de fonctions : les noms de variables et de fonction sont renommés à des chaînes aléatoires telles que A1, B2 et ainsi de suite, ce qui rend difficile de comprendre leur objectif.

• Données d'encodage : les chaînes, les URL ou les données sensibles sont cryptées ou codées à l'aide de la base64 ou d'autres méthodes d'encodage.

• Débuscation du flux de contrôle : l'ordre de l'exécution du code peut être modifié pour rendre plus difficile de suivre la logique et le flux du programme.

• insertion de code mort : code non pertinent ou inaccessible est ajouté pour augmenter la complexité et la taille du script.

• minification : espace blanc et commentaires inutiles sont supprimés pour réduire la lisibilité et rétrécir la taille du code.

• Fonction Emballage et indirection : Les fonctions importantes sont enveloppées dans plusieurs couches ou exécutées via des appels indirects pour ajouter de la complexité et masquer leur véritable objectif.

Voici un exemple simple d'obfuscation javascript:

Code JS original:

let productPrice = 29.99;
let productName = "Wireless Mouse";

function displayProductInfo() {
    console.log("Product Name: "   productName);
    console.log("Price: $"   productPrice);
}

displayProductInfo();

Code JS obscurci:

var _0x1a2b3c = ["\x57\x69\x72\x65\x6C\x65\x73\x73\x20\x4D\x6F\x75\x73\x65", "\x4C\x65\x74\x20\x70\x72\x6F\x64\x75\x63\x74\x50\x72\x69\x63\x65", "\x24"];
let _0x4c3b1a = 29.99;
let _0x6d24f5 = "Wireless Mouse";

function _0x44a5bc() {
    console[_0x1a2b3c[1]](_0x1a2b3c[0]   _0x6d24f5);
    console[_0x1a2b3c[1]](_0x1a2b3c[2]   _0x4c3b1a);
}

_0x44a5bc();

Le code JavaScript peut également modifier les demandes, charger des données supplémentaires ou gérer la façon dont le modèle dom (modèle d'objet de document) est peuplé, ce qui le rend plus difficile à tracer.

C'est là que la déobfuscation javascript entre!

Pourquoi la déobfuscation JavaScript est-elle importante?

déobfuscation est essentiel car de nombreux sites Web s'appuient sur des techniques d'obfuscation pour éviter le grattage. Pour contourner ces défenses, les grattoirs Web doivent inverser le processus d'obscurcissement. Sans désobfuscation, les grattoirs peuvent manquer des informations cruciales ou avoir du mal à interagir correctement avec les éléments dynamiques.

Dans le contexte de la grattage, la compréhension de la déobfuscation JavaScript vous permet de:

• Extrait des données cachées ou chargées dynamiquement : Deobfuscation aide à révéler les données stockées dans des variables JavaScript, des chaînes codées ou un HTML généré dynamiquement, tels que les prix des produits, les niveaux de stock ou les révisions d'utilisateurs.

• Interagissez avec le code javascript obscurci : En inversant les techniques d'obscuscations, vous pouvez mieux comprendre et interagir avec le code JavaScript complexe pour accéder au contenu autrement caché ou manipulé.

• Bypass des mesures anti-scrapage : la déobfuscation aide à surmonter les mécanismes anti-scrapage basés sur JavaScript comme les captchas, la limitation du taux de navigateur, permettant aux grattoirs de imiter le comportement humain et de contourner ces défenses.

Comment fonctionne la déobfuscation JavaScript?

JavaScript Deobfuscation fait référence au processus d'interprétation ou d'inversion du code JavaScript obscurci pour révéler sa fonctionnalité originale.

Voici quelques-unes des approches communes pour la désobfuscation javascript:

• inspection manuelle : la révision du code JavaScript pour identifier les modèles et décoder les éléments obscurcis peut être efficace, mais est souvent à forte intensité de temps et exige une forte compréhension de JavaScript.

• Deobfuscators automatisés : des outils comme JSDetox ou DE4JS peuvent vous aider à automatiser le processus en détectant les modèles d'obfuscation communs et vous aidant à les inverser dans un code plus lisible.

• outils de débogage : les développeurs de grattage Web peuvent utiliser des outils de développeur de navigateur pour parcourir le code javascript et observer son exécution. Cela aide à tracer comment le script manipule la page ou communique avec le serveur.

• Code BEALDIFERS : Ces outils forment du code obfussé pour le rendre plus lisible, ce qui est souvent la première étape avant que des techniques de déobfuscation plus complexes soient appliquées.

Solutions pour gérer le JavaScript obscurci

• Browsers sans tête : des outils comme Puppeteer ou Playwright aident à gérer les sites Web de JavaScript. Ces navigateurs sans tête peuvent exécuter JavaScript et permettre aux grattoirs d'interagir avec la page comme s'ils étaient un véritable utilisateur, aidant à contourner les techniques d'obfuscation complexes.

• CloudFlare Savels : Certains sites Web utilisent CloudFlare pour se protéger contre le grattage. Les grattoirs peuvent contourner la protection anti-BOT de CloudFlare en faisant tourner les en-têtes d'agent utilisateur ou en résolvant les défis JavaScript. Le plus courant est le CloudFlare JS Challenge.

• Dynamic Data Stracking : De nombreux outils de grattage sont conçus pour reproduire le comportement des utilisateurs sur des sites Web lourds JavaScript, leur permettant d'interagir avec des éléments comme des boutons ou des déroutes pour charger du contenu dynamique.

Conclusion

La désobfuscation JavaScript est cruciale dans le grattage Web, vous permettant de contourner les techniques d'obfuscation et d'accéder aux données nécessaires. Bien que la désobfuscation manuelle puisse prendre du temps, les outils automatisés et les navigateurs sans tête rendent le processus plus efficace.