Python リクエストの Javascript 障害の克服

従来の Python リクエストは、静的 HTML ページから情報を抽出するように設計されています。ただし、最近の Web サイトの多くは Javascript を使用してデータを動的に取得するため、リクエストに課題が生じています。

JavaScript を多用するページでリクエストを利用するための回避策はありますか?

もちろんです。解決策は、「requests-html」モジュールを採用することです。この特殊なライブラリはリクエストとシームレスに統合され、オンザフライでシームレスな Javascript の実行を可能にします。

実装例:

from requests_html import HTMLSession

# Initialize an HTML session
session = HTMLSession()

# Retrieve the Javascript-infused page
r = session.get('http://www.yourjspage.com')

# Execute Javascript calls through "render"
r.html.render()

# Access HTML elements with ease
result = r.html.find('#myElementID').text

この拡張メソッドにより、JavaScript コードを手動で操作する必要がなくなります。さらに、ライブラリは BeautifulSoup をカプセル化し、

r.html.find('#myElementID').text