Expedia数据抓取：如何使用Python抓取Expedia旅行数据

你是否想抓取Expedia上的旅行票价、酒店或租车价格？那么你来对地方了，我们将讨论如何实现这一目标——如果你是一名开发者；如果你不会编程，我们也会为你推荐一些现成的抓取工具。

Expedia网站是旅行者获取旅行票价信息、租度假屋、租车，甚至发现新目的地活动的首选之一。它不仅仅是一个信息聚合网站，你还可以在网站上预订航班和进行租赁等。如果你对航班票价、酒店价格、租车价格以及其他与旅行相关的数据感兴趣，那么Expedia应该是你的目标网站之一，因为它拥有数百万条你可能感兴趣的旅行相关数据。

不幸的是，Expedia不提供用于提取其网站旅行数据的API。如果你必须从其网站收集数据，你需要自己动手。你会同意，手动从网站提取数据，尤其是当页面很多时，几乎是不可能的，既费力又容易出错。

这就是为什么你需要使用网络抓取工具来自动化收集Expedia页面数据的过程。我们将推荐一些你可以使用的最佳网络抓取工具，并向你展示如果你有编程技能，如何自己开发一个。在此之前，让我们先了解一下什么是Expedia抓取。

Expedia抓取概述

Expedia 抓取是使用网络抓取工具从 Expedia 网站上的网页收集公开数据的过程。支持抓取 Expedia 的网络抓取工具可称为 Expedia 抓取工具。Expedia 抓取的工作原理很简单 – 网络抓取工具发送 HTTP 请求以下载包含所需数据的网页，然后从中解析出所需数据。

Expedia 不允许网页抓取行为，因为这会增加他们的服务器运行成本，而且他们还认为这是数据盗窃。然而，在法律面前，只要你抓取的数据是公开的，而不是隐藏在密码或其他屏障后面，网页抓取就是合法的。

即使 Expedia 不支持抓取，它还是成为小型和大型网络抓取工具（甚至是其竞争对手）的抓取目标。因此，它投入了大量技术来建立反抓取系统，让你很难抓取其内容。

为了抓取它，你需要绕过其反垃圾邮件系统。如果你使用我们推荐的现成网络抓取工具，则无需知道如何绕过它们，因为网络抓取工具必须为你完成此操作。但是，如果你要开发自定义 Expedia 抓取工具，则需要学习如何绕过它们。

如何使用 Python 爬取 Expedia 数据

对于非程序员，你可以转到本文的下一部分，从我们在那里提供的推荐的现成网络抓取工具中进行选择。本节适用于希望创建自定义网络抓取工具以抓取 Expedia 的程序员。你可以使用任何图灵完备的编程语言来开发网络抓取工具以抓取 Expedia，但在本指南中，我们将使用 Python，因为它是用于机器人开发的流行编程语言，尤其是对于初学者而言。要抓取 Expedia，你需要使用第三方库来加快开发过程。我们建议你使用Requests发送 HTTP 请求并使用Beautifulsoup进行数据解析。

现在来看看绕过反爬取的部分。如上文概述部分所述，除非绕过带有反爬取支持的 Expedia 反垃圾邮件系统，否则你无法在不被阻止的情况下爬取 Expedia 的数据。与无需担心被阻止的现成爬取工具不同，构建自定义爬取工具意味着你需要集成反阻止技术，否则，在爬取几页后，你就会被阻止。这是因为 Expedia 使用 IP 跟踪来检测短时间内来自同一 IP 地址的异常数量的请求。

要绕过此问题，你需要使用轮换代理，这样你的众多请求就不会具有相同的 IP 足迹。我们建议你使用 Bright Data、Smartproxy 或 Soax 的住宅代理，因为它们无法被 Expedia 反垃圾邮件系统检测到。轮换用户代理、随机化请求之间的时间以及轮换其他标头值也很重要，这样反垃圾邮件系统就不会发现你正在使用机器人

抓取 Expedia 的示例代码

下面的代码向你展示了如何编写一个简单的 Expedia 抓取工具。Expedia 是一个相当广泛的网站，拥有大量有趣的数据。因此，对于 MVP，抓取工具仅支持抓取酒店数据。你需要为其提供 Expedia 网站上可用的酒店 URL 列表，以便它抓取其数据并返回结果作为响应。

该代码非常简单，没有采用任何反爬虫绕过技术。它也不处理异常，因此，如果发生任何异常，脚本只会抛出异常并停止运行。

# import both Requests and Beautifulsoup

import requests

from bs4 import BeautifulSoup


class ExpeHotelScraper:


   def __init__(self, url):

       self.url = url

       self.download_page()


   def download_page(self):

       # method for downloading the hotel page

       self.page = requests.get(self.url).text


   def scrape_data(self):

       #method for scraping out hotel name, address, and about

       soup = BeautifulSoup(self.page, "html.parser")

       hotel_name = soup.find("h1", {"class": "uitk-heading-3"}).text

       hotel_address = soup.find("div", {"data-stid": "content-hotel-address"}).text

       hotel_about = soup.find("div", {"data-stid": "content-markup"}).text

       return {"name": hotel_name,

               "about": hotel_about,

               "address": hotel_address

               }



urls = ["https://www.expedia.com/California-Hotels-Holiday-Inn-Express-Suites-Lexington-Park-California.h9741955.Hotel-Information?chkin=2021-10-17&chkout=2021-10-18&x_pwa=1&rfrr=HSR&pwa_ts=1633296934579&referrerUrl=aHR0cHM6Ly93d3cuZXhwZWRpYS5jb20vSG90ZWwtU2VhcmNo&useRewards=false&rm1=a2®ionId=85533&destination=California%2C+Maryland%2C+United+States+of+America&destType=MARKET&sort=RECOMMENDED&top_dp=123&top_cur=USD&semdtl=&userIntent=&selectedRoomType=201330831&selectedRatePlan=380921932",]

for url in urls:

   x = ExpeHotelScraper(url)

   print(x.scrape_data())

市场上最好的 Expedia 数据抓取工具

在本文的这一部分，我们将推荐一些市场上最好的 Expedia 数据抓取工具，其中大多数都不需要你编写任何代码，这使得它们非常适合想要抓取 Expedia 数据的非程序员。重要的是要知道这些工具是付费的，其中一些带有免费套餐 – 但为你使用的网页抓取工具付费是值得的，因为最好的网页抓取工具会花费你的钱。

Bright Data 的数据收集器

• 定价： 151K 页面加载起价 500 美元
• 免费试用：可用
• 数据输出格式： Excel
• 支持的平台：基于 Web

Data Collector 是一款基于 Web 的抓取工具，由代理市场领导者 Bright Data 提供。这款 Web 抓取工具支持抓取大量网站，其中 Expedia 是受支持的网站之一。对于 Expedia，Data Collector 提供了两个收集器 – 一个用于抓取租车数据，另一个用于抓取往返航班数据。

除了这两个现成的收集器之外，如果你有不同的需求，你可以请求定制一个。考虑到所需的步骤，数据收集器是此列表中最容易使用的。它不需要编码，甚至不需要使用任何可视化抓取工具。该工具是付费的，并采用即用即付模式。