如何使用Python从网站上抓取图片

• 要求

Requests是一个用于HTTP请求的优雅python库。它被称为HTTP for Humans。作为网络抓取工具，“请求”是您应该熟悉的工具之一。虽然您可以使用标准库中附带的URL库，但是您需要知道Requests使很多事情变得简单。

• Python Web爬网库和框架

---

• BeautifulSoup

解析是Web抓取的关键方面之一，这可能很困难也很容易，具体取决于页面的结构。使用BeautifulSoup（一个用于Python的解析库），解析变得很容易。

• Scrapy . Beautifulsoup . Selenium用于Web抓取cra
• 涉及什么数据解析和解析技术？

---

• 文件处理

抓取图像需要您知道如何处理文件。有趣的是，我们不需要像Python Imaging Library（PIL）这样的特殊库，因为我们所做的只是保存图像。

---

抓取图像的编码步骤

根据上述要求，您可以开始从网页中抓取图像。如果尚未安装Requests和BeautifulSoup，则需要安装它们，因为它们是Python标准库中未捆绑的第三方库。您可以使用pip命令安装它们。以下是用于安装这些库的命令。

pip install requests

pip install beautifulsoup4

现在到正确的编码。

---

• 导入所需的库

第一步是导入所需的库，其中包括Requests和BeautifulSoup。

from urllib.parseimport urlparse
import requests
from bs4 import BeautifulSoup

从上面可以看到

urlparse

库也已导入。这是必需的，因为我们需要从URL中解析出域，并将其附加到具有相对URL的图像的URL中。

---

• 在页面上刮取图像的链接

url = "https://ripple.com/xrp"
domain = urlparse(url).netloc
req = requests.get(url)
soup = BeautifulSoup(req.text, "html.parser")
raw_links = soup.find_all("img")
links = []
for iin raw_links:
    link = i['src']
if link.startswith("http"):
links.append(link)
else:
modified_link = "https://" + domain + link
links.append(modified_link)

查看上面的代码，您会注意到它执行3个任务-发送请求，解析URL，并将URL保存在links变量中。您可以将url变量更改为您选择的任何URL。

在第三行中，使用Requests发送HTTP请求-在第4行和第5行中，BeautifulSoup用于解析URL。

如果查看循环部分，将观察到只有具有绝对路径（URL）的图像会被添加到链接列表中。具有相对URL的URL需要进一步处理，而代码的else部分用于此目的。进一步的处理将域名URL添加到相对URL。

---

• 下载并保存图像

for x in range(len(links)):
downloaded_image = requests.get(links[x]).content
with open(str(x) + ".jpg", "wb") as f:
f.write(downloaded_image)
print("Images scraped successfully... you can now check this script folder for your images")

上面我们要做的就是循环浏览图像URL列表，并使用请求下载每个图像的内容。随手准备好内容，然后为每个文件创建一个JPG文件，并将内容写入其中。它是如此简单。对于命名，我使用数字来表示每个图像。

这样做是因为脚本被编写为简单的概念证明。您可以决定对每个图像使用alt值-但要记住，有些图像对此不具有任何值为此，您必须提出一个命名公式。

---

• 完整代码

from urllib.parseimport urlparse
import requests
from bs4 import BeautifulSoup

url = "https://ripple.com/xrp"
domain = urlparse(url).netloc
req = requests.get(url)
soup = BeautifulSoup(req.text, "html.parser")
raw_links = soup.find_all("img")
links = []
for iin raw_links:
    link = i['src']
if link.startswith("http"):
links.append(link)
else:
modified_link = "https://" + domain + link
links.append(modified_link)
# write images to files
for x in range(len(links)):
downloaded_image = requests.get(links[x]).content
with open(str(x) + ".jpg", "wb") as f:
f.write(downloaded_image)
print("Images scraped successfully... you can now check this script folder for your images")

pip install selenium

• 导入所需的库

from selenium import webdriver
from selenium.webdriver.chrome.optionsimport Options

webdriver类是我们将在本指南的Selenium包中使用的主要类。Options类用于设置webdriver选项，包括使其以无头模式运行。

---

• 申请Google搜索首页并输入图片关键字进行搜索

keyword = "Selenium Guide"
driver = webdriver.Chrome()
driver.get("https://www.google.com/")
driver.find_element_by_name("q").send_keys(keyword)
driver.find_element_by_name("btnK").submit()

上面的代码对于任何Python编码器都是不言自明的。第一行包含我们要为其下载图像的搜索关键字。第二个节目，我们将使用Chrome来执行自动化任务。第三行发送对Google主页的请求。

使用element.find_element_by_name，我们能够使用名称属性“ q”访问搜索输入元素。使用send_keys方法填充了关键字，然后我们使用最后一行提交了查询。如果运行代码，您将看到Chrome将以自动化模式启动，填写查询表单，然后带您进入结果页面。

---

• 切换到图片并下载前2张图片

driver.find_elements_by_class_name("hide-focus-ring")[1].click()
images = driver.find_elements_by_tag_name('img')[0:2]

for x in range(len(images)):
downloaded_image = requests.get(images[x].get_attribute('src')).content
with open(str(x) + ".jpg", "wb") as f:
f.write(downloaded_image)

上面的代码也是不言自明的。第一行找到图像搜索链接并单击它，将焦点从所有结果移到仅图像。第二个图像仅找到前两个图像。使用for循环，下载图像。

---

• 完整代码

import requests
from selenium import webdriver

keyword = "Selenium Guide"
driver = webdriver.Chrome()
driver.get("https://www.google.com/")
driver.find_element_by_name("q").send_keys(keyword)
driver.find_element_by_name("btnK").submit()

driver.find_elements_by_class_name("hide-focus-ring")[1].click()
images = driver.find_elements_by_tag_name('img')[0:2]

for x in range(len(images)):
downloaded_image = requests.get(images[x].get_attribute('src')).content
with open(str(x) + ".jpg", "wb") as f:
f.write(downloaded_image)

结论