您是否有兴趣从Facebook抓取用户资料或任何用户生成的内容,如帖子、评论、图像甚至视频?那么现在就来看看如何抓取他们,看看市场上最好的Facebook信息搜集工具。

Facebook是一个庞大的用户生成内容数据库。如果你知道自己在做什么,Facebook的数据就可以用来更好地了解你的受众,从而获得商业和政治利益。这一点可以从Cambridge Analytica如何使用用户的个人资料数据和生成的帖子来创建用户心理资料,以达到宣传的目的中看出。研究人员可以利用用户的帖子或群贴和评论进行情感分析,发现一个用户或一群用户的意图。问题是,你可以用Facebook上的数据做很多事情。

然而,获得所需的数据是一个问题。Facebook提供了一个用于收集用户档案和用户生成内容的API,但事实是,它具有很大的局限性,你不能将收集到的数据用于你需要的数据。您可以使用的唯一选项是使用通常称为Facebook scraper的Facebook数据抓取工具来抓取所需的数据。如果你有编程技能,你可以自己开发,如果你没有,你必须使用市场上已经制作好的工具。

在推荐最好的工具和如何抓取Facebook之前,让我们先来了解一下抓取Facebook的概况。


Facebook抓取-概述

Facebook不是你预算有限的常规网站。作为一家公司,Facebook拥有庞大的预算,并且拥有数千名员工,他们中的许多人都致力于在自己的平台上防止垃圾邮件。事实是,抓取Facebook并不是一件容易的事情,很多web抓取者在多次失败后放弃了抓取Facebook的想法。这是因为Facebook有一个非常强大的反机器人系统,这不仅仅是IP追踪。每当从Facebook平台上收集到大量用户数据时,它就会遭到用户的强烈反对。其中最大的是脸书剑桥分析数据

由于损失和反弹,Facebook已经加强了它的反机器人系统,以防止抓取器和爬虫访问其网站,因此,刮脸书在一个合理的规模是一个困难的任务,将花费你很多钱。即使成功了,你也有可能被Facebook的法律团队狠狠地揍一顿——这可能意味着你要花一大笔钱去坐牢,这取决于你使用收集的数据的目的。即使存在这些风险,企业和研究人员仍在悄无声地搜索Facebook。如果你也想参与到这篇文章中来,请继续阅读。

阅读更多,安全创建多个Facebook帐户的提示


如何使用Python、Requests和BeautifulSoup来抓取Facebook

我在上面已经说过,抓取Facebook不是一件容易的事情。通常,当你需要在一个合理的规模上抓取任何网站时,你需要在其他网站上使用代理来规避区块和验证码。但对于Facebook来说,如果你必须爬取它的内容,你还需要做更多的准备。首先,你需要知道Facebook网站很大程度上依赖于JavaScript。这就意味着请求和BeautifulSoup的组合不会有帮助,对吗?您可能会认为需要Selenium来呈现和执行JavaScript来提供帮助。

但事实是,虽然Selenium可以帮助您呈现JavaScript,但它可能会适得其反。这是因为Facebook使用JavaScript进行浏览器指纹识别和行为分析,有了它,他们可以判断请求是否来自机器人,而你的访问将在几次请求后被阻止。除非您能找到解决这个问题的方法(我认为您不能),否则您应该放弃使用Selenium,忘记JavaScript呈现。

那你怎么办呢?如果你在浏览器上禁用了JavaScript并尝试访问Facebook,登录后会弹出提示,告诉你Facebook在没有启用JavaScript的情况下无法正常工作。除了让他们的功能发挥作用,他们还需要它来跟踪你。然而,旧的Facebook移动网页版本(https://mobile.facebook.com)不需要JavaScript,因此,你可以从这个网站而不是网页版本的Facebook。

以下是用于从Facebook网上论坛抓取文本数据的Python代码。这是一个非常基本的代码,它不会刮擦图像,视频甚至帖子作者的姓名-只是文本。它还不包含代理的使用。它使用“请求”下载页面,并使用“ BeautifulSoup”进行解析。当然,对于一个合理的项目,您需要注意代理,分页和异常处理。

在运行下面的代码之前,请确保已安装Requests和BeautifulSoup。如果还没有,请使用点子

install requests

用于安装请求的命令 – and

pip install beautifulsoup4

安装BeautifulSoup。您可以将组的id更改为任何其他组,并且该组中的文本将被废弃。

import requests
from bs4 import BeautifulSoup


class FBGroupScraper:

    def __init__(self, group_id):
        self.group_id = group_id
        self.page_url = "https://mobile.facebook.com/groups/" + self.group_id
        self.page_content = ""

    def get_page_content(self):
        self.page_content = requests.get(self.page_url).text

    def parse(self):
        soup = BeautifulSoup(self.page_content, "html.parser")
        feed_container = soup.find(id="m_group_stories_container").find_all("p")
        for i in feed_container:
            print(i.text)

group_id = "1463546523692520"
d = FBGroupScraper(group_id)
d.get_page_content()
d.parse()

阅读更多:


最好的Facebook网络抓取工具

如果您自己无法开发可以逃避街区的Facebook抓取工具,那么使用已解决的方法是可行的方法。市场上有许多已经制成的Facebook刮板,可用于执行刮板任务。尽管有些是免费的,但我通常不建议人们使用它们,因为它们要么限制性强,要么就没有应有的效率。付费的Facebook抓取工具是最好的。这是因为开发商得到了经济上的补偿,因此,它以尽可能最佳的方式工作以保持刮板的功能。以下是市场上一些最好的Facebook刮板。


Octoparse

  • 定价:每月75美元起
  • 免费试用:有限制的14天免费试用
  • 数据输出格式: CSV,Excel,JSON,MySQL,SQLServer
  • 支持的平台:云,桌面

Octoparse可以说是当今市场上最好的web scraper之一。有了它,你几乎可以搜刮所有类型的网站,Facebook就是其中之一。该抓取工具甚至有可供使用的Facebook抓取模板,这使得您可以更容易地从Facebook抓取数据,而无需从头构建一个抓取配置文件。

章鱼屁股行动迅速,高效,可靠。它既可以作为基于云的平台,也可以作为可安装的桌面应用程序。Octoparse是付费的,但也有免费试用的选项。然而,你不能使用Facebook模板与他们的免费试用计划。


ScrapeStorm

  • 定价:每月49.99美元起
  • 免费试用:入门计划是免费的-有限制
  • 数据输出格式: TXT,CSV,Excel,JSON,MySQL,Google表格等。
  • 支持的平台:台式机

就像Octoparse一样,ScrapeStorm也不是专门的Facebook抓取工具。但是,当涉及从Facebook抓取数据时,ScrapeStorm已被证明是您现在可以在市场上使用的最好的Facebook抓取工具之一。该工具易于使用,并具有视觉指向和单击界面,可在要废弃的数据上训练该工具。

它非常适合抓取Facebook用户生成的数据,这是它的智能数据识别功能。ScrapeStorm是由前Google抓取工具小组建立的,因此,他们知道如何逃避Facebook和Google等大型网站所采用的反抓取技术。


Phantom Buster Facebook Group Extractor

  • 定价:每月30美元起–每天1小时起
  • 免费试用: 14天免费试用–每天10分钟
  • 数据输出格式: CSV,Excel,JSON
  • 支持的操作系统: Windows,Mac,Linux

Phantom Buster是一家开发自动化工具的公司,该工具可用于自动化社交媒体上的任务并从中抓取数据。Facebook Group Extractor是专门的Facebook抓取工具。它支持在Facebook社区和组中抓取用户生成的内容。

使用此工具,您可以抓取Facebook组成员的个人资料以及此类组中的帖子。就像上面的工具一样,它是一种付费工具。但是,Phantom Buster为新用户提供14天免费试用选项,以测试他们的服务,您实际上可以将其用于手头的任务。它是基于云的工具。


Proxycrawl Facebook抓取工具

  • 定价: 50,000积分的月费为29美元起
  • 免费试用:前1000个请求
  • 数据输出格式: JSON
  • 支持的平台:基于云–通过API访问

与上面的相比,Proxycrawl提供的Facebook抓取工具是一种独特的Facebook抓取工具。这是因为与上面的可安装软件或基于云的平台不同,此Facebook scraper是scraping API

它用作RESTful API。这意味着您可以将其合并到您的代码中,并立即使用返回/废弃的数据(因为它是为开发人员构建的)。使用此工具,您只需发送HTTP请求,就可以从Facebook组中提取数据,包括其供稿中的内容及其关联的注释。


批量Facebook页面抓取工具

  • 定价:每月起价为49美元,适用于100个Actor计算单元
  • 免费试用:入门计划附带10个Actor计算单元
  • 数据输出格式: JSON
  • 支持的操作系统:基于云–通过API访问

Apify是已知的Web抓取工具提供商。除了自己的工具外,它还托管可用于网络抓取任务的用户工具。Facebook Pages Scraper是一种这样的工具,您可以使用它从Facebook页面中抓取公共资料信息。它可以帮助您从Facebook页面提取帖子,评论和评论等。

它可以作为API使用,就像Proxycrawl上的Facebook Scraper一样。它易于使用,要求您将HTTP请求发送到其端点,并且响应以JSON对象的形式发送回。


结论

毫无疑问,抓取Facebook十分困难,并且要进行大量的工程设计,适当的计划和执行。如果您知道自己无法满足成功抓取Facebook的要求,那么剩下的唯一选择就是使用市场上已经制作好的Facebook网络抓取工具。上面是经过测试并证明可以使用的Facebook抓取的列表。

这篇文章有用吗?

点击星号为它评分!

平均评分 0 / 5. 投票数: 0

到目前为止还没有投票!成为第一位评论此文章。

No more articles