您是否有兴趣使用免费 IP 代理池?那么现在就进来了解更多关于它们是什么。您将学习它们是什么,它们是如何构建的,以及它们在市场上的例子。

我相信你一定听说过所有关于免费公共代理的坏话。如果你还没有,我会建议你阅读Trustedproxies上的这篇文章,以了解为什么不应该使用公共代理。尽管有公共代理的所有缺点,只要搜索术语“免费代理列表”(Top List 网站)就会出现数百个页面,专门提供对所有人开放的免费代理。

这仅表明一个事实——免费公共代理仍在使用中。如果您是公共代理的用户之一,让我向您介绍公共 IP 池。因为免费代理会在一段时间后停止工作,使用公共 IP 池,您将花费更少的时间来搜索要需要使用的代理,并且将有大量可供使用的代理。

但是这些公共/免费 IP 代理池是什么?


什么是免费公共代理池?

公共代理池是一个托管的免费代理列表,这些代理会不断刷新以删除不良 IP,并有一个系统来决定要分配给特定用户的代理集。其中一些甚至支持IP 轮换。这在缺乏可靠性方面最大限度地减少了与免费/公共代理相关的问题。

但是,您只需要接受这样一个事实,即公共代理池只会让获取新代理变得容易。在大多数用例中,使用它是一个坏主意。一些站点完全拒绝通过免费代理发送的请求,因为它们是黑客、垃圾邮件发送者和垃圾邮件发送者的巢穴。

但是,在某些情况下,免费 IP 池仍然会有所帮助。虽然大多数复杂的站点都有非常严格的系统来防止它们的使用,但仍有许多站点可以使用免费代理。

通常,它们用于对速度不敏感且不重要的项目。不准备在论坛自动化项目上花钱的人可能会使用免费代理池来发送回复和删除评论。他们还可以使用它来抓取一些网站等。最重要的是,确保他们不会泄露您的真实 IP 地址,因为一些免费代理会泄露其用户的真实 IP 地址。


如何构建免费代理池

如果您知道如何编写代码来自动执行任务,那么构建公共池对您来说就不是问题。根据您的需要,您可能决定让您的池从终端工作,或者拥有一个 RESTful API 形式的 Web 界面。创建公共代理池的算法如下所述。

免费代理池算法

你需要一个提供免费代理列表的网站列表。确保您使用的是高度匿名的代理,并且不会以任何方式泄露您的 IP 地址。一些免费代理站点是ProxyrackFree Proxy ListnameFree Proxy Lists等等。您找到的站点越多,您的代理池就越大。

  • 您需要编写从公共/免费代理列表站点中抓取代理端口和 IP 的网络抓取工具,测试它们以确保它们正常运行,然后将它们添加到数据库中。
  • 然后,您需要创建一个例程函数以在特定时间间隔检查数据库,并使用诸如http://httpbin.org/ip 之类的 API 测试代理,以查看 IP 地址是否仍然可用。对于那些不起作用的,您需要从数据库中删除它们。这一步非常重要,因为有时免费代理通常会停止工作,因为 IP 的所有者可能会停用或站点将阻止它们。
  • 有了上面的内容,您应该有一个用于您的项目的代理池。剩下的任务是如何从数据库中提取代理。您可以创建一个 API 来查询数据库并为您提供工作代理。您可以通过旋转代理的方式来实现,这样系统就不会继续提供相同的代理以避免阻塞。

您可以按照上述步骤使用您选择的任何编程语言创建您自己的免费代理池。对于那些使用 Python 编码的人,请查看GitHub 上使用Flask Web 框架Redis 数据库构建的IP-Proxy-Pool 项目。


免费 IP 池示例

如果您不是编码人员,那么您别无选择,只能使用其他人开发的公共代理池。事实是,我不会为您推荐任何公共 IP 池提供商,因为我不想对使用它们可能产生的任何不利影响负责。

但是,我只能推荐其中的几个供您选择。来自公共代理池的代理非常慢,可能不适用于大多数用例。大多数甚至都不可靠,因为它们很容易不可用 – 并且也很容易被阻止。下面是三个免费的公共代理池。


Proxy Orbit 是一个轮换代理 API,它为每个 API 请求返回一个新的代理。他们声称他们的池会不断刷新,并且会从池中取出坏 IP。您可以使用来自 Proxy Orbit 的代理执行某些网络抓取任务,前提是相关站点没有非常严格的反垃圾邮件系统来防止使用代理。它们支持许多复杂的站点,包括 Twitter,您可以在 API 请求中指定感兴趣的站点。


GetProxyList 有一个免费计划,每日请求限制可用于小任务。GetProxyList 的工作方式与 Proxy Orbit 类似;它是一个轮换代理池,在您发送 API 时提供随机 IP。对于返回的每个代理,您都可以获取有关代理的信息,其中包括代理的最后一次测试时间、来自哪个国家/地区、其协议以及 JSON 格式的其他数据。


您想在一天内发送少于 50 个请求吗?然后 Pubproxy 为您提供了保障,因为它有一个免费计划,每天最多允许 50 个请求。在发送 API 请求时,您可以决定以 TXT 格式或 JSON 格式获取代理。您还可以设置其他参数,例如所需代理的速度、国家/地区、端口等。


代理抓取软件

是的,您可能会发现公共 IP 池类似于代理抓取工具和软件,例如zennoproxy检查器。

主要的区别是,那些代理池,主要是提供API给别人使用,提供API功能方便地扩展服务。

所以,如果你不擅长编程或者一次性使用代理列表,我建议你有效地使用代理抓取软件。还有一些 Blackhat SEO 软件,附加那些代理抓取功能来运行更多线程,例如ScrapeBoxGSA Proxy Scraper


结    论

作为结束本文的一种方式,我必须说您认为可以将免费公共代理池用于合理规模的任何任务是在浪费时间,因为它们中的大多数在其池中几乎没有 IP。

如果您将它们缺乏可靠性纳入其中,您可能希望使用非公开的付费代理。我并不是说公共 IP 池不起作用。我要说的是,它们不适合大多数严肃的网络营销活动。

这篇文章有用吗?

点击星号为它评分!

平均评分 5 / 5. 投票数: 1

到目前为止还没有投票!成为第一位评论此文章。

No more articles