如何绕过会员制网站的付费墙（Bypass Paywall）

浏览诸如WSJ、Bloomberg、财新等网站，会遇到付费会员才能观看的文章，或者是免费浏览几篇文章后需要付费才能观看更多，此类都可以称之为“付费墙”。

这里不讨论绕过付费墙的知识版权伦理方面的问题，只是单纯从技术角度描述一下原理、方案。

1、付费墙类型

付费墙主要有两大类：

a、客户端付费墙

服务器端不对用户权限进行检查，付费内容提前下载到浏览器或APP，由客户端对用户权限进行检查。如果无权限，则将付费内容隐藏，弹出付费订阅提示。

b、服务器端付费墙

服务器端对每一篇付费内容都会检查用户权限，如果无权限，直接弹出付费订阅提示，付费内容不会下载到客户端。

2、绕过付费墙的技术原理

由于不同的网站对用户权限的检查策略不同，整体而言，绕过付费墙的机制主要有如下几类：

a、禁用Javascript

b、禁用或清除Cookie

c、修改HTTP Header，通过修改 User-Agent、Referer、X-Forwarded-For等参数， 伪装为 ：

Google Crawler

Google AdsBot

Twitter、Facebook等社交网站

d、伪装成移动端或Reader Mode或Incognito（无痕浏览模式），有一些付费墙对PC端和移动端或Reader mode的处理逻辑不同，因此可以通过伪装来绕过策略

3、工具方案类型

要绕过付费墙，在iOS、Android以及PC（macOS、Windows）上可用的工具方案不同，因此分类说明一下。

各种付费墙的工具主要以浏览器扩展、Userscript脚本、网站、浏览器Booklets几种形式。

3.1、iOS（iPhone、iPad等）

iOS上支持扩展的浏览器推荐还是Safari。Safari 目前可以通过 Stay 2 ，Tampermonkey ，Userscripts ，Adguard ，拦截100 ，Hyperweb ，Addons – Scripts & Adblock ，Macaque 等APP来支持用户脚本。

推荐 Stay 2，免费开源。

3.2、Android

Android支持扩展的浏览器，推荐 Kiwi （基于Chromium内核），Iceraven （基于Firefox Gecko内核）。

3.3、PC（macOS、Windows）

推荐Chrome或Firefox+Violentmonkey

具体请参考：支持扩展的手机浏览器

4、Bypass Paywall工具集

4.1、Bypass Paywalls Clean

Chrome版本：https://gitlab.com/magnolia1234/bypass-paywalls-chrome-clean

Firefox版本：https://gitlab.com/magnolia1234/bypass-paywalls-firefox-clean

Adblocker filters版本：https://gitlab.com/magnolia1234/bypass-paywalls-clean-filters

iOS上可以使用Adblocker filters版本。

4.2、Bypass Paywalls

https://github.com/iamadamdev/bypass-paywalls-chrome

支持Chrome/Firefox

相对于Bypass Paywalls Clean，Bypass Paywalls只支持Chrome/Firefox浏览器扩展，不支持Userscript，因此在iOS上无法使用，另外更新频率也没Bypass Paywalls Clean高，可以两个结合起来用，作为互补。个人以Bypass Paywalls Clean为主。

4.3、Remove Paywall（网页版）

https://www.removepaywall.com

iOS上可以直接使用

4.4、12ft

https://12ft.io

iOS版本：https://12ft.io/ios

iOS上也可以直接访问网页版

4.5、Bardeen

https://www.bardeen.ai/playbooks/remove-paywall

Bardeen 关于Bypass Paywall的几篇博文值得一看：

https://www.bardeen.ai/posts/extensions-to-bypass-paywall

https://www.bardeen.ai/posts/how-to-bypass-a-paywall

4.6、类似 archive.today  的归档网站

https://archive.ph

https://archive.org/web

iOS上可以直接访问网站。

4.7、iOS捷径

捷径 Shortcuts +Unpaywall

4.8、Unpaywall

https://unpaywall.org

Unpaywall插件主要针对学术文章的付费墙。Unpaywall 会自动在学术数据库及其数据库中查找，然后为用户提供查找到的免费版本。

可以参考这篇文章 How to access paywalled research papers without institutional access ，虽然不是讲Unpaywall具体机制，有参考价值。

WikiHow的 Access News Articles for Free: A Guide to Unlocking Paywalls 很值得一看

还有其他一些工具，也可以绕过付费墙，可以作为替补。

Reader mode

leiaisso：https://leiaisso.net

txtify.it：https://txtify.it 只有文本，无图片

ReadWise：https://readwise.io

Roam Rsearch Article

Hover：https://github.com/nathan-149/hover-paywalls-browser-extension

6、具体使用方案

第一步：使用以上工具测试解锁付费墙，应该能解锁大部分付费墙

第二步：对未解锁的网站，有技术背景的可以参考“2、绕过付费墙的技术原理”尝试。

一些常用工具

User-Agent Switcher and Manager