上品阅读|新知
  • 免费ChatGPTHOT
  • 首页
  • 前沿
  • 图书分类
    • 书评
    • 智能 | 信通 | 网联
      • 未来科技
      • 人工智能
      • 互联网
      • 编程
      • 交互设计
      • 通信
      • 神经网络
      • 科普新知
      • 算法
    • 经管 | 创业 | 理财
      • 创业
      • 投资
      • 理财
      • 管理
      • 经济学
      • 营销
      • 金融
    • 社科 | 文史 | 政教
      • 历史
      • 哲学
      • 传记
      • 心理学
      • 社会学
      • 思想
      • 政治
      • 法律
      • 宗教
      • 军事
      • 考古
    • 文艺 | 漫画 | 推理
      • 经典名著
      • 艺术
      • 国学
      • 推理
      • 小说
      • 随笔
      • 文化
      • 文学
      • 漫画
      • 诗歌
    • 潮流 | 职场 | 居家
      • 时尚
      • 健康
      • 美食
      • 家居
      • 灵修
      • 职场
      • 生活
      • 旅行
    • 少儿 | 教育 | 励志
      • 励志
      • 儿童文学
      • 教育
      • 童话
      • 绘本
  • 免费ChatGPTHOT
  • 首页
  • 前沿
  • 图书分类
    • 书评
    • 智能 | 信通 | 网联
    • 经管 | 创业 | 理财
    • 社科 | 文史 | 政教
    • 文艺 | 漫画 | 推理
    • 潮流 | 职场 | 居家
    • 少儿 | 教育 | 励志

本站免费ChatGPT,欢迎测试:https://ai.sph.net

  • 首页
  • 最新发布
  • 前沿
  • 正文

如何绕过会员制网站的付费墙(Bypass Paywall)

SPH.net的头像-上品阅读|新知
SPH.net
5天前更新
1303

0
(0)

如何绕过会员制网站的付费墙(Bypass Paywall)

浏览诸如WSJ、Bloomberg、财新等网站,会遇到付费会员才能观看的文章,或者是免费浏览几篇文章后需要付费才能观看更多,此类都可以称之为“付费墙”。

这里不讨论绕过付费墙的知识版权伦理方面的问题,只是单纯从技术角度描述一下原理、方案。

1、付费墙类型

付费墙主要有两大类:

a、客户端付费墙

服务器端不对用户权限进行检查,付费内容提前下载到浏览器或APP,由客户端对用户权限进行检查。如果无权限,则将付费内容隐藏,弹出付费订阅提示。

b、服务器端付费墙

服务器端对每一篇付费内容都会检查用户权限,如果无权限,直接弹出付费订阅提示,付费内容不会下载到客户端。

2、绕过付费墙的技术原理

由于不同的网站对用户权限的检查策略不同,整体而言,绕过付费墙的机制主要有如下几类:

a、禁用Javascript

b、禁用或清除Cookie

c、修改HTTP Header,通过修改 User-Agent、Referer、X-Forwarded-For等参数, 伪装为 :

Google Crawler

Google AdsBot

Twitter、Facebook等社交网站

d、伪装成移动端或Reader Mode或Incognito(无痕浏览模式),有一些付费墙对PC端和移动端或Reader mode的处理逻辑不同,因此可以通过伪装来绕过策略

3、工具方案类型

要绕过付费墙,在iOS、Android以及PC(macOS、Windows)上可用的工具方案不同,因此分类说明一下。

各种付费墙的工具主要以浏览器扩展、Userscript脚本、网站、浏览器Booklets几种形式。

3.1、iOS(iPhone、iPad等)

iOS上支持扩展的浏览器推荐还是Safari。Safari 目前可以通过 Stay 2 ,Tampermonkey ,Userscripts ,Adguard ,拦截100 ,Hyperweb ,Addons – Scripts & Adblock ,Macaque 等APP来支持用户脚本。

推荐 Stay 2,免费开源。

3.2、Android

Android支持扩展的浏览器,推荐 Kiwi (基于Chromium内核),Iceraven (基于Firefox Gecko内核)。

3.3、PC(macOS、Windows)

推荐Chrome或Firefox+Violentmonkey

具体请参考:支持扩展的手机浏览器

4、Bypass Paywall工具集

4.1、Bypass Paywalls Clean

Chrome版本:https://gitlab.com/magnolia1234/bypass-paywalls-chrome-clean

Firefox版本:https://gitlab.com/magnolia1234/bypass-paywalls-firefox-clean

Adblocker filters版本:https://gitlab.com/magnolia1234/bypass-paywalls-clean-filters

iOS上可以使用Adblocker filters版本。

4.2、Bypass Paywalls

https://github.com/iamadamdev/bypass-paywalls-chrome

支持Chrome/Firefox

相对于Bypass Paywalls Clean,Bypass Paywalls只支持Chrome/Firefox浏览器扩展,不支持Userscript,因此在iOS上无法使用,另外更新频率也没Bypass Paywalls Clean高,可以两个结合起来用,作为互补。个人以Bypass Paywalls Clean为主。

4.3、Remove Paywall(网页版)

https://www.removepaywall.com

iOS上可以直接使用

4.4、12ft

https://12ft.io

iOS版本:https://12ft.io/ios

iOS上也可以直接访问网页版

4.5、Bardeen

https://www.bardeen.ai/playbooks/remove-paywall

Bardeen 关于Bypass Paywall的几篇博文值得一看:

https://www.bardeen.ai/posts/extensions-to-bypass-paywall

https://www.bardeen.ai/posts/how-to-bypass-a-paywall

4.6、类似 archive.today  的归档网站

https://archive.ph

https://archive.org/web

iOS上可以直接访问网站。

4.7、iOS捷径

捷径 Shortcuts +Unpaywall

4.8、Unpaywall

https://unpaywall.org

Unpaywall插件主要针对学术文章的付费墙。Unpaywall 会自动在学术数据库及其数据库中查找,然后为用户提供查找到的免费版本。

可以参考这篇文章 How to access paywalled research papers without institutional access ,虽然不是讲Unpaywall具体机制,有参考价值。

WikiHow的 Access News Articles for Free: A Guide to Unlocking Paywalls 很值得一看

还有其他一些工具,也可以绕过付费墙,可以作为替补。

Reader mode

leiaisso:https://leiaisso.net

txtify.it:https://txtify.it 只有文本,无图片

ReadWise:https://readwise.io

Roam Rsearch Article

Hover:https://github.com/nathan-149/hover-paywalls-browser-extension

6、具体使用方案

第一步:使用以上工具测试解锁付费墙,应该能解锁大部分付费墙

第二步:对未解锁的网站,有技术背景的可以参考“2、绕过付费墙的技术原理”尝试。

一些常用工具

User-Agent Switcher and Manager

点击星号评分!

平均分 0 / 5. 投票数: 0

还没有投票!请为他投一票。

THE END
前沿
# web# UE# javascript# android# iPhone
喜欢就支持一下吧
分享

上一篇

搞笑的中文水平测试,ChatGPT能得几分?

下一篇

ChatGPT动了谁的奶酪?
相关推荐
    微软 Bing 发布重大更新:集成插件功能,支持中文绘图-上品阅读|新知

    微软 Bing 发布重大更新:集成插件功能,支持中文绘图

    9小时前
    408
    ChatGPT动了谁的奶酪?-上品阅读|新知

    ChatGPT动了谁的奶酪?

    4天前
    5
    ChatGPT频繁封禁账号,亚洲地区遭受重创!网友呼吁谨慎登录-上品阅读|新知

    ChatGPT频繁封禁账号,亚洲地区遭受重创!网友呼吁谨慎登录

    4天前
    6
    Rebecca Minkoff美国官网海淘下单教程攻略-上品阅读|新知

    Rebecca Minkoff美国官网海淘下单教程攻略

    4天前
    3
    REI户外装备美国官网海淘下单教程攻略-上品阅读|新知

    REI户外装备美国官网海淘下单教程攻略

    4天前
    4
    Ralph Lauren拉夫劳伦美国官网海淘下单教程攻略-上品阅读|新知

    Ralph Lauren拉夫劳伦美国官网海淘下单教程攻略

    4天前
    6
    Philips飞利浦美国官网海淘下单教程攻略-上品阅读|新知

    Philips飞利浦美国官网海淘下单教程攻略

    4天前
    6
    Perfumania美国官网海淘下单教程攻略-上品阅读|新知

    Perfumania美国官网海淘下单教程攻略

    4天前
    8
    Pixie Market美国官网海淘下单教程攻略-上品阅读|新知

    Pixie Market美国官网海淘下单教程攻略

    4天前
    5
    Pat McGrath Labs美国官网海淘下单教程攻略-上品阅读|新知

    Pat McGrath Labs美国官网海淘下单教程攻略

    4天前
    4
    ProBikeKit自行车英国官网海淘下单教程攻略-上品阅读|新知

    ProBikeKit自行车英国官网海淘下单教程攻略

    4天前
    5
    Proenza Schouler美国官网海淘下单教程攻略-上品阅读|新知

    Proenza Schouler美国官网海淘下单教程攻略

    4天前
    4

本站免费ChatGPT,欢迎测试:https://ai.sph.net

  • 上品阅读|新知

  • Copyright © 1998-2023 · 上品阅读 · 关于 · 隐私
头像
评论已关闭
提交
分享

本站免费ChatGPT

本站免费ChatGPT,高速、稳定,欢迎测试:https://ai.sph.net

直达链接180个提问指令ChatGPT提问技巧150个提问模型