合作机构:阿里云 / 腾讯云 / 亚马逊云 / DreamHost / NameSilo / INWX / GODADDY / 百度统计
经常关注未闻Code的同学都知道,我做了一个叫做GNE[1]的开源项目,它能够自动提取新闻类网页的正文。效果远远好于市面上其他的开源新闻提取工具。
大家可能不知道,GNE还有一个高级版,叫做GnePro。它可以让你输入URL就自动提取新闻的正文,提取的字段比GNE多得多。并且已经在8个国家13万个网站上做过测试,识别准确率100%。
GnePro是使用K8S搭建的爬虫集群。背后有几十台服务器,通过一个网关做负载均衡。在设计GnePro权限机制的时候,我希望它能够尽量简单,尽量不依赖第三方的组件。
常规的权限校验机制一般是这样的,用户登录以后,在Cookies里面会有一个SessionId.当用户要查询数据时,往后端发起请求。后端从请求中拿到这个SessionId,到Redis或者其他数据库中,查询到这个用户的Session。在Session中,储存了用户的一些登录信息和权限信息。再根据这个权限信息返回用户有权限的内容。
但这个方法需要额外引入Redis或者其他的数据库。那么这就面临着数据同步,并发冲突等等问题。
我的需求很简单,只需要知道用户的账户什么时候过期,用户是什么等级就可以了。V1等级只能返回新闻正文,标题,发布时间,作者,图片。V2在V1的基础上,还可以返回面包屑,SEO数据,网页标签,支持JavaScript渲染。V3还可以返回经过清洗的网页正文源代码,支持用户上传HTML进行解析。因此,我不使用Session,而是使用JWT来实现。
这种情况下,使用JWT非常合适。JWT不需要引入第三方的组件。任何一个服务器都能独立进行权限校验。
例如,我定义一个数据结构,注明了用户现在是什么等级,这次授权什么时候过期:
user_info = {
'level': 'v2',
'expire': '2023-12-01 00:00:00',
'name': '青南'
}
TOP