主要目的是省去了每次上这几个论坛找资源的时间,可以一键知道最新的资源贴里有没有你想要的。
可以根据关键词,发帖作者名,筛选出最新发布的帖子里符合对应条件的帖子,把结果写入对应的html文件,显示效果类似论坛的图片模式,可直接点击链接进入帖子页面,参考下图。
可设置需要爬取的对应版块号,爬取页数,和需要排除的关键字,我把我的配置贴在下图以供参考。
爬取的结果会缓存到本地,每次爬取会对比缓存,筛选出之前爬取中没出现过的帖子放在html文件的最前面。
需要python3.8或以上
分别运行:
复制代码- python daily_updates.py cunhua
- python daily_updates.py moxing
- python daily_updates.py laowang
- python daily_updates.py 2048
|