| 浏览器收藏 | 打印

a5.gif

keoki

GF  2021-02-25 22:38
（一些脚本：https://bbs.imoutolove.me/read.php?tid=1353704）
全看 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大

分享一个爬虫吧，可爬2048，cunhua，laowang，moxing论坛最新帖子

主要目的是省去了每次上这几个论坛找资源的时间，可以一键知道最新的资源贴里有没有你想要的。

可以根据关键词，发帖作者名，筛选出最新发布的帖子里符合对应条件的帖子，把结果写入对应的html文件，显示效果类似论坛的图片模式，可直接点击链接进入帖子页面，参考下图。

可设置需要爬取的对应版块号，爬取页数，和需要排除的关键字，我把我的配置贴在下图以供参考。

爬取的结果会缓存到本地，每次爬取会对比缓存，筛选出之前爬取中没出现过的帖子放在html文件的最前面。







需要python3.8或以上

分别运行：

复制代码
  1. python daily_updates.py cunhua
  2. python daily_updates.py moxing
  3. python daily_updates.py laowang
  4. python daily_updates.py 2048
附件： southplus.zip (29 K) 下载次数:489
顶端

none.gif

qizihai

B1F  2021-02-27 13:13
（隔江犹唱后庭花）
全看 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大
引用
引用楼主3f341886于2021-02-25 22:38发表的 分享一个爬虫吧，可爬2048，cunhua，laowang，moxing论坛最新帖子 :
主要目的是省去了每次上这几个论坛找资源的时间，可以一键知道最新的资源贴里有没有你想要的。

可以根据关键词，发帖作者名，筛选出最新发布的帖子里符合对应条件的帖子，把结果写入对应的html文件，显示效果类似论坛的图片模式，可直接点击链接进入帖子页面，参考下图。

可设置需要爬取的对应版块号，爬取页数，和需要排除的关键字，我把我的配置贴在下图以供参考。
.......

可以请教个ffmpeg录制直播的问题不?
ffmpeg录制m3u8直播的时候,一段时间后 会报错,每次报错的时候,都是停留在tls,下面是报错的一段输出:


复制代码
  1. [tls @ 00000195df6e9600] Error in the pull function.
  2. [hls @ 00000195de77dd80] Opening 'https://d1--cn-gotcha204.bilivideo.com/live-bvc/128417223/live_35359510_1658732_2500/64821814.m4s' for reading
  3. [NULL @ 00000195df1a46c0] Invalid NAL unit size (536531574 > 33342).
  4. [NULL @ 00000195df1a46c0] missing picture in access unit with size 33346
  5. [mpegts @ 00000195df3df5c0] Error applying bitstream filters to an output packet for stream #0: Invalid data found when processing input
  6. av_interleaved_write_frame(): Invalid data found when processing input


真的茫无头绪,ffmpeg交流的人太少了,刚好发现你之前发过ffmpeg的帖子.所以想请教一下.
顶端

none.gif

qizihai

B2F  2021-02-28 10:31
（隔江犹唱后庭花）
全看 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大

Re:回 26楼(qizihai) 的帖子

引用
引用第28楼3f341886于2021-02-27 17:36发表的 回 26楼(qizihai) 的帖子 :
谷歌查查看吧，我这里录的时候没出现这种情况

没查到有效的内容,可以问一下你的ffmpeg录制直播的参数怎么写吗?
我的是:
复制代码
  1. ffmpeg -user_agent "具体的agent" -referer "具体的refer" -i "https://d1--cn-gotcha204.video.com/live-bvc/326154/live_35359510233_1658732_4000/index.m3u8" -c copy "index20210227.ts"
顶端

none.gif

qizihai

B3F  2021-03-03 22:51
（隔江犹唱后庭花）
全看 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大

Re:回 29楼(qizihai) 的帖子

引用
引用第36楼3f341886于2021-03-01 11:32发表的 回 29楼(qizihai) 的帖子 :
ffmpeg -headers "User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36" -i real_url -c:v copy -c:a copy -bsf:a aac_adtstoasc file_path

谢谢回复,南+的消息通知真的不好用.不自己主动找帖子,根本不知道有没有回复.他不会消息通知的.太不友好了.
顶端