CrawlerForS:某堂中文爱情动作电影爬虫

CrawlerForS是一款可以爬取某堂高清中文电影数据并生成Excel文件的爬虫软件,爬取的数据包括电影的演员名字、预览图、磁力等内容。

Github:https://github.com/abcabc2020/CrawlerFor98_2.1

国内可能部分地区无法访问github。

以下内容节选自作者Github项目页面,具体详细的说明可以到Github查看。

为了可以有效根据更多的关键词进行搜索,或者更快的浏览,所以写一个可以进行不断更新爬取的软件,代替堂里其他人偶尔的更新。
a. 可以进行增量爬取,为了保证程序的效率,采用了日志的方法,即:./98_Data/result.txt文件记录了爬取的开始日期和结束日期,在这个基础上更新新的数据,简单快捷。
b. 可以自动在爬取时下载对应的封面和截图(需要开dai-li,否则会出现大量失败),下载失败自动重试,如果失败自动记录在failimage.txt文件中
c. 新版增加多线程运行功能:可自定义线程数:图片下载线程,网页详细数据处理线程,每页url处理线程(有最大数量限制,超出自动变成最大数)

软件功能说明&包含文件说明
1、CrawlerForS_x.x
对高清中文电影区的数据进行爬取。
2、TitleReplace_x.x
对所选文件夹下的电影进行文件名替换,替换为汉语标题,影片的内容了解一大半,方便选择。

 百度网盘 提取码:nu1u

值得一看

有着文艺青年之心的导演拍出的岛国电影

2020-6-4 11:02:20

值得一看

深田老师推说“老师什么都能教给你喔”,结果悲剧

2020-6-4 11:04:07

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索