【技术教程】妹子图片网站爬虫的相关设置

【技术教程】妹子图片网站爬虫的相关设置

爬虫的相关设置

爬虫位于crawler目录下,每一个文件都是独立的,可单独执行。

运行代码:

cd ~/94imm/crawler

python3 crawler_mm131.py

爬虫主要修改对应的数据库名、数据库用户名及密码。

建议第一次运行时修改爬虫参数为采集全站,运行完修改参数为采集第一页,然后在linux中添加定时任务。实现自动采集。

①.单独安装时的自动采集:在root目录创建run.sh文件,写入如下内容

#!/bin/bashcd ~/94imm/crawler &&python3 crawler_mm131.py

使用crontab -e 添加新的定时任务 /2 * /root/run.sh (每2小时采集一次)
②.配合宝塔面板设置自动采集:

【技术教程】妹子图片网站爬虫的相关设置

52SOFT.CC吾爱友情提示:未经允许不得转载:吾爱资源网 » 【技术教程】妹子图片网站爬虫的相关设置
微信公众号:ziyuanyuan360
关注我们,获取更多的全网素材资源,有趣有料!
24043人已关注
分享到:
赞(0) 打赏

评论抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏