TP5框架使用QueryList采集框架爬小说操作示例

本文实例讲述了tp5框架使用querylist采集框架爬小说操作。分享给大家供大家参考，具体如下：

最近想写一个小说网站，就去搜资料，搜出来tp5可以使用querylist采集框架去爬小说，这里我来给大家详解如何用querylist去爬小说。
#首先应该下载tp5框架，然后在extend里面建立一个文件夹命名为ql，再去官网下载querylist,然后把phpquery.php 和 querylist.php 两个文件放在ql文件夹下，如图：

##在querylist.php里面加上命名空间：

namespace ql;require ‘phpquery.php';u phpquery,exception,reflectionclass;u monolog\logger;u monolog\handler\streamhandler;u iterator,countable,arrayaccess;//使用ph玫瑰花的样子pquuery接口

#准备工作做好了下来开始采集小说（我们这里以/d/file/titlepic/error.html view-source: 查看他的源码，找到包含所有章节url的class属性，写好采集规则，执行语句进行采集

##采集他的章节名和每一章节的url，因为url采集下来没有域名，需要用正则表达式加上https://www.17k.com 然后采用for循环去一个一个采集每一章节的内容

##最后再将采集到的章节名与章节内容存入数据库

直接上代码：

<?phpnamespace app\index\controller;u think\controller;u ql\querylist; class xiaoshuo extends controller{  public function index()  {    //采集目标    //$url = '/d/file/titlepic/3032846.html     $url = '/d/file/titlepic/3041226.html    //采集规则    $rules = array(          'title'=>array('.ellipsis','text'),//获取书每个章节名          'link'=>array('.volume a','href','-.folding -copy -a'),//获取每个章节链接        );    //开始采集    $data = querylist::query($url,$rules)->data;    //var_dump($data);    //求数组长度     $j = count($data);    if($data)    {      for($i=0;$i<=$j-1;$i++)      {       $values = ['title'=>$data[$i]['title'],'link'=>$data[$i+1]['link']];       $_post['url']=$data[$i+1]['link'];       if (!preg_match("/^(http|f万圣节英文歌tp):/", $_post['url']))//给链接加上域名头        {         宽敞$url1 = '/d/file/titlepic/www.17k.com'.$_post['url'];        }       $rules1 = array(          'novel'=>array('.p','text','-li -a'),          );       $data1 = querylist::query($url1,$rules1)-&g白眉拳t;data;       //var_dump($data1);医药营销案例分析       $values1 = ['title'=>$data[$i]['title'],'novel'=>$data1[0]['novel']];//将章节名、内容插入数据库       $data2 = \think\db::name('novel6')->inrt($values1);       }    }      }}

我们来打印一下他的章节名和章节内容：
注：1.class属性一定要找对
2.采集下来 $data 的第一个数组的link不是第一章的url，下一个才是第一章的，所以 d a t a [ data[” role=”prentation” style=”position: relative;”> data[ data[i+1][‘link’] 是他第i章的url