使用curl和正则表达式抓取网页数据 -php教程-PHP中文网

利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器，支持输入小说ID下载小说。
依赖项：curl
可以简单的看下，里面用到了curl ,正则表达式，ajax等技术，适合新手看看。在本地测试，必须保证联网并且确保php开启curl的mode.

session_start();
//封装成类开启这些自动抓取文章
#header("Refresh:30;http://www.test.com:8080");
class SpiderTools{
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*传入文章ID 解析出文章标题*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookNameById($aid){
//初始化curl
$ch= curl_init();
//url
$url='http://www.motie.com/book/'.$aid;
if(is_numeric($aid)){
//正则表达式匹配
$ru="/
\s*(.*)\s*\s*/";
}

else{

//丧尸爆发之全家求生路_第一章丧尸爆发　为吾友爱乐儿更新~_磨铁

$ru="/(.*)/";<li> }</li> <li> //设置选项，包括URL</li> <li> curl_setopt($ch, CURLOPT_URL, $url);</li> <li> curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容</li> <li> curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息</li> <li> curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); </li> <li> //执行curl</li> <li> $output = curl_exec($ch);</li> <li> //错误提示</li> <li> if(curl_exec($ch) === false){</li> <li> die(curl_error($ch));</li> <li> }</li> <li> // 检查是否有错误发生</li> <li> if(curl_errno($ch)){</li> <li> echo 'Curl error: ' . curl_error($ch);</li> <li> }</li> <li> //释放curl句柄</li> <li> curl_close($ch);</li> <li> $arr=array();</li> <li> preg_match_all($ru,$output,$arr);</li> <li> return $arr[1][0];</li> <li> }</li> <li> ////////////////////////////////////////////////////////////////////////////////////////////////////////// </li> <li> /*传入文章ID 解析文章内容*/</li> <li> //////////////////////////////////////////////////////////////////////////////////////////////////////////</li> <li> public function getBookContextById($aid){</li> <li> //开始解析文章</li> <li> $ids=array();</li> <li> $ids=explode("_",$aid);</li> <li> $titleId=trim($ids[0]);</li> <li> $aticleId=trim($ids[1]);</li> <li> $ch= curl_init();</li> <li> $ru="/<div class='\"page-content\"'>[\s\S]*<pre ondragstart='\"return' false oncopy='\"return' oncut='\"return' oncontextmenu='\"return' class='\"note\"' id='\"html_content_\d*\"'>[\s\S]*(.*)<img src="%5C%22%5C/ajax%5C/chapter%5C/%24titleId%5C/%24aticleId%5C%22" class='\"hidden\"' alt="使用curl和正则表达式抓取网页数据 " >/ui"; </pre> <li> $url='http://www.motie.com/book/'.$aid;</li> <li> //正则表达式匹配</li> <li> <li> //设置选项，包括URL</li> <li> curl_setopt($ch, CURLOPT_URL, $url);</li> <li> curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容</li> <li> curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息</li> <li> curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); </li> <li> //执行curl</li> <li> $output = curl_exec($ch);</li> <li> //错误提示</li> <li> if(curl_exec($ch) === false){</li> <li> die(curl_error($ch));</li> <li> }</li> <li> // 检查是否有错误发生</li> <li> if(curl_errno($ch)){</li> <li> echo 'Curl error: ' . curl_error($ch);</li> <li> }</li> <li> $arr=array();</li> <li> $arr2=array();</li> <li> preg_match_all($ru,$output,$arr);</li> <li> curl_close($ch);</li> <li> #var_dump($arr);</li> <li> $s=$arr[0][0];</li> <li> $s=substr($s,180);</li> <li> $arr2=explode("<img alt="使用curl和正则表达式抓取网页数据 " > return trim($arr2[0]);</li> <li> }</li> <li> <li> ////////////////////////////////////////////////////////////////////////////////////////////////////////// </li> <li> /*静态方法 @生成小说文件可以直接调用 */</li> <li> //////////////////////////////////////////////////////////////////////////////////////////////////////////</li> <li> public static function createBookById($id){</li> <li> </li> <li> if(!is_numeric($id)){</li> <li> <li> echo "<br>INIT BEGIN START WRITE!";</li> <li> $st=new self();</li> <li> $cons=$st->getBookContextById($id);</li> <li> $title=$st->getBookNameById($id);</li> <li> $cons=trim($cons);</li> <li> $t=explode(" ",$title);</li> <li> //构造目录</li> <li> $dir=array();</li> <li> $dir=explode("_",$t[0]);</li> <li> $wzdir=$dir[0]; //书名称作为目录名称</li> <li> $wzchapter=$dir[1]; //第几章</li> <li> //创建目录</li> <li> $wzdir2=iconv("UTF-8", "GBK", $wzdir);//目录编码注意这里保留对$wzdir字符串的引用，用来构造文件名，不能用此处，防止二次编码</li> <li> if(!file_exists($wzdir2)){</li> <li> mkdir($wzdir2); //创建目录</li> <li> }</li> <li> //构造文件名</li> <li> $wztitle="./".$wzdir."/"."$t[0]".".txt";</li> <li> //保证保存的文件名称不是乱码</li> <li> $wztitle=iconv("UTF-8", "GBK", $wztitle);</li> <li> $f=fopen($wztitle,"w+");</li> <li> fwrite($f,$cons);</li> <li> echo "<font color="green">$wzdir </font>".$wzchapter."<font color="red">写入成功</font>";</li> <li> fclose($f); </li> <li> </li> <li> } </li> <li> else{</li> <li> $ids=self::getBookIdsById($id); </li> <li> </li> <li> //这里服务器可能会掉线，所以最好用session记录循环</li> <li> #for($i=$_SESSION["$id"."_fid"];$i </li> <li> #self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//构造id</li> <li> #}</li> <li> </li> <li> for($i=$_SESSION["$id"."_fid"];$i </li> <li> self::createBookById($id."_".$ids[$i]);//构造id</li> <li> }</li> <li> </li> <li> #echo "<hr> <hr> <br><h1>写入工作全部完成</h1>";</li> <li> #echo $id."_".$ids[0]."<br>"; </li> <li> #var_dump($ids);</li> <li> </li> <li> }</li> <li> <li> }</li> <li> /*</li> <li> 获取小说的所有ID</li> <li> @param $id 文章ID</li> <li> @return array;</li> <li> */</li> <li> public static function getBookIdsById($aid){ </li> <li> $ch= curl_init();</li> <li> $url='http://www.motie.com/book/'.$aid."/chapter";</li> <li> //注意这里的?可以获取最少匹配项</li> <li> $ru='/[\s\S]*?</li> <li class='\"\"' createdate='\"\d{4}\-\d{2}\-\d{2}'>[\s\S]*?<a href="%5C%22%5C/book%5C/'.%24aid.'_(%5Cd*?)%5C%22%5Cs%E7%A8%8B%E5%BA%8F%E7%8C%BF%E7%AC%91%E8%AF%9D">.*?.*?/u';//正则表达式匹配<li> //设置选项，包括URL</li> <li> curl_setopt($ch, CURLOPT_URL, $url);</li> <li> curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容</li> <li> curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息</li> <li> curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); </li> <li> //执行curl</li> <li> $output = curl_exec($ch);</li> <li> // 检查是否有错误发生</li> <li> if(curl_errno($ch)){</li> <li> echo 'Curl error: ' . curl_error($ch);</li> <li> }</li> <li> //释放curl句柄</li> <li> curl_close($ch);</li> <li> $arr=array();</li> <li> preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER);</li> <li> return $arr[1];</li> <li> }</li> <li> }</li> <li> <li> <li> </li> <li> </li> <li> </li> <li> </li> <li> </li> <li> </li> <li>?></li></a> </li> </div> <em onclick="copycode($('code_Sfk'));">复制代码</em> </li>

session_start();
require_once("SpiderTools.class.php");
if($_REQUEST["bid"]){
if(is_numeric($_REQUEST["bid"])){
SpiderTools::createBookById(trim($_REQUEST["bid"]));
}
else{
echo "
请输入正确的文章ID
";
}
}
?>

复制代码

下载小说啦
输入磨铁中文网你想看到的小说ID号就可以下载小说啦

复制代码

使用curl和正则表达式抓取网页数据

输入磨铁中文网你想看到的小说ID号就可以下载小说啦