0

0

使用simple_html_dom抓取oschina的新闻资讯

PHP中文网

PHP中文网

发布时间:2016-05-25 17:10:48

|

1325人浏览过

|

来源于php中文网

原创

感觉网站太空洞了,就找了找平时自己浏览的it资讯网站,将内容抓取过来,这样就不能每个网站都浏览了.

   
  //标题+预览 
   public function to_oschina(){
        $datas=$this->_comm_oschina();
        $this->mylib->My_show_list(mymsg::PZ_OSCHINA, 'pc/oschina',$datas,null,'no desc',5,$this->pagesize);    
    }  
   //仅标题
     public function to_oschina_title(){
        $datas=$this->_comm_oschina();
        $this->mylib->My_show_list(mymsg::PZ_OSCHINA, 'pc/oschina_title',$datas,null,'no desc',5,$this->pagemax);    
    } 
   //在页面停留指定秒后开始抓取数据
    function _comm_oschina(){
        $datas=$this->mytool->getInfo();
        $datas["url"]="http://www.oschina.net";
        $datas["ajaxMethod"]="get_oschina";
        $datas["funMethod"]="to_oschina";
        return $datas;     
    } 
  
   //前台用ajax进行调用 
    function get_oschina(){  
      $this->_insert_oschina();
    }

  function _insert_oschina(){

         $url="http://www.oschina.net/news/list";
          $html = file_get_html($url);
          $result = $html->find('.ArticleList ul li');
          
          for($j=0;$jfind("td");
            for($i=0;$ifind("h3 a",$i);
             if(!empty($h)){
                $data["title"]=$h->innertext;   //标题
                $url=$h->href;
                $data["uri"]= str_replace("http://www.oschina.net","",$url);;          //URI地址
             }

             $p=$detail[$i]->find(".date",$i);
             if(!empty($p)){
                $data["author_url"]=$p->find('a',$i)->href; //作者地址
                $data["author_nm"]=$p->find('a',$i)->innertext; //作者名称
                $data["time_detail"]=$p->innertext();     //作者发布信息
                $data["no"]= substr($data["time_detail"],strrpos($data["time_detail"],"(")+1,16);
             }
             $d=$detail[$i]->find(".detail",$i);
              if(!empty($p)){
                $data["info"]=$d->innertext;    //简介
              }
            }
           $bool=$this->mcom_model->checkIsExit(mymsg::PZ_OSCHINA,array("title"=>$data["title"]));
            if(!$bool){
               $this->mcom_model->insert_data(mymsg::PZ_OSCHINA,$data);
            }
        }  
    }


这样就能抓取oschina的资讯保存进数据库,刷新后可查看

    查看实例:http://www.xiuxiandou.com/xitong/pachong/to_oschina
       

企业信使2.0
企业信使2.0

企业信使是一个集多种短信业务功能和管理功能于一体的短信服务多功能运营平台,具有稳定可靠、模块化、开放性、灵活性等特点,它既适用于各行业企业集团做行业短信信应用(集团客户),也适合于短信信第五媒体运营公司(短信信媒体业务公司)对外提供服务运营。平台支持内容提供商(CP)或集团客户的合作,如短信互动业务;手机报新闻服务;气象台、票中心、交警提供信资讯服务;商场开展客户调查及促销活动等等;同时支持媒体公

下载
HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
全国统一发票查询平台入口合集
全国统一发票查询平台入口合集

本专题整合了全国统一发票查询入口地址合集,阅读专题下面的文章了解更多详细入口。

1

2026.02.03

短剧入口地址汇总
短剧入口地址汇总

本专题整合了短剧app推荐平台,阅读专题下面的文章了解更多详细入口。

3

2026.02.03

植物大战僵尸版本入口地址汇总
植物大战僵尸版本入口地址汇总

本专题整合了植物大战僵尸版本入口地址汇总,前往文章中寻找想要的答案。

5

2026.02.03

c语言中/相关合集
c语言中/相关合集

本专题整合了c语言中/的用法、含义解释。阅读专题下面的文章了解更多详细内容。

2

2026.02.03

漫蛙漫画网页版入口与正版在线阅读 漫蛙MANWA官网访问专题
漫蛙漫画网页版入口与正版在线阅读 漫蛙MANWA官网访问专题

本专题围绕漫蛙漫画(Manwa / Manwa2)官网网页版入口进行整理,涵盖漫蛙漫画官方主页访问方式、网页版在线阅读入口、台版正版漫画浏览说明及基础使用指引,帮助用户快速进入漫蛙漫画官网,稳定在线阅读正版漫画内容,避免误入非官方页面。

3

2026.02.03

Yandex官网入口与俄罗斯搜索引擎访问指南 Yandex中文登录与网页版入口
Yandex官网入口与俄罗斯搜索引擎访问指南 Yandex中文登录与网页版入口

本专题汇总了俄罗斯知名搜索引擎 Yandex 的官网入口、免登录访问地址、中文登录方法与网页版使用指南,帮助用户稳定访问 Yandex 官网,并提供一站式入口汇总。无论是登录入口还是在线搜索,用户都能快速获取最新稳定的访问链接与使用指南。

31

2026.02.03

Java 设计模式与重构实践
Java 设计模式与重构实践

本专题专注讲解 Java 中常用的设计模式,包括单例模式、工厂模式、观察者模式、策略模式等,并结合代码重构实践,帮助学习者掌握 如何运用设计模式优化代码结构,提高代码的可读性、可维护性和扩展性。通过具体示例,展示设计模式如何解决实际开发中的复杂问题。

2

2026.02.03

C# 并发与异步编程
C# 并发与异步编程

本专题系统讲解 C# 异步编程与并发控制,重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目,帮助学习者掌握 如何在 C# 中编写高效的异步代码,提升应用的并发性能与响应速度。

2

2026.02.03

Python 强化学习与深度Q网络(DQN)
Python 强化学习与深度Q网络(DQN)

本专题深入讲解 Python 在强化学习(Reinforcement Learning)中的应用,重点介绍 深度Q网络(DQN) 及其实现方法,涵盖 Q-learning 算法、深度学习与神经网络的结合、环境模拟与奖励机制设计、探索与利用的平衡等。通过构建一个简单的游戏AI,帮助学习者掌握 如何使用 Python 训练智能体在动态环境中作出决策。

2

2026.02.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uniapp从零开始实现新闻资讯应用
Uniapp从零开始实现新闻资讯应用

共67课时 | 9.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号