越学越上瘾   12.12 来百知学IT   课程全面升级

立刻报名学习

400-616-5551

您所在位置: 首页> 学习资讯> java培训班:今天用java来写个爬虫!其实也不难!

java培训班:今天用java来写个爬虫!其实也不难!

发布百知教育 来源:学习资讯 2019-11-22

1、写在前面的话


这篇文章其实是我很早之前就写好了的,这次重新整理一下。Java写爬虫可能很多朋友没有去试过,可能是由于这方面的资料比较少,也可能是Python写爬虫过于的方便。


2、基本概念     


 jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods。


上面是官方给的jsoup官方解释,中文意思是  jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。


总的来说,就是可以帮我们解析HTML页面,并且可以抓取html里面的内容。



3、开始写代码  


我们的目标是抓取菜鸟笔记上的信息(文章标题和链接)


java培训班


public static void main(String[] args) {

     try {
              
     //下面这行代码是连接我们的目标站点,并且get到他的静态HTML代码
     
         Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();         

//我们把获取到的document打印一下,看看里面到底是啥?    

System.out.println(document);  

} catch (IOException e) {    

e.printStackTrace();

  } 
  
}


看我们代码运行后的结果:



java培训



你会发现我们通过这一句就获得了“菜鸟笔记”这个网站的HTML源码


我们来分析一下这串html源码


java培训班


发现这两个正是我们所想要得到的数据,我们继续抓取


java培训班


java培训班



这样我们就抓取到我们想要的内容了!



java培训班:http://www.baizhiedu.com/java2019



上一篇:UI设计培训 | 未来5年UI设计会饱和吗?

下一篇:大数据培训入门:什么是Spark?为什么要学Spark?

相关推荐