Java爬虫详解，零基础小白到精通，收藏这篇就够了-开发者社区

文章目录

一、引入
二、Pattern类
三、Matcher类
四、本地爬虫
- 1）第一步：获取正则表达式(Pattern)的对象
- 2）第二步：获取文本匹配器的对象
- 3）完整代码
五、网络数据爬取（了解）
六、练习

Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11， 因为这两个是长期支持版本，下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台

要求：找出里面所有的JavaXX

1）第一步：获取正则表达式(Pattern)的对象

Pattern对象不能直接new，需要通过compile()静态方法获取，在compile()方法中的参数位置就可以去写正则表达式。

Pattern.compile("Java\\d{0,2}");

方法会返回一个Pattern类的对象，说白了就是后面这个Java\\d{0,2}正则表达式的对象

Pattern p = Pattern.compile("Java\\d{0,2}");

2）第二步：获取文本匹配器的对象

matcher()形参中传入的是需要爬取的文本(字符串)，方法返回的是一个文本匹配器的对象。

m：文本匹配器的对象，str：需要爬取的文本，p：规则。

因此：m要在str中找符合p规则的小串

Matcher m = p.matcher(str);

使用find()方法，方法返回值为boolean。

该方法会拿着文本匹配器从头开始读取，寻找是否有满足规则的子串。

如果没有，方法返回false；如果有，方法返回true。

在底层它还会去记录子串的起始索引和结束索引 + 1

m.find()

光告诉我有没有 / 索引还不行，我还得讲里面的数据拿出来才行，此时就需要调用group()方法。

这个方法的底层就会根据find()方法记录的索引进行字符串的截取。

字符串的截取可以传两个参数：substring(起始索引, 结束索引)，而且它的特点是：包头不包尾。

通过这个方法就知道了，find()记录的结束索引需要+ 1的原因了。

截取完后，它会把截取的小串进行返回。

boolean b = m.find(); String s = m.group(); System.out.println(s); // Java

但此时代码还没写完，它仅仅只是截取了一个，后面还有很多数据没爬取，因此此时我们需要继续往后读取。

在第二次调用find()方法的时候，会继续读后面的内容。

读取到第二个满足要求的子串时，方法会继续返回true。

并把第二个子串的起始索引和结束索引 + 1进行记录。

此时我们就可以再次调用group()方法进行截取。

b = m.find(); // 第二次调用group方法的时候，会根据find()方法记录的索引再次截取子串，并将这个子串进行返回。 String s2 = m.group(); System.out.println(s); // Java

但是代码到这还没结束，因为文本中有多少满足要求的子串我们并不知道，因此此时我们需要使用循环改进。由于不知道要循环多少次，所以这里使用while循环。

while (m.find()) { String s = m.group(); System.out.println(s); }

3）完整代码

//1.获取正则表达式的对象 Pattern p = Pattern.compile("Java\\d{0,2}"); //2.获取文本匹配器的对象 //拿着m去读取str，找符合p规则的子串 Matcher m = p.matcher(str); //3.利用循环获取 while (m.find()) { String s = m.group(); System.out.println(s); }

五、网络数据爬取（了解）

需求：把链接 https://www.pv138.com/idCard/list/ 中所有的身份证号码都爬取出来。

这个网址中有很多身份证号码和名字。

由于网络里面的知识点我们还没有进行学习，因此在这里你知道这么做就行了，混个眼熟，不需要你去练。

public class RegexDemo7 { public static void main(String[] args) throws IOException { /* 扩展需求2: 把连接：https://www.pv138.com/idCard/list/ 中所有的身份证号码都爬取出来。 */ //创建一个URL对象，URL就可以把它理解成是一个网址对象 URL url = new URL("https://www.pv138.com/idCard/list/"); //openConnection()：打开连接，即连接上这个网址 //细节:在运行这行代码的时候需要保证网络是畅通 URLConnection conn = url.openConnection(); //创建一个对象去读取网络中的数据 BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream())); String line; //获取正则表达式的对象pattern String regex = "[1-9]\\d{17}"; Pattern pattern = Pattern.compile(regex); //在读取的时候每次读一整行 while ((line = br.readLine()) != null) { // 这里打印的就是我这行读取到的数据 System.out.println(line); } br.close(); } }

运行上面代码，可以发现控制台中打印的信息都是我们刚刚读取到的。

但是这里面并不是所有的数据都是我想用的，我只想用里面的身份证号码怎么办？

此时就可以去用我们刚刚讲解的Pattern和Mathcer完成

//获取正则表达式的对象pattern String regex = "[1-9]\\d{17}"; Pattern pattern = Pattern.compile(regex);//在读取的时候每次读一整行 while ((line = br.readLine()) != null) { //拿着文本匹配器的对象matcher按照pattern的规则去读取当前的这一行信息 Matcher matcher = pattern.matcher(line); while (matcher.find()) { System.out.println(matcher.group()); } }

运行程序看下结果：可以发现所有的身份证号码都被爬取出来了

六、练习

需求：把下面文本中的座机电话，邮箱，手机号，热线都爬取出来。

来黑马程序员学习Java，手机号:18512516758，18512508907或者联系邮箱:boniu@itcast.cn，座机电话:01036517895，010-98951256邮箱:bozai@itcast.cn，热线电话:400-618-9090 ，400-618-4000，4006184000，4006189090

String s = "来黑马程序员学习Java，" + "电话:18512516758，18512508907" + "或者联系邮箱:boniu@itcast.cn，" + "座机电话:01036517895，010-98951256" + "邮箱:bozai@itcast.cn，" + "热线电话:400-618-9090 ，400-618-4000，4006184000，4006189090";

既然座机电话，邮箱，手机号你都想要，第一件事就得把座机电话，邮箱，手机号的正则表达式写出来。

由于这三个正则表达式都已经讲过了，因此直接复制粘贴就行了

手机号的正则表达式：1[3-9]\d{9} 邮箱的正则表达式：\w+@[\w&&[^_]]{2,6}(\.[a-zA-Z]{2,3}){1,2} 座机电话的正则表达式:θ\d{2,3}-?[1-9]\d{4,9}

接下来我们就是要来写第四个正则：热线电话

400-?[1-9]\\d{2}-?[1-9]\\d{3}

现在我们要做的就是：将大串s中的符合上面四种格式的小串都获取出来。

即：只要这个小串满足这四个正则表达式之一，就会把你获取出来

String regex = "()|()|()|()";

由于完整代码比较长可以做一个换行，直接在要换行的地方回车就行了，IDEA会帮你自动去做字符串的拼接的。

String regex = "(1[3-9]\\d{9})|(\\w+@[\\w&&[^_]]{2,6}(\\.[a-zA-Z]{2,3}){1,2})" + "|(0\\d{2,3}-?[1-9]\\d{4,9})" + "(400-?[1-9]\\d{2}-?[1-9]\\d{3})";

接下来我们就需要正式来爬取了

//1.获取正则表达式的对象 Pattern p = Pattern.compile(regex); //2.获取文本匹配器的对象 //利用m去读取s，会按照p的规则找里面的小串 Matcher m = p.matcher(s); //3.利用循环获取每一个数据 while(m.find()){ String str = m.group(); System.out.println(str);

完整代码

public class RegexDemo8 { public static void main(String[] args) { String s = "来黑马程序员学习Java，" + "电话:18512516758，18512508907" + "或者联系邮箱:boniu@itcast.cn，" + "座机电话:01036517895，010-98951256" + "邮箱:bozai@itcast.cn，" + "热线电话:400-618-9090 ，400-618-4000，4006184000，4006189090"; System.out.println("400-618-9090"); String regex = "(1[3-9]\\d{9})|(\\w+@[\\w&&[^_]]{2,6}(\\.[a-zA-Z]{2,3}){1,2})" + "|(0\\d{2,3}-?[1-9]\\d{4,9})" + "(400-?[1-9]\\d{2}-?[1-9]\\d{3})"; //1.获取正则表达式的对象 Pattern p = Pattern.compile(regex); //2.获取文本匹配器的对象 //利用m去读取s，会按照p的规则找里面的小串 Matcher m = p.matcher(s); //3.利用循环获取每一个数据 while(m.find()){ String str = m.group(); System.out.println(str); } }

根据最近的行业调研和招聘数据，AI的发展确实对Java工程师提出了新挑战，但也带来了明确的转型机遇。其现状可概括为：市场分化明显，初级岗位收缩，但“Java+AI”的复合型人才需求正在崛起。