JobHarvester | 各大高校并行收集job信息 对job信息进行过滤（包括想要，不想要）

JobHarvester is a Java library. JobHarvester has no bugs, it has no vulnerabilities, it has build file available and it has low support. You can download it from GitHub.

各大高校并行收集job信息 对job信息进行过滤（包括想要，不想要） 支持扩展爬虫，只需继承抽象类并实现少量函数（定位列表标签等） 利用类加载器加载配置文件中不同高校的爬虫。 抽取job信息中的格式，解析成统一的bean 结果以简单地html页面展示。 目前涉及到的技术点：. 主要包括利用spring解耦; mybatis处理数据库对象映射; 线程池并发收集; 类加载器动态加载爬虫。 系统架构设计：. 程序入口两个： 一个是crawlerwriter，用于爬虫和写数据库 一个是crawlerread，用于读取数据库和显示 还有几个重要的类介绍如下： crawlerservice：利用线程池并发收集不同高校的就业信息。 mycrawler：爬虫抽象类，模板模式，扩展爬虫必须继承的父类，包含了单爬虫爬取的算法 jobinfoservice：就业信息与数据库交互的服务 类图依赖关系如图所示：. 若要扩展爬虫只需三步： 只需继承mycrawler 实现部分抽象方法，包括定位行，列，信息的索引，下一页等。 public class nyucrawler extends mycrawler {. 在school.properties中配置对应的类名与网站的链接。 nju = njucs = sju = nyu = 初始化： 只需在配置文件中配置类名和url，系统会利用类加载器自动加载所有的爬虫类并放到一个hashmap中。 /** * 使用类加载器加载各个爬虫类 * 在school.properties中配置对于url * 读取学校链接匹配地址，命名规范[school]+[crawer] */ @postconstruct public void init() { properties properties = new properties(); classloader classloader = thread.currentthread().getcontextclassloader(); try { properties.load(classloader.getresourceasstream("school.properties")); } catch (ioexception e) { e.printstacktrace(); }. 单个爬虫算法初稿很简单如下，设计成一个模板模式： 红色均为抽象函数，不同的爬虫需要重写。 初始化：包括打开浏览器，禁用图片，css 进行连接 循环页数： 获得粗糙的目标（定位table） 定位行 过滤想要和不想要的信息 抽取jobinfo模型 下一页 /** * 模板模式算法 * 粗糙定位目标位置:比如table * 过滤想要和不想要的信息 * 定位行位置 * 抽取封装jobinfo信息 * 调用服务进行处理（此处可异步） * 下一页