课程目标

通过关键词爬虫京东、苏宁、国美的商品数据，结合自身需求，设置参数对商品打分，配合图表展示，根据商品得分情况来购买商品

适合人群

对爬虫感兴趣的同学

所需前置知识

Web前端第一季（HTML）
3小时学会使用Maven构建项目
编码利器 IntelliJ IDEA 使用进阶（基于idea.2019.1）

课程内容

1. HttpClinet
1.1 HTTP请求
1.2 HttpClient连接池
1.3 HttpClient工具类
2. Jsoup
2.1 解析生成Document对象
2.2 查找Element元素
2.3 获取元素数据
2.4 爬虫案例
3. Webmagic爬虫框架
3.1四大组件的定制和使用
3.2爬虫的启动和终止
3.3代理ip的配置使用
3.4webmagic案例-爬取二手车网
4.电商爬虫项目
功能需求
项目搭建
数据爬虫
数据分析
项目总结
5.扩展
webmagic+selenium的使用