记得之前有朋友问我市面上有没有好的爬虫书籍。我的结论是没有，
因为爬虫的知识变化很快，是伴随互联网快速发展的，而书籍这种知识
传递的方式反应太慢，等书出现了，书里面的很多示例程序都无法正常跑了，
因为网站早更新了。所以很多朋友会通过互联网来学习这样内容和技能。
通过互联网来学爬虫，很多人的状态是看看别人写好的一两个案例或者小项目，
感觉就那么回事，可是一到自己真正去抓取数据时总有一种心里没底的感觉。
看对方的代码跑起来没啥问题，一旦自己去做会遇到各种问题，然后就各种
尝试，运气好能跑起来，抓点数据；运气不好就歇菜了，甚至过了很久也
不一定能找到个合适的解决方案。
这就是本课程要解决的问题。那么学完了这部分课程你会收获到什么？
    1.系统化的爬虫知识点；
    2.结合详细原理分析的实战爬取数据经验；
    3.将来进一步学习的方向鸟瞰；
本课程分为三十课时，两大部分；课程尝试将静态爬虫、动态爬虫
所需的知识点系统，清晰的呈现出来，并通过多个实例来讲解，
并给出各个层面的相应解决方案。

第一部分（第 1 ~ 14 课）：开启爬虫知识之路
这部分内容共有14个课时，详细讲解了Python静态爬虫的分析和抓取流程，
涵盖一般反爬问题的处理，编码问题的处理，各种文件爬取的方式；

第1课简单介绍了爬虫的定义，作用，分类，如何用Python来实现，
前期准备及如何用Python来实现爬虫学完后对爬虫有个初步了解；

第2课为实践课，详细讲解课程中会用到的基本库和工具的安装和调试，
学完后同学们可以自己动手来搭建出Python爬虫需要使用的各种工具和框架，
并完成一个最简单的爬虫爬取的过程；

第3课介绍了各种编码的细节等，
学完后可以应对数据处理时各种头疼的编码问题；

第4,5课重点介绍了urllib,requests等库的使用，
学完后可以轻松掌握如何在Python中通过http请求来获取数据；

第6课介绍了重点讲解了如何HTML，DOM结构和JSON格式，
学完这部分内容可以对互联网上传递的数据格式有个比较清晰的认识和分析；

第7课详解了重点学习模拟HTTP数据包的请求，学完这部分内容，
可以进一步了解HTTP协议在Python爬虫中的运用，
为将来反爬打下扎实基础;介绍了fiddler等工具如何来帮助分析HTTP协议，
学完后可以帮助大家轻松的掌握抓取分析HTTP数据包，
为分析破解网站数据打下基础；

第8课重点讲解re的用法，
学完后可以在爬虫精确提取数据时轻松掌控；

第9课重点讲解BeautifulSoup的用法，
学完后可以在爬虫精确提取数据时轻松掌控；

第10课重点讲解XPath的用法，
学完后可以在爬虫精确提取数据时轻松掌控；



综合案例：
第11，12和13课是案例课，分别使用之前讲过的urllib，requests和xpath，
BeautifualSoup，re来组合来实现对百度贴吧，猫眼电影，
今日头条等数据进行抓取，以案例实践的方式来巩固第一阶段所学重点知识；
最后，我们通过抓取VPN数据来巩固第一阶段的网络爬虫知识点的掌握；

第二部分（第 15 ~ 30 课）：进阶爬虫知识之路
这部分内容共有11个课时，重点讲解了Python爬虫抓取动态页面所需的技术，
及应对数据量较大的基本处理原则；

第15课重点在于Ajax异步加载的机制和数据包的解析过程，
学完后会对Ajax动态页面交互数据抓取做好准备；

第16课讲解了HTTP Post的过程和Form表单的提交过程，
学完后可以进一步了解HTTP动态页面加载的细节及如果破解登录的过程；

第17课是如何使用Post获取数据及分析JS脚本来破解有道翻译的案例，
学完后可以实际学习在爬虫中来破解JS加密具体过程；

第18课讲解如何使用Selenium与浏览器配合（滚动条），
实现万能爬虫的过程，
学完后可以让大家尝试站在用户的角度尝试解决之前所有爬不下来的数据；

第19课是个案例，使用Selenium+浏览器来抓取新浪微博数据，
这个案例给大家演示整个技术框架搭建的过程，学完后学员可以
通过实践掌握Selenium的用法的实际抓取过程；

第20课以人人网，豆瓣等为案例讲解表单登录的过程，学完后可以掌握
突破登录的关口的常见方法；

第21课是一个专题，用来讲解爬虫中的深度和广度优先抓取算法及常见
的去重策略，为将来大规模的爬虫部署做准备工作；

第22，23课分别讲解了关系型数据MySQL和非关系型数据库MongoDB
的使用，通过两个案例让大家理论结合实际，
学完后能掌握MySQL和MongoDB的基本操作及在实践中的使用；
我们通过微信公众号数据的抓取案例来巩固练习本部分所学的内容；

其中第24-26课介绍进程线程协程的基础知识及在Python中
如何来写进程线程的程序，然后通过一个进程池的Demo演示了
如何在实际项目使用进程池来完成高效抓取数据的过程；
在学完这部分内容之后，可以了解到Python在进程，
线程及协程的使用方法和注意事项，并学会在项目中恰当的运用；

第27课简单讲解了一下APP数据抓取的原理和基本的过程，这比较符合当前
很多企业抓取数据的实际需求，学完后可以了解针对常见的APP数据抓取
的过程及需要解决的技术难点；

第28，29课介绍Scrapy，Scrapy-Redis框架，如何快速使用Scrapy搭建
一个网站的爬虫及Scrapy框架的高阶应用，这是为了满足企业中
对于爬虫开发快速实现的内容讲解，学完后可以对流行的Scrapy框架的
组件和基本使用有个深入的理解；

第30课是一个专题，关于验证码。本章从图像处理的角度做了一个专题，
讲解如果使用程序自动完成验证码的处理过程，学完这部分可以对验证码
和图像处理过程有个大致的理解和认识；

本课程目前前12节免费，后面的课程内容和课程种的辅导信息，请加QQ群748898756 获取。