课程背景
海量资料时代，资料是公司的核心资产，怎样从互联网获取资料是一个要害的课题。举例：
APP商城功能应推荐哪一个的货品？我们能够收集淘宝网的相应品类的品名、价格、支付人数的资料加以拆解，找出受某类人群喜欢的货品。
每天早上自动收集新闻网站的新闻，根据事先设定的要害字开展匹配，将最符合的文章推送给买方或者领导。
从微博获取某一个话题的相关文章，拆解网络热点。
课程定位
本课的标的群体是需要自动化的从网络上收集资料的参训者。需要参训者有编程语言的心得，或者有较强的研习本领。
课程大纲
一、爬虫技艺的基本原理
1.网页是怎样存储的
2.网页怎样和浏览器交流
3.Html的基本语法
4.Javascript的动态网页技艺
5.静态页和动态页的区别
6.怎样采用Chrome浏览器查看网页代码
7.爬虫是怎样事务的
8.可爬取得资料内容
二、静态网页资料抓取
1.获取第一个网页
2.BeautifulSoup库引见
3.安装BeautifulSoup
4.BeautifulSoup对象的种类
a)Tag
b)Attributes
5.遍历文档树
a)父节点
b)子节点
c)前进后退
6.搜索文档树
7.文档拆解器lxml
8.Xpath
三、资料导出
1.导出到文本文件
2.导出成为excel文件
3.导出到资料库
四、抓取动态页
1.Selenium和PhatomJS
2.安装Selenium
3.下载浏览器驱动
4.安装PhatomJS
5.加载网页
6.定位元素
7.页面交互
a)点击
b)下拉菜单
c)输入文本
8.Cookies
9.网页等待
10.Map达成多线程爬虫
五、考核
按照老师的要求抓取网站资料
老师简介
Introduction to lecturers
弄懂更多
博闻智咨询|陈剑老师
适合谁听
管人者。建议同一家企业 3 人以上同来，课堂上直接改造本企业的实际问题——单人参加也能学到方法，但带不走可用的成果。
交付流程
课前：顾问访谈 2 位管理者，收集现状与问题清单，讲师据此调整案例。课中：讲授与演练各占一半，产出可直接用的工具与方案。课后：7 天内提交改进建议，30 天内一次线上答疑。