【课程简介】
Python这门编程语言包罗万象,可以说掌握了python,除了一些特殊环境和高度的性能要求,你可以用它做任何事。
Python作为一门脚本语言,它灵活、易用、易学、适用场景多,实现程序快捷便利,早已经成为程序员们的一门编程利器。从小到服务器运维的脚本,到大型软件开发,使用python都能够很灵活的快速实现。python不但可以快速实现大型的web应用程序,在网络层的开发,以及工程计算、数学计算上都有方便的开发手段。Map&Reduce思想在python里面也有着非常方便的实现。甚至在一些嵌入式设备上,你也可以实现自己的python应用。诸如著名的云计算框架openstack之类很多编程应用,都能见到python的身影。
随着互联网的发展,网络信息呈现指数式增长,要在短时间内获取大量信息,网络爬虫无疑是一种更适合的方法。通过爬虫获取的海量信息,我们可以对其进行进一步的分析:市场预测、文本分析、机器学习方法等。
本课程将会从爬虫的基本知识入手,使用Python作为实现工具,一步步地讲述网络爬虫的实现
【课程内容】
第1单元 网络爬虫初识与Python使用基础
第2单元 通用爬虫和聚焦爬虫介绍
第3单元 HTTP和HTTPS
第4单元 urllib2的urlopen()和Request()的使用
第5单元 Request响应和User-agent
第6单元 add header和get header()
第7单元 urlencode和贴吧小爬虫案例
第8单元 POST请求的模拟案例
第9单元 ajax加载方式的数据获取
第10单元 利用Cookie模拟的登录
第11单元 Handle和opener以及开放代理和私密代理的使用
第12单元 代理和web客户端授权验证处理器的使用
第13单元 通过Cookie和HTTPCookiePricess模拟登录
第14单元 正则表达式re模块的使用
第15单元 使用正则的内涵段子爬虫案例
第16单元 xml库和贴吧图片下载案例