|
|
|
|
移动端

3.6 网络爬虫实现技术

《精通Python网络爬虫:核心技术、框架与项目实战》第3章网络爬虫实现原理与实现技术,在这一章中,我们将学习网络爬虫的实现原理及其实现技术,并使用metaseeker为大家做一个简单的爬虫案例。本节为大家介绍网络爬虫实现技术。

作者:韦玮来源:机械工业出版社|2017-05-11 20:59

开发者盛宴来袭!7月28日51CTO首届开发者大赛决赛带来技术创新分享

3.6 网络爬虫实现技术

通过前面的学习,我们基本上对爬虫的基本理论知识有了比较全面的了解,那么,如果我们要实现网络爬虫技术,要开发自己的网络爬虫,可以使用哪些语言进行开发呢?

开发网络爬虫的语言有很多,常见的语言有:Python、Java、PHP、Node.JS、C++、Go语言等。以下我们将分别介绍一下用这些语言写爬虫的特点:

Python:爬虫框架非常丰富,并且多线程的处理能力较强,并且简单易学、代码简洁,优点很多。

Java:适合开发大型爬虫项目。

PHP:后端处理很强,代码很简洁,模块也较丰富,但是并发能力相对来说较弱。

Node.JS:支持高并发与多线程处理。

C++:运行速度快,适合开发大型爬虫项目,成本较高。

Go语言:同样高并发能力非常强。

以上分别介绍了写爬虫的常见实现技术,本书中,笔者将会以Python语言为例,带领大家一步步的地学好爬虫的开发。

喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:342347198

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

非常网管——网络工程案例

本书面向企业网络应用需求,详细介绍了Windows网络互联解决方案、中小企业共享上网解决方案、基于ISA Server 2006的代理服务器与防火墙解决...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊