最近有很多朋友跟我说，“爬虫这东西很简单啊，好像还没学就已经会了，没啥深奥的东西哦。看了你之前的教程，不就是一个队列加一些Http请求吗，不就是写写XPath和正则吗，你们还做个神箭手云爬虫出来?我自己上个厕所就写完了啊。”
看来是时候拿出我们压箱底多年的老干妈了，哦不，老干货了。不吓屎你们这群小学生我就不在6年级混了。
废话不多说，所谓爬虫天坑，敢对得起这个名字的一定不能是等闲之辈。起码得是过完年老板给你扔这个任务，你儿童节还在头大的级别。今天第一课，咱们就先找个最难的热热身吧：爬取百度指数的关键词搜索指数。
先贴一个logo让大家跪拜一下
好了，大家平身吧，咱们马上就正式开始了，想上厕所的赶紧去，不然看完这篇文章估计你就忘了怎么上厕所了。
正式开始之前，先插个广告：如果土豪朋友不想写代码或者中途看不下去的，我们将以下代码已经打包成一个完整的应用，大家进入神箭手的云市场搜索百度指数(http://www.shenjianshou.cn/index.php?r=market/product&product_id=500036)就可以看到应用，直接调用既可。
——前方高能预警看也看不完上厕所赶紧去分割线-----
咱们正式开始：所谓知己知彼百战不殆，我们要先了解一下我们的对手。咱们打开百度指数
http://index.baidu.com
，映入眼帘的是一个简单的输入框。好开心啊，好像不用登录啊，输入一个关键字试一下吧，输入神箭手，回车：
果然百度老司机不会让我们那么开心的。没事没事，不就是登录吗，也不是没做过登录，抓包研究下请求应该不难。我们先找一个账号登录看下。登录之后继续输入神箭手：
出来了。哈哈，不难嘛，这不就直接显示了。然后就按照以前的爬虫的教程，用XPATH获取一下数字就可以了，哈哈哈…哈哈..哈……..
慢着，怎么感觉这个数字看着怪怪。吓得我赶紧掀开被子看看这货到底是啥：
什么?这是图!!!!什么?这还是拼图!!!!什么?这货居然是异步的拼图!!!!
怎么样，感受到天坑的深度没有?
本文地址：http://sicmodule.glev.cn/quote/11059.html 歌乐夫 http://sicmodule.glev.cn/ , 查看更多