人生苦短，我用Python && C#。
最近初学Python，写爬虫上瘾。爬了豆瓣练手，又爬了公司的论坛生成词云分析年度关键词。最近琢磨着2017又仅剩两月了，我的年度关键词是啥？
所以自然想到爬取下自己的微信朋友圈，来个词频分析，生成属于自己的年度关键词词云。
朋友圈的爬取是非常有难度的，因为微信根本没有暴露API入口去爬取数据。
但它山之石，可以攻玉。
通过各种搜索发现，已经有第三方工具可以做到朋友圈的导出。其中微信公众号【出书啦】就提供了这样一种服务，支持朋友圈导出，并排版生成微信书。
而对朋友圈的爬取就是基于【出书啦】爬取朋友圈后生成网页后的二次爬取。
有点爬虫经验的，只要拿到导出朋友圈的URL，后面的爬虫就不足为道了。但本着分享和总结的精神，还是和大家娓娓道来。
=文中涉及个人隐私内容做了特殊处理=
上面已经介绍过了朋友圈的数据爬取是基于【出书啦】微信公众号生成的在线微信书数据的二次爬取。
具体步骤很简单:
至此，我们拿到朋友圈的数据入口——【出书啦】排版生成的微信书链接。
写过爬虫的，后面就可以直接略过了。
当然，没写过爬虫也不想动手的，也可以把【出书啦】生成的微信书链接留言或私信给我，我帮你获取年度关键词。
本文所写爬虫基于python2.7 + scrapy + jieba + wordcloud，使用VS Code IDE。
第一步：命令行执行，生成Scrapy爬虫项目。
第二步：进入创建的weixin_moment目录，执行创建朋友圈爬虫。
执行以上两步后的文件夹结构如下：
数据的准确抓取，需要对数据源进行准确分析。这一步我们就要来分析【出书啦】生成的微信书链接的数据加载方式。老规矩，F12开发者工具用起来。
从上图我们可以看出这是一个get请求，返回的json类型格式数据。
点击Preview页签可以看到如下图所示的数据：
从图中可以看到返回的目录导航数据包，其数据是按月份进行加载的。当点击导航按钮，其加载对应月份的朋友圈数据。
我们点击【2014-3】再观察网络请求，发现如下请求：
从以上数据我们可以明细看出，其采用的是用json传参的post的方式请求数据包。点击Preview页签，看到返回的分页JSON数据包。
展开某个节点，我们可以发现朋友圈数据藏在data/paras节点下。
至此，我们完成数据的来源分析。
完成了数据源分析，我们只需构造数据请求，并进行正确的数据解析，即可拿到我们想要的数据！
修改moment.py定义方法：
重载方法，解析获取到的导航数据包：
继续修改我们的方法，遍历我们第一步抓取到的导航数据包构造请求参数：
因为从我们跟踪到的http请求来看是基于json传参的post请求：
所以我们要这样发起请求：
同样我们需要定义一个回调函数用来处理返回的朋友圈数据。定义方法，根据返回的json数据包进行数据提取：
以上用到了定义的。修改items.py，做如下修改：
至此我们完成爬虫的书写。是不是迫不及待跑一下。
命令行执行，稍等片刻，热乎的朋友圈数据就生成到moment.json文件中了。
jieba中文分词提供了便利的接口用于分词和词频统计。我们直接调用方法即可得到分词结果。在此之前我们需要加载我们爬取的朋友圈数据，即保存到moment.json文件中的数据，并拼接所有朋友圈文本传参至即可。
新添加一个文件，定义方法：
词云需要基于上一步的分词结果生成词云。代码也很简单：
最后在文件末尾调用，命令行执行即可生成关键词！
以上就是本篇文章【爬取朋友圈，Get年度关键词】的全部内容了，欢迎阅览 ！ 文章地址：http://sicmodule.glev.cn/news/8972.html资讯 企业新闻 行情 企业黄页 同类资讯 首页 网站地图 返回首页 歌乐夫资讯移动站 http://sicmodule.glev.cn/mobile/ , 查看更多