商务服务
百度指数的爬虫方法及代码
2024-12-04 08:48

最近几年经常在各平台看到有关「搜索指数动态排行」的视频,比如「青春有你2」决赛前一周,我在B站上传了一段「青你2」和「创造营2020」的人气选手指数动态榜的视频,后台看到的视频播放量、弹幕数、评论数等数据如下:

百度指数的爬虫方法及代码

居然被播放了近 4w 次,评论里有问视频怎么做的,也有质疑数据来源的,这篇文章先讲一下数据是怎么来的。

全部数据都来自百度搜索指数,就是这个玩意儿:

网上关于百度指数的爬取方案有很多种,测试下来最方便快捷的是通过 cookies 登录后爬取,这个场景不太适合用模拟浏览器的方式。基于开源代码 (https://github.com/longxiaofei/spider-BaiduIndex) 进行了一些 DIY,就满足我的需求了。

(原开源代码可能由于久未更新,局部存在一些问题,已做处理)

在查找爬虫方法过程中,大家提到次数最多的问题就是如何找到自己的 cookies。登录百度后,在首页右键打开「开发者工具」,然后点击「Application」:

然后在 Name 那一列找「BDUSS」,复制后面对应的 Value,很长的一串字符~

把这段字符串赋值给 demo.py 中的变量 cookies,别忘了前面加 "BDUSS=",然后就可以实现自动登录了。接下来就可以在 keywords 填写你要爬的关键词列表了,设置要爬取指数的起始时间 start_date 和结束时间 end_date,如下:


按你的需求修改好各个变量后,运行 demo.py,然后你就可以获得像这样的数据了:


    以上就是本篇文章【百度指数的爬虫方法及代码】的全部内容了,欢迎阅览 ! 文章地址:http://sicmodule.glev.cn/news/11934.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 歌乐夫资讯移动站 http://sicmodule.glev.cn/mobile/ , 查看更多   
最新新闻
2025年是乙巳年,老人说:明年“青蛇遇六卯,三人要发富”,指啥
乙巳年为啥被称之为“青蛇年”?古人计算时间,喜欢用天干地支,而干支历当中,六十甲子一个循环,甲辰年之后,就是乙巳年,而十
2024年想赚钱,这5个行业别错过,就算是新人,也能闷声发大财!
随着社会的不断发展和变化,行业的兴衰更迭也日益显著。对于想要在2024年赚钱的人来说,选择一个有潜力的行业至关重要。特别是这
为什么李子柒抖音涨粉最快最多?
数据显示,李子柒回归首条视频2小时获赞破百万、当日播放量破亿,点赞量已接近1000万,当日抖音涨粉量突破500万,目前其抖音粉丝
下一个李子柒,为何还是李子柒?
停更三年多,李子柒归来仍是“王者”,不仅在国内社交媒体轰动一时,也受到海外粉丝的热烈追捧。复更首支“漆器”视频发布10分钟
李子柒与微念事件:是商业大冒险 还是田园生活的逆袭?
本文系深潜atom第418篇原创作品羽衣翩跹的李子柒(本名:李佳佳)停更5个月了。公众最近关注到她,除了接受采访时谈及共同富裕、
李子柒归来仍是顶流
  在长达1200多天的停更之后,传统文化领域短视频创作者李子柒于11月12日正式回归,迅速引爆全网,一夜涨粉近400万,粉丝总数
下班搞副业成热潮:有人月入过万
最近,“下班后的年轻人开始搞第二事业了”的话题频登社交平台热搜。摆摊卖东西、喂宠物、做自媒体、去店铺兼职……在上班与下班
李子柒现状及收入揭秘
近日,关于李子柒的收入被曝光,引起了网络上的热议。这位优秀的短视频创作者在过去的一年多时间里,虽然暂停了更新,但其在海外
李子柒复出热搜!探寻她的传奇人生与背后的故事
李子柒,原名李佳佳,1990年出生于四川省绵阳市,是一位以短视频创作而闻名的美食博主。她的回归,无疑是当下网络热搜的一大焦点
李子柒事件是怎么回事 发生了什么
近两个月来,关于李子柒的事件显得扑朔迷离,这个曾经被誉为生活在世外桃源的仙女终究也难逃世俗纠纷,被卷入了一场舆论与资本的