商务服务
百度指数的爬虫方法及代码
2024-12-04 08:48

最近几年经常在各平台看到有关「搜索指数动态排行」的视频,比如「青春有你2」决赛前一周,我在B站上传了一段「青你2」和「创造营2020」的人气选手指数动态榜的视频,后台看到的视频播放量、弹幕数、评论数等数据如下:

百度指数的爬虫方法及代码

居然被播放了近 4w 次,评论里有问视频怎么做的,也有质疑数据来源的,这篇文章先讲一下数据是怎么来的。

全部数据都来自百度搜索指数,就是这个玩意儿:

网上关于百度指数的爬取方案有很多种,测试下来最方便快捷的是通过 cookies 登录后爬取,这个场景不太适合用模拟浏览器的方式。基于开源代码 (https://github.com/longxiaofei/spider-BaiduIndex) 进行了一些 DIY,就满足我的需求了。

(原开源代码可能由于久未更新,局部存在一些问题,已做处理)

在查找爬虫方法过程中,大家提到次数最多的问题就是如何找到自己的 cookies。登录百度后,在首页右键打开「开发者工具」,然后点击「Application」:

然后在 Name 那一列找「BDUSS」,复制后面对应的 Value,很长的一串字符~

把这段字符串赋值给 demo.py 中的变量 cookies,别忘了前面加 "BDUSS=",然后就可以实现自动登录了。接下来就可以在 keywords 填写你要爬的关键词列表了,设置要爬取指数的起始时间 start_date 和结束时间 end_date,如下:


按你的需求修改好各个变量后,运行 demo.py,然后你就可以获得像这样的数据了:


    以上就是本篇文章【百度指数的爬虫方法及代码】的全部内容了,欢迎阅览 ! 文章地址:http://sicmodule.glev.cn/news/11934.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 歌乐夫资讯移动站 http://sicmodule.glev.cn/mobile/ , 查看更多   
最新新闻
京东怎么入驻?京东入驻流程步骤及费用详解
京东怎么入驻?现在京东是中国两大电子商务巨头之一。在电子商务平台上有自己的地位。许多企业都想在京东入驻。那么如何在京东入
DeepSeek崛起到底谁将受益 各行业板块受益显著
在DeepSeek横空出世后,外资对中国股票的热情持续升温。本周四,香港恒生科技指数盘中一度上涨超过4%,显示出市场的信心。尽管尾
AI智能问答最具体的介绍在这里!
AI智能问答是一种基于人工智能技术的问答系统,它可以通过分析和理解用户提出的问题,然后从大量的知识库、文档或数据中提取相关
八字算.命平台搭建(现成案例,源码,APP)
八字算.命平台搭建(现成案例,源码,APP),八字算.命软件开发,八字算.命小程序开发,溜懿绺丷,八字算.命系统开发,八字算.命
央视热播剧《我的阿勒泰》爆火,马伊琍背后的女人,果然藏不住了
电视剧《我的阿勒泰》火了。广袤无际的大地,策马奔腾的草原,勾勒出一幅壮丽的北疆风光。来源:《我的阿勒泰》随着剧集的热播,
国民硬汉任程伟:成名后“只换房子不换老婆”,一位贤妻两个女儿,人生足矣
作者:天山月鸳尾蓝 编辑:李津来源:婚姻与家庭杂志前段时间,以铁路工人为题材的年代大片《铁马豪情的日子》得到了不少观众的
深度对比:DeepSeek、豆包、文心一言与通义千问的AI优势与挑战
二、商业化策略的灵活性在商业化策略上,DeepSeek则展现出更大的灵活性。例如,其发布了DeepSeek-MoE、DeepSeek-Coder等开放模型
中国AI黑马DeepSeek,如何搅动全球科技圈?
2025 年春节期间,一款来自中国的 AI 应用 DeepSeek 犹如一颗璀璨的新星,在全球范围内掀起了一阵狂热的浪潮。它以惊人的速度席
ai在线写作,推荐4个智能文案写作工具!
在数字化时代,内容创作已经成为了一种无处不在的需求。无论是企业宣传、个人表达还是知识分享,高质量的文案都扮演着至关重要的
AI如何彻底改变你的工作与学习方式?
在当今快节奏的生活中,工作与学习的压力似乎只增不减。你是否曾因繁重的任务感到焦虑,或在信息爆炸的环境中迷失方向?根据最新