GitHub 出了一款爬虫神器！还给出了详细教程！

随风 • 2021-10-06 • Python知识 • 646 阅读
“

阅读本文大概需要 5 分钟。


”

GitHub 出了一款爬虫神器！还给出了详细教程！

对于做爬虫和数据分析方向的小伙伴来说，对于数据的获取是十分重要的，尤其是关于大数据分析的数据，非常难以获取，最近小编在浏览 Github 时，就发现了一个宝库——gopup。是由一个国内的大神开源的python库，该库包含了大量的大数据分析相关的数据，一起来看看吧。

GitHub 出了一款爬虫神器！还给出了详细教程！


01.神器 GoPup
项目的地址为：https://github.com/justinzm/gopup。该库所采集的数据都是公开的数据源，作者也指出了通过该库所获取的数据主要目的是用于学术的研究。

该项目所涉及到的数据库包含了微博指数数据、百度指数数据、头条指数数据、新经济公司、生活数据、疫情数据等信息。

GitHub 出了一款爬虫神器！还给出了详细教程！

可以看到，上述的数据中，都包含了大量的大数据分析数据，可以通过该项目库直接获取来使用。gopup 的安装也十分的便捷，在终端运行pip install gopup即可安装。

02.如何使用
接下来，我们通过程序来看一下如何使用 gopup 来获取数据。首先来看一下，百度指数的数据获取，程序和结果如下图所示：
GitHub 出了一款爬虫神器！还给出了详细教程！
上图中，可以看到，首先我们需要先在网页端登录百度指数，然后获取 cookie 数据，拿到 cookie 数据后，就可以调用 gopup 库的 baidu_search_index 函数来查询指定时间段内的指定关键词的搜索热度。这里我们搜索的就是 2020 年 10 月 1 号到 2020 年 12 月 1 号的 62 天的 “口罩” 搜索指数。返回的是 DataFrame 格式的数据。那么如何获得 cookie 呢？
GitHub 出了一款爬虫神器！还给出了详细教程！

首先打开百度指数网站并登录，然后点击 F12 进入开发者模式后，点击 Network 后，点击任意一个 url 的链接，翻到最下方就可以获取到 cookie 数据。

接下来我们来获取一下汽油和柴油的历史调价信息，程序和结果如下所示：

GitHub 出了一款爬虫神器！还给出了详细教程！

可以看到，对于调价信息，只需要一行代码即可帮助我们搞定。

gopup 不仅仅可以抓取到生活信息，还可以帮助我们抓取影视信息方面的数据，例如实时的电影票房数据、实时电视剧播映指数、艺人商业价值等信息，程序和结果如下图所示：

GitHub 出了一款爬虫神器！还给出了详细教程！

上述的程序给出的是实时电视剧播映指数数据，可以看到，最近比较火的电视剧为张鲁一、段奕宏领衔主演的《大秦赋》和李易峰、金晨主演的《隐秘而伟大》。这两部剧在豆瓣上的评分都在 8 分以上，可谓是收视率和口碑的双丰收。

GitHub 出了一款爬虫神器！还给出了详细教程！

上图给出的是艺人商业价值的排行榜(详细的 csv 可以在文末获取)，杨紫、易烊千玺和杨幂分列前三位，这份榜单是根据商业价值来进行排序，在专业热度、关注热度等信息方面，不同的明星热度排名也是不相同的。

03.详细的文档
作者在项目中不仅给出了安装方式，而且还出了中文文档(http://doc.gopup.cn/)，大家可以直接到作者提供的中文文档中进行学习，作者给出的中文文档非常的详尽。

GitHub 出了一款爬虫神器！还给出了详细教程！

以百度的搜索数据为例，我们需要重点关注的有四个点，分别是目标地址、输入参数、输出参数和接口示例，其中接口示例给出了程序如何调用的详细说明，让大家一看就明白该如何使用。

还要注意的是，影视数据获取的程序，必须在 Ubuntu 环境下运行，否则 js 数据无法正确返回结果。

GitHub 出了一款爬虫神器！还给出了详细教程！

以上就是小编为大家带来的 gopup 库的介绍，大家也赶快安装 gopup ，发现更多更有趣的大数据应用吧。

另外使用这个库需要一个js补丁，小编已经为大家准备好了！

原公号「菜鸟学 Python」后台直接输入：补丁


GitHub 出了一款爬虫神器！还给出了详细教程！


爆文推荐


GitHub 出了一款爬虫神器！还给出了详细教程！

点下在看，你最好看








































































原文始发于微信公众号（进击的Coder）：GitHub 出了一款爬虫神器！还给出了详细教程！





                

                

                                            

                            本站文章资源均来源自网络，除非特别声明，否则均不代表站方观点，并仅供查阅，不作为任何参考依据！

如有侵权请及时跟我们联系，本站将及时删除！

如遇版权问题，请查看 本站版权声明                        

                                            

                        THE END
                    

                    

                                            


                    

    
            

            
                    

                

            
    
            分享        

                

            
                                    
                                    
                                    
                                    
                                    
                                    
                                            二维码        

                

                        海报        

        

            

            

                
				                    
                
				                    
                
				                    
            

        

            

        

    

    

        
        
    







    

        

        

            
            
GitHub 出了一款爬虫神器！还给出了详细教程！

            

                


“ 
阅读本文大概需要 5 分钟。
 

”





对于做爬虫和数据分析方向的小伙伴来说，对于数据的获取是十分重要的，尤其是关于大数据分析的数据，非常难以获取……            

            

                
                

            

        

        

            
        

        

            

        

    





                                            

                                                        

                                

                                    
                                    

                                        
                                            <<上一篇                                        
                                    

                                

                            

                                                        

                                

                                    
                                    

                                        下一篇>>