Scrapy数据爬取，Django+PyEcharts实现可视化大屏(附源码)
Crossin的编程教室约 4 分钟入门教程、案例源码、学习资料、读者群
请访问： python666.cn
大家好，欢迎来到 Crossin的编程教室 ！
最近有个小伙伴问我有没有基于Django的可视化大屏，于是就顺手找了一下，在GitHub上发现了一个不错的实战项目，基于qunaer长沙景点数据。
而且作者最近还在更新项目，保真~
项目地址：
https://github.com/ChenZixinn/scenery_spider_web
使用Scrapy进行数据爬取，MySQL存储数据，Django写后端服务，PyEcharts制作可视化图表，效果如下。
发现每个模块都有详情页，可以通过点击首页各个模块的标签，进行访问。
基于数据可视化的游客行为分析系统，包含以下几类图表。
景点数量各区县分布地图
景点评分数据排名
景点人数占比分析
景点浏览人数占比分析
景点评论词云图
景点浏览时间分布图
景点评分分布图
景点数量各区县分布图
还有登录界面，可以自己注册账号，说明包含用户管理。
首先需要安装Anaconda(版本4.11.0)，方便创建Python环境。
Anaconda的安装方法，大家可以自行百度，还是比较容易的。
安装好以后，创建虚拟环境，根据项目提供的【requirements.txt】文件，安装所需的依赖。
# 创建虚拟环境
conda create --name test python=3.8.13# 激活环境
conda activate test# 安装依赖
pip install -r requirements.txt
然后是安装MySQL数据库(版本8.0.33)，推荐使用msi文件进行安装，不容易出错。
一定要记住root账户的密码，后续会用到。
安装好以后，创建数据库，使用数据库。
# 创建数据库
create database hunan_web;# 使用数据库
use hunan_web;
接下来创建数据表，并且插入数据。
具体可以看项目中【new_hunan_web.sql】这个文件。
其中作者还提供了原始数据。
也就意味着，你无需运行爬虫代码，便有数据，能立马将项目运行起来。
最后在程序里面设置下数据库的密码。
在hunan_web文件夹中setting.py文件里去设置。
设置好以后，运行服务的时候，就可以连接到数据库了。
当Python和数据库环境都搭建好时，运行【manage.py】文件
# 运行项目
python manage.py runserver结果如下。
使用谷歌浏览器访问网页地址：
http://127.0.0.1:8000/
是一个登录页，点击去注册。
输入账号密码，即可注册成功，然后去登录。
登录成功，即可看到到分析页面。
如果你想更新数据库，可以运行爬虫代码。
# 更新数据
scrapy crawl qunaer
运行的时候可能会出问题，可以通过下面两种方法解决。
# ImportError: cannot import name 'SSLv3_METHOD' from 'OpenSSL.SSL'
pip3 install pyopenssl==22.0.0# AttributeError: module 'lib' has no attribute 'OpenSSL_add_all_algorithms'
pip3 install cryptography==38.0.4
如果上面的方法也不能解决，就把scrapy库升级到最新版本。
# 升级
pip install --upgrade scrapy
以上操作，就能实现可视化大屏项目的部署。
当然我们还可以写不同省份的游客行为分析系统，或者切换其它的数据来源。
又或者是使用pyecharts其它类型的图表，这个大家都可以自行去学习。
本文作者是法纳斯特小F，大家如果对项目做更深入的讨论，可以去他的公众号里找他：
作者：小F
本书从 Python 和 Excel 结合使用的角度讲解处理分析数据的思路、方法与实战应用。不论是希望从事数据分析岗位的学习者，还是其他职业的办公人员，都可以通过本书的学习掌握 Python 分析数据的技能。书中创新性地将 ChatGPT 引入到教学当中，用 ChatGPT 答疑并提供实训代码，并介绍了使用 ChatGPT 辅助学习的一些实用技巧，给学习者带来全新的学习方式。
公众号的读者朋友们购买后可在后台联系我，加入读者交流群，Crossin会为你开启陪读模式，解答你在阅读本书时的一切疑问。
_往期文章推荐_