随着社会的不断发展互联网数据时代的到来数据的背后是什么数据有什么用怎么用庞大的数据来呈现出数据的价值让我们一起去揭开它神秘的面纱。本次以短视频分析系统爬取为例介绍网络爬虫的基本原理Python环境的搭建PyCharm scrapy模块的爬虫数据的运用把获取到的数据进行清洗、整合储存数据到MySQL然后进行数据可视化的呈现简单对呈现的图进行数据分析。系统功能结构图系统功能结构图是系统设计阶段系统功能结构图只是这个阶段一个基础整个系统的架构决定了系统的整体模式是系统的根据。短视频分析系统的整个设计结构如图4.1所示。管理员点击系统管理在系统管理页面对公告信息、关于我们、系统简介、轮播图管理等信息进行查询或修改系统信息等操作如图5.7所示。