摘 要
随着社会的不断发展，互联网数据时代的到来，数据的背后是什么，数据有什么用，怎么用庞大的数据来呈现出数据的价值，让我们一起去揭开它神秘的面纱。基于大数据的校园点餐系统是一种创新性的餐饮服务模式，旨在提升校园内餐饮服务的效率与质量。系统还能根据实时订单数据，智能预测餐厅的用餐高峰时段，帮助餐厅合理调配食材与人力资源，减少食物浪费，提升运营效率。基于大数据的校园点餐系统还具备健康饮食分析功能，能够根据学生的饮食习惯提供营养建议，引导学生形成健康的饮食观念。
本次以大数据的校园点餐系统爬取为例，介绍网络爬虫的基本原理，Python环境的搭建，PyCharm scrapy模块的爬虫数据的运用，把获取到的数据进行清洗、整合，储存数据到MySQL，然后进行数据可视化的呈现，简单对呈现的图进行数据分析。
关 键 词：Python；MySQL；PyCharm；爬虫；数据分析
Abstract
With the continuous development of society and the arrival of the Internet data era, what is behind the data, what is the use of the data, and how to use the huge data to present the value of the data, let's open its mysterious veil together. The campus ordering system based on big data is an innovative catering service model aimed at improving the efficiency and quality of catering services on campus. The system can also intelligently predict the peak dining hours of restaurants based on real-time order data, helping restaurants to allocate ingredients and human resources reasonably, reduce food waste, and improve operational efficiency. The campus ordering system based on big data also has the function of analyzing healthy diets, which can provide nutritional advice based on students' eating habits and guide them to form a healthy eating concept.
Taking the example of crawling the campus ordering system with big data, this article introduces the basic principles of web crawling, the construction of Python environment, and the application of PyCharm scraping module to crawl data. The obtained data is cleaned and integrated, stored in MySQL, and then visualized and presented. The presented graph is analyzed for data.
key word:Python； MySQL； PyCharm； Crawler; Data analysis
目录
摘要 I
Abstrac II
1 绪论 1
1.1 背景及意义 2
1.1.1 背景 3
1.1.2 目标及意义 3
1.2 应用现状 4
1.3 主要板块 4
1.4 主要方法及技术路线 5
1.4.1 主要方法 5
1.4.2 技术路线 6
1.4.3实现途径 7
2开发环境及技术 8
2.1 软件硬件设备 8
2.1.1 其他 9
2.2 开发环境与工具 10
2.2.1 Python简介 10
2.2.2 爬虫简介 11
2.2.3 springboot框架简介 12
2.2.4 MySqL数据库 13
2.2.5 hadoop简介 14
2.2.6 大数据简介 14
3 可行性分析与模块设计 15
3.1 可行性分析 15
3.1.1 技术可行性分析 16
3.1.2 数据可获得性分析 17
3.2 各功能模块设计 18
3.2.1 数据获取方法 19
3.2.2 数据预处理设计 20
5 系统设计 22
4.1系统功能结构图 21
4.2系统数据库设计 21
4.2.1数据库E-R图 21
4.3数据库表结构 21
5 系统实现与结论 22
5.1 前台用户功能的实现 25
5.2 管理员功能的实现 25
5.3数据可视化分析看板展示 23
5.4 结论 26
6 系统测试 29
总结 29
致 谢 30
参考文献 31
1 绪论
1.1 背景及意义
1.1.1 背景
大数据浪潮，汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围内启动透明外卖信息、加速外卖推荐的大数据创新、引领社会变革的利器。现代管理学之父德鲁克曾经说过：“预测未来最好的方法，就是去创造未来”。而“大数据战略”，则是当下领航全球的先机。而在过去的数年中，信息技术在社会、经济、生活等各个领域不断渗透和推陈出新。在移动计算、物联网、云计算等一系列新兴技术的支持下，社交媒体、众包、虚拟服务等新型应用模式持续拓展着人类创造和利用信息的范围和形式。当今信息技术的发展及创新正使各个产业发生改变，在信息爆炸时代产生了海量数据。然而数据背后所隐藏的巨大商业价值正开始被越来越多的人所重视，那么数据从何而来?
人工缓慢搜集数据，从人力物力上来说都不可行。购买数据是一 个办法，但是目前公开交易的数据少之又少，很难与多样化的数据需求匹配。因此，对用户来说，如果想获取全面、有效、 准确的数据， 编写爬虫抓取数据是一种明智之选。
1.1.2 课题研究的意义
目前，与传统数据相比，大数据具有数据量大、种类多、成本低的特点。大数据的意义不仅局限于互联网产业的发展，而且对数字信息时代的发展起着重要的作用。从而带动了计算机的发展，在繁忙的时代，紧张的生活节奏中，无疑需要引进先进的信息管理技术，那么在信息化潮流下，大数据的校园点餐系统应运而生，肩负起历史时期的使命。
对于校园来说，大量复杂的外卖推荐数据等信息难于通过传统的方法进行管理；对于校园的管理者来说，繁琐的信息使他们感到迷茫。大数据的校园点餐系统分析可视化设计与实现正是针对上述的问题而开发的，通过计算机系统来管理数据信息，可以解决大量信息的查询和相关管理，同时也为校园的管理者或用户提供便利。这样，使原本独立的外卖推荐等信息资料流程化。
大数据的校园点餐系统实质上就是一个管理信息系统，目前管理信息系统鱼龙混杂，相关管理工作并不能真正的实现一体化，为了更好的为校园的用户着想，想他们之所需，实现校园日常管理工作的整套流程，达到办公的一体化，提高他们的工作效率，这正是我们要做这项工作的意义所在。
1.2 应用现状
近些年，随着越来越多的用户对大数据的外卖推荐数据价值的认识不断提升，于是相比于国内，国外的大数据分析系统建设比较早，在早些年就已经很先进，但受其它的经济危机影响，导致部分国家发展缓慢，但也有些发达国家走群众路线，全面发展大数据技术。
在国内，线下管理系统已经特别完善，它基于计算机技术，让系统具有信息化、科学化、自动化等特性。在计算机的辅助下，国内该类系统可提高信息的复用率，对数据的处理、备份等方面也有了显著的效率提升，这种有效的工作可使用户能更快的做好决定，也实现了“无纸化”的信息爬取方式。由于其功能特别完善，也导致系统比较庞大，所以在了解该类系统的功能、操作后，决定开发一款基于大数据的校园点餐系统，它的功能小，但是操作简单、快速、准确的特点，也体现了设计它的意义。
1.3 主要板块
（1）数据获取板块
数据获取板块功能主要是依据分析目的及要达到的目标，确定获取的数据种类，并使用直接获取数据文件方式或爬虫方式获取原始数据。
（2）数据预处理板块
数据预处理板块功能是对获取到的数据进行预处理操作：将重复的字段筛选，将过短并且没有实际意义的数据进行过滤，选择重要字段，标准化处理，异常值处理等预处理操作。
（3）数据存储板块
数据存储板块主要功能是把经过预处理的数据持久化存储，以便于后续分析。
（4）数据分析板块
数据分析板块主要功能是根据分析目标，找出数据中字段之间的内在关系，与规律。
（5）数据可视化板块
数据可视化板块主要功能是使用适当的图标展现方式，把数据的内在关系、规律展现出来。
1.4 主要方法及技术路线
1.4.1 主要方法
（1）数据获取；本文中数据的获取方式是直接获取大数据的校园点餐系统分析。
（2）数据清洗：本文数据清洗使用的是python语言，通过pycharm读取数据文件，并入库操作。在入库之前，剔除无用字段、标准化处理。
（3）数据分析：在数据库中使用sql语言多维度排序分析。
（4）分析结果展示与说明：将分析结果通过python绘制趋势图可视化展现。
1.4.3实现途径
（1） 采用B/S模式进行开发，其优点是前台与大数据处理层次分明，而且符合众多已经习惯网页方式的用户。
（2）采用面向对象的开发与设计理念。运用面向对象爬虫和大数据的前提是对整体系统的高度和准确抽象，通过它可以保证系统良好的框架，进而带来产品较强的稳定性和运行效率。
（3） 采用模块化设计。模块化设计要求将整个系统划分成基于小的模块，有利于大数据代码的重载，简化设计和实现过程。
（4） 简单方便的系统界面。设计简单友好的系统界面，方便用户较快的适应系统的操作。
（5）速度优先原则。由于此工具最重要的评测标准就是速度，因此在设计过程中，具体过程尽量做到资源占用少，速度快。
（ 6）在数据库的选择方面选择高效的MySQL数据库，这样可以长期稳定地存储和使用数据。而且最大的好处就在于当服务器端更换设备的时候，完全可以不用担心大数据代码因为MySQL数据库可以完美的并入拓展到其他的数据库。
（7）在程序开发的过程中选用B/S的开发结构，这样可以以模块化的开发方式进行发开，大数据的校园点餐系统的信息按应用功能的类别进行分离：大数据的校园点餐系统的信息逻辑和服务器相隔离，前台显示界面与大数据的校园点餐系统信息逻辑相隔离而且任何的变化都不会对其造成太大影响。
（8）在程序开发语言和开发平台的选择上，我选用 Pycharm 作为我的开发平台，采用python作为我开发本系统的编写语言，因为python语言高效稳定可编程度高，有利于系统环境的搭建。
对比要实现的功能来分析出用户的需求，可以让用户在python爬起大数据的校园点餐系统的大数据有了直观看板，因此，管理员对信息进行添加、修改、删除、查看，可以提高管理员的工作效率。
当游客打开系统的网址后，首先看到的就是首页界面。在这里，游客能够看到基于大数据的校园点餐系统的导航栏显示首页、外卖信息、公告资讯、个人中心。用户点击外卖信息，在外卖信息页面的查询栏输入名称等信息，进行查询，还可以查看名称、图片、距离、起送价、配送时长、评分、配送价、个均价、月销量、点击次数、收藏数 ，如有需要点赞或者收藏、评论等操作。
