2019.12科学技术创新 -57-
基于云处理的Python 数据帮GUI 设计
赵帅许航严欢王金缘王梦伟王彳乞琨
雷虹(河南科技大学机电工程学院，河南洛阳471003)
摘 要：本文设计了 一款基于Python 开发的Windows 系统终端的”数据帮(DataPecker)”GUI 桌面应用程序，这是一款依赖于 互联网的数据爬取和数据分析的应用软件，旨在为用户提供更快捷高效的数据生活体验。采用云处理与云存储的方式，将服务器 构建在腾讯云平台上，以实现系统资源管理和空间优化处理的目的。借助腾讯云的服务器以及众多开源框架实现系统与用户友 好的交互体验、数据采集、数据分析可视化等功能，为高效利用数据和智能化服务的开发和改进提供一定的借鉴。
关键词:Python ; Windows ；爬虫；可视化
中图分类号:TP393 文献标识码：A 文章编号:2096-4390( 2019 )12-0057-02当前，我国大数据模式的上涨趋势很快，大数据(big data), 是指无法在一定时间范围内用常规软件工具进行捕捉、管理和 处理的数据集合，是需要新处理模式才能具有更强的决策力、 洞察发现力和流程优化能力的海量、高增长率和多样化的信息 资产。111在维克托•迈尔-舍恩伯格及肯尼斯•库克耶编写的《大数据 时代沪中大数
据指不用随机分析法(抽样调查)这种捷径，而采 用所有数据进行分析处理。而在通常情况下，大数据主要是指 处理数据量较大的一种数据处理模式。在日常生活、学习中，有很多时候会需要用“数据”去说话, 但是很多时候很难获取自己需要的数据，或者拥有数据但却不 知道怎么去“发声”，这主要是因为当前互联网处于大数据时代, 其数据量庞大，但是针对性差，筛选困难很大，且时常掺杂“脏” 数据，难于整理。而本项目的主旨便是在基于互联网大数据时 代的背景下，开发一款集数据获取和数据分析于一体、能够方 便人们获取数据以及从获取数据中分析出有价值的信息的工 具类软件。
1系统设计
1.1系统规划
本文的GUI 程序采用Client/Server 结构，通过腾讯云云存 储服务器，实现用户与系统交互，获取系统服务。该GUI 程序的 开发基于Python 语言并应用于Windows 系统平台，后台基于腾 讯云平台进行创建，采用云存储技术来实现叫将系统数据库创 建在服务器中，以数据存取的形式对服务器的系统数据进行管 理。 1.2项目架构设计图1数据帮(DataPecker)架构设计该项目采用云存储和云处理的方式，在腾讯云平台服务器 构建，架构设计如图1。软件名为数据帮，意寓帮助人们处理使 用数据时遇到的问题。如图2为软件的图标。1.3实施计划项目的主要的实施计划是在应用Python+Qt+Eric6快速设 计出可视化界面的同时，通过 scrapy 爬虫技术收集数据并快 速存储，进行数据的清洗以及可 视化处理，最后通过Django + Linux 部署到服务器为客户端提
供交互接口。Django 作为一个开放源代码 的Web 应用框架，由Python 写 成。采用了 MVC 的框架模式，即
模型M，视图V 和控制器Co 141而SQLite 是一款轻型的数 图2程序图标据库，它占用资源非常的低，是遵守ACID 的关系型数据库管理 系统，它包含在一个相对小的C 库中。它的设计目标是嵌入式 的，目前已经在很多嵌入式产品中使用。［5!2系统分析2.1组织结构分析图3组织结构图如图3，软件的结构^•为数据获取，用户管理以及数据分析。
数据获取模块主要负责原始数据的获取，用户管理模块主要负
责用户的注册、登录、查询，数据分析模块主要提供数据的一系 列常用的数据分析处理。
一级城市
2.2业务流程分析
图4是程序的业务流程图，主要包括：
a. 管理用户信息
b. 处理数据获取请求
c. 处理数据分析请求其中管理用户信息主要包括，用户提交注册申请或登录申 请，系统完成其注册或登录请求；处理数据获取请求主要是提
供交易数据的详细信息，同时提供用户自定义获取的数据；处理 数据分析请求主要是提供用户自定义
上传数据的分析，与提供项目资助：河南科技大学2018年度大学生研究训练计划(SRTP)项目编号：2018027o 作者简介：赵帅(1996-)，男，汉族，河南邓州人，河南科技大学机电工程学院本科在读生
。
-58- 科学技术创新2019.12
-＞用户盛二^桎取敦据交弱救据fl 宜义爬数獻乞場亠数据获n 定义分爬収数据敕据分析爬取®(据
溜达拼音
分析谥求"*数据分 f 析砂
I __ [>■
]—-4爬取数獻 A 分析參数恰误伫息注豪伫乞。求佗息个人信思大班数学优质课
联邦克立停〕先善用八管
理系绞*
自增ID
诘求人
用户
II 增ID 请求人
'4 <；白用ID 图4系统业务流程图
用户自定义获取数据的分析。
2.3数据流程分析南昌社保查询
面试英语在绘制数据流程图前，首先需要考虑到各种提交信息，还需 要弄清楚系统中的所有外部实体、数据流、处理功能以及数据 存储，要熟悉其相互关系，并且用合适的语言来表达其中的处 理功能。根据相应的功能要求并绘制的数据流程图，如下所示。
如图5，数据获取的数据流程主要是用户交易数据的查询 请求请求或者数据定制获取的请求，系统会进行数据数据爬取 并存入本地的操作，并最后返回给用户。
图6 E-R 图S E SP2错误信息
*••用户 S~04fi 定义 I PJifilH
P2S-01数据住询农单
严3交易数据 ｝；2］展収散排敦和•
S-05爬取数朋Fl 图5数据获取数据流程{ P1 、
\ P3 ]数据存储!査询处理
1处理丿2.4概念设计在收集到相关的数据信息内容以及用户对系统的需求后， 确定出主要的实体类型有：用户、交易数据、分析报告记录、爬 取数据记录、爬虫，并且确定这些实体之间的联系类型。根据实 体和联系之间的关系和属性画岀E-R 图，如图6所示。2.5界面设计在Python 、Qt 、Eric6的配合下，快速设计出界面,Qt 具有优 良的跨平台特性，其面向对象并拥有丰富的API 等优点，可以 快速开发出美观友好的界面。如图7，为程序的主界面图例，该 程序主要采用绿色为主色调，给用户一种良好的视觉体验，同爬虫处理图7程序界面示例
提升了人们生活学习的总效率，其对于时代的发展和社会的进 步有着极为重要的作用。参考文献［1］ 中国大数据.6个用好大数据的秘诀［J ］.中国大数据产业观察，
2016(2).
［2］ 维克托•迈尔-舍恩伯格.大数据时代［M ］.杭州：浙江人民出版 社,2012.［3］ 权庆乐.基于云存储的Android 智能爱车APP 设计与实现［J ］. 河南科技,2018(9).
［4］ 苏明，王海英，李忠科，陈凯.基于Django 框架的特种设备使用 过程监管软件的设计和实现卩］.阜阳职业技术学院学报,2018(2).［5］ 雷英栋.基于SQLite 的实时动力学仿真平台模型数据库开发 卩］.科技视界,2018.时更有便捷、人性化的操作体验。
3结论
总而言之，随着社会科学和互联网大数据时代的趋势，计算 机软件在数据收集、数据分析、数据存储以及数据管理和应用 等方面取得了巨大的发展成就，大数据环境下计算机软件
有效
建管处
