首页 > 常见问题 > 正文

大数据应用开发流程是什么

silencement
发布: 2019-06-10 11:26:05
原创
7889人浏览过

大数据应用开发流程是什么

大数据项目开发步骤:

第一步:需求:数据的输入和数据的产出;

第二步:数据量、处理效率、可靠性、可维护性、简洁性;

第三步:数据建模;

第四步:架构设计:数据怎么进来,输出怎么展示,最最重要的是处理流出数据的架构;

第五步:再次思考大数据系统和企业IT系统的交互;

第六步:最终确定选择、规范等;

第七步:基于数据建模写基础服务代码;

第八步:正式编写第一个模块;

第九步:实现其它的模块,并完成测试和调试等;

第十步:测试和验收;

大数据流程:

极限网络办公Office Automation
极限网络办公Office Automation

专为中小型企业定制的网络办公软件,富有竞争力的十大特性: 1、独创 web服务器、数据库和应用程序全部自动傻瓜安装,建立企业信息中枢 只需3分钟。 2、客户机无需安装专用软件,使用浏览器即可实现全球办公。 3、集成Internet邮件管理组件,提供web方式的远程邮件服务。 4、集成语音会议组件,节省长途话费开支。 5、集成手机短信组件,重要信息可直接发送到员工手机。 6、集成网络硬

极限网络办公Office Automation 0
查看详情 极限网络办公Office Automation

从流程角度上看,整个大数据处理可分成4个主要步骤。

第一步是数据的搜集与存储;

第二步是通过数据分析技术对数据进行探索性研究,包括无关数据的剔除,即数据清洗,与寻找数据的模式探索数据的价值所在;

第三步为在基本数据分析的基础上,选择和开发数据分析算法,对数据进行建模。从数据中提取有价值的信息,这其实是真正的阿里云大数据的学习过程。这当中会涉及很多算法和技术,比如机器学习算法等;

最后一步是对模型的部署和应用,即把研究出来的模型应用到生产环境之中。

1) 数据采集:定制开发采集程序,或使用开源框架flume

2) 数据预处理:定制开发mapreduce程序运行于hadoop集群

3) 数据仓库技术:基于hadoop之上的Hive

4) 数据导出:基于hadoop的sqoop数据导入导出工具

5) 数据可视化:定制开发web程序或使用kettle等产品

以上就是大数据应用开发流程是什么的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号