摘录


八. 最后总结:大数据平台建设总蓝图
作为咱们日常业务,最直接的需要就是一套能分析具体业务的应用系统,但这套应用系统需要很多基础技术架构和服务才能达成。为了让大家有所预期,所以我把这些必备前提储备列出来。

技术平台建设:

1、大数据基础架构:推荐Hadoop、HDFS、YARN;大数据计算框架:推荐Spark;大数据日志收集推荐Flume+Logstash+Kibana。我们需要部署依赖中间件Zookeeper。

2、大数据仓库平台建设:分布式关系型TiDB、KV式Redis、文档型MongoDB、列式Hbase

3、大数据搜索,推荐选择Lucene、ElasticSearch;大数据查询,推荐选择Presto;大数据多维分析,推荐Kylin;大数据挖掘,推荐挖掘开源算法包MashOut。

大数据整理服务:

1、主数据管理:主数据标准制定、主数据清洗与校验、主数据转换(拆分合并)、主数据复制分发、主数据访问OpenAPI。

2、ETL:数据抽取、数据清洗、数据校验、数据安全脱敏

大数据分析系统建设:

1、大数据展示平台建设

2、大数据商业应用模型建模

3、大数据应用分析系统设计与开发

大数据分析服务:

1、大数据分析解读报告

看看,大数据建设很复杂,大家一定要沉住气,一期期来做,这个周期和投入将会很大,不是设计个分析模型、开发个分析系统这么简单的。如果就是那样简单的,其实就是个披着大数据的报表系统而已。

点评

NULL

原文

点击这里查看原文

其它

本帖内容由21QA云收藏工具自动生成,欢迎使用。

系统消息 若觉得内容不错,请点击左上角的"赞"图标,以优化网站的内容呈现。 另外,请及时验证注册邮箱,否则收不到21QA发出的红包。 官方Q群:250203055

asked 29 Mar, 17:53

%E8%B7%AF%E4%BA%BA%E7%94%B2's gravatar image

路人甲
131502581596


大数据@技术栈概述

系统消息 若觉得内容不错,请点击左上角的"赞"图标,以优化网站的内容呈现。 另外,请及时验证注册邮箱,否则收不到21QA发出的红包。 官方Q群:250203055
permanent link

answered 29 Mar, 17:58

%E8%B7%AF%E4%BA%BA%E7%94%B2's gravatar image

路人甲
131502581596

Your answer
toggle preview

Follow this question

By Email:

Once you sign in you will be able to subscribe for any updates here

By RSS:

Answers

Answers and Comments

Markdown Basics

  • *italic* or _italic_
  • **bold** or __bold__
  • link: [text](http://url.com/ "title")
  • image: ![alt](/path/img.jpg "title")
  • numbered list: 1. Foo 2. Bar
  • to add a line break simply add two spaces to where you would like the new line to be.
  • basic HTML tags are also supported

Question tags:

×653
×1

question asked: 29 Mar, 17:53

question was seen: 64 times

last updated: 29 Mar, 17:58

powered by O*S*Q*A

粤ICP备14040061号-1