揭秘!阿里巴巴"大数据动态屏"系统

揭秘!阿里巴巴"大数据动态屏"系统
大数据文摘一直秉承分享、合作、共赢理念,愿意为大数据理念的落地贡献力量,如果你有“干货”愿意与大家分享,请给“大数据文摘”公号留言,只要对读者有益,我们愿意为您免费发表。北大CIO开源兴趣小组讨论总结:杭州之行,看阿里,华三繁华,西子的妖媚,留下了脚印,也丰满了见识,结下同学师生友谊。当然我们终归要回归的我们企业自身,哪些东西我们CIO可以借鉴,哪些东西我们可以去尝试?

宽客网,量化投资,宽客俱乐部
                                    

大数据文摘一直秉承分享、合作、共赢理念,愿意为大数据理念的落地贡献力量,如果你有“干货”愿意与大家分享,请给“大数据文摘”公号留言,只要对读者有益,我们愿意为您免费发表。

北大CIO开源兴趣小组讨论总结:杭州之行,看阿里,华三繁华,西子的妖媚,留下了脚印,也丰满了见识,结下同学师生友谊。

当然我们终归要回归的我们企业自身,哪些东西我们CIO可以借鉴,哪些东西我们可以去尝试?

其中最吸引大家眼球的应该算 "大数据屏"了吧,是否考虑在企业中也构建一个类似系统?

让我们行动行动,看看"大数据动态屏 (Dynamic Bigdata Large Screen) DBLS" 背后的BigData数据可视化技术。

如何在企业中构建阿里巴巴动态屏幕?

宽客网,量化投资,宽客俱乐部

宽客网,量化投资,宽客俱乐部

数据大屏的对外价值和对内价值:  员工激励,领导视察,友商考察。

系统架构:

宽客网,量化投资,宽客俱乐部

硬件部分:

从网络上调查得到消息: 实时数据显示的大屏幕拼接墙是由宁波GQY视讯股份有限公司提供。网站地址: http://www.gqy.com.cn/index.asp

前段软件:

阿里巴巴数据大屏使用的是基于Flex构建的动态图标,其中涉及需要相关软件定制开发工作。

技术分类:  Flash,Html5,原生代码

==基于Html5/JavaScript的工具包==

开源软件包: 百度-Echarts  http://echarts.baidu.com/doc/example.html

其他Html5补充:  http://www.highcharts.com/

==基于Flash的工具包:  flex builder ==

商业软件包:fusioncharts  http://www.fusioncharts.com/

开源软件包:open-flash-chart http://teethgrinder.co.uk/open-flash-chart/

其他补充:http://www.anychart.com/home/

后端软件: 系统基于Hadoop,Storm,Spark等后台大数据技术。

宽客网,量化投资,宽客俱乐部

技术提供商: 比如 红象公司  www.redhadoop.com   美国: Hortonworks Cloudera mapR 三家。

后端数据: 数据由alibaba后台数据系统抽样得到。获取方法 alibaba taobao api , Weibo Api 等。

其他问题

==国内外那些公司开发有开源软件,如何使用? ==

国外:

www.sf.net 最古老的开源软件聚集托管地。

www.github.com  使用社交思路构建的代码托管基地,现在最火爆。

www.apache.org 大数据开源软件多来源于此。

国内:

http://www.oschina.net/ 开源中国社区

http://code.csdn.net CSDN社区

http://code.taobao.org/ 淘宝开源

企业使用开源需要一定的开发背景,使用前最好有开发能力基础。

企业那些场合需要利用Hadoop软件,对于企业技术实力有那些要求和项目投资?

当企业遇到TB级别数据需要快速处理,深度数据挖掘和分析多需要使用Hadoop了。需要一定研发基础。项目投入主要是开发和硬件投入。可以考虑使用阿里云降低前期硬件投入。

Hadoop软件和传统数据仓库分析和挖掘的区别?

核心理念是移动数据多,还是移动计算多。具体看大家数据规模。数据规模大的(TB级别),每天大量新增的。

企业是否需要构建私有云?

不管黑猫,白猫抓到老鼠就是好猫。同样不管私有云和公用云。关键还是能解决企业核心IT问题。(成本,质量,时间,安全等)

基于企业自身业务对于 带宽,硬盘,安全【Xen,Vmware,OpenStack】,还是需要混合云,如果是互联网应用,对于硬盘资源需求不大也可以考虑公有云。学校由于,利用率,场地,教学,环境复杂,保护卡等问题。考虑建设私有云居多。

作者:童小军
数据分析, 数据挖掘