英特尔Hadoop大数据平台助力突破智能交通系统技术难关

      演讲人介绍

    演讲人:陈新江先生
    职位:英特尔大数据解决方案部门 高级工程师
    简介:陈新江在2008年获得北京大学软件与微电子学院硕士学位,同年加入英特尔,经历过多个产品和解决方案的开发管理岗位,包括XML编译器、安全领域、SOA身份认证、Hadoop等,目前致力于构建智慧城市以及智...

      演讲内容简介

    智能交通是一个基于现代电子信息技术面向交通运输的服务系统。它将城市道路卡口的摄像头、传感器所采集的数据归纳起来,统一汇总到数据中心,为管理者提供实时查询、分析和统计的功能。 智能交通系统所产生...

    公司介绍

      本期获奖名单

获得由Intel及网界网提供的乐视盒子一个
188****9669 董先生 贵州省贵阳市
186****0976 张先生 山东省青岛市

获得由Intel及网界网提供的罗技无线鼠标一个
130****0209 李先生 四川省成都市
137****5885 洪先生 北京市宣武区
138****9096 李先生 四川省绵阳市
156****6605 黄先生 广东省广州市
136****0152 马先生 北京市海淀区
130****2370 汤先生 辽宁省沈阳市
139****3416 张先生 山东省青岛市
136****1391 梁先生 北京市朝阳区

获得由Intel及网界网提供的东芝8G U盘一个
136****0721 邵先生 北京市东城区
133****8560 王女士 北京市西城区
159****2111 赵先生 辽宁省沈阳市
139****3730 赵先生 北京市海淀区
151****2100 师先生 北京市海淀区
135****9526 郑先生 山东省东阿县
133****9915 夏先生 山东省烟台市
139****5343 林先生 广州市科学城
138****1485 陈先生 浙江省杭州市
186****0262 王先生 黑龙江省大庆油田

关注"@数据中心 百家讲坛"微博 ,掌握最新动态  
      精彩问答集锦

问:ll0012intel的hadoop收费方式是怎样的

问:emoyang貌似是按节点收费
答:嘉宾2 对的。 呵呵

问:sunlei3721报道

问:xinxin7489intel的大数据解决方案相比其他厂家的同类方案有什么特色和优势?
答:嘉宾2 技术优势请参考视频。 实际部署的经验和本地大团队支持是另外的优势。

问:tyxzjnb签到

问:erliinter的方案都用到哪些行业?

问:mengfei888hadoop 是软件级别对大数的分布式管理, 对于大数据,未来的数据中心, 是不是也得配合一些硬件的架构,比如备份软件,带库什么的。

问:buptdavid来晚了点,大家好

问:hxy_665大家好,刚到。

问:emoyang声音很大

问:寻星除了影像识别,还有什么识别技术?

问:emoyang看看自己电脑的音量设置,和画面下的音量设置

问:ll0012这个影像的查询分析怎么实现的,是需要半结构化还是直接图像分析

问:克强智慧交通用到了哪些先进技术?

问:handsome来学习了

问:liuzeshan英特尔Hadoop还有哪些领域的应用?
答:嘉宾2 电信,金融, 交通, 医疗卫生

问:haobo大家好

问:handsome智能交通需要大数据

问:质量管理部英特尔的智能交通软件能否和现有计算机办公软件兼容?

问:liuruixue智慧交通落地会否沦为罚款工具?

问:lvwenxiu大数据是否能对未来事件有预判作用?

问:jinjingsm数据样本在获取、存储、传输、分析阶段,哪个阶段最重要?

问:JFLICN英特尔Hadoop的商用管理平台如何支撑二次开发?关于代码知识产权方面有什么规定?
答:嘉宾2 请联系idh@intel。com详谈。 intel hadoop是个完整的产品。 需要了解二次开发的程度详情。

问:克强处理非结构化数据的难点有哪些?

问:质量管理部英特尔软件和现有计算机办公软件无条件兼容吗?

问:wq_wu请教:我们公司做一个全国物流系统,要结合GIS和视频,你们的系统能够给予支持吗?谢谢!
答:嘉宾1 物流和交通需求比较类似,我想应该没有问题,请联系idh@intel。com详谈。 看上去是个可能。

问:yxdongzhiwen怎么就减少资源占用了呢

问:sdhuanglei怎样保护数据隐私安全?
答:嘉宾2 IDH 基于角色的权限设置, Kerberos和用户的完善的操作流程规范可以保障。

问:htjxzxb数据产生有两种,一种是结构化数据,另外是非结构化数据。大数据介入其中,它对于数据处理过程和结果和以前会有什么样的不同?

问:jianghaotianfkd英特尔与集成商合作模式是什么?
答:嘉宾2 英特尔以部件供应商的角色来支持集成商。英特尔提供hadoop这领域, 集成商做应用。

问:jflizhonghang英特尔与集成商合作中谁占主导地位?
答:嘉宾2 Intel 是hadoop基础架构提供商。集成商完成整个项目。 intel inside了。

问:haobohadoop是云操作系统吗
答:嘉宾3 不是

问:mxhzmh如何兼顾大数据的安全性?还有灾备系统如何?

问:liuzeshan目前有哪些城市应用了英特尔的相关技术建设智能交通?
答:嘉宾2 浙江省, 山东省和安徽省比较多一些。

问:emoyang请问:非Intel的hadoop是不是都没有lob这种利用方式?
答:嘉宾1 是的,LOB目前是IDH独有的特性,非常适合智能交通影像存储,对。 是intelhadoop独有的。

问:shangguangwei英特尔Hadoop能解决的问题是什么?

问:zhangzhichao大数据能否预知公共安全事件?
答:嘉宾2 这是一个典型用例。 现在有实际的方案了。

问:yxdongzhiwenLOB store为何能存储这么多数据呢?
答:嘉宾1 LOB可以offload hbase的存储负担,可以大幅提高hbase存储大图片的性能,这是INTEL

问:qinyuanheHadoop是不是必须在英特尔硬件平台上才能使用?
答:嘉宾2 志强(R) 的平台最好。推荐在INTEL平台之上

问:hxy_665英特尔公司是否可以为一些特定行业需求的提供优化的大数据解决方案?

问:wdgdt请问非结构化数据分析有哪些功能,企业如何使用,又能带来哪些价值?
答:嘉宾1 非结构的数据分析依赖于具体的算法, IDH提供了一个高性能的平台和一系列的工具存储和查询非结构化数据

问:yxdongzhiwen其兼容性的话,有专门的案例证明么?
答:嘉宾2 Hadoop没有太多兼容性问题。 目前的问题是应用程序。

问:步云采风大数据的解决方案是否可以找到能实施落地的合作伙伴?
答:嘉宾2 我们有大量合作伙伴 请联系idh@intel。com来详谈。谢谢

问:caiweichina智慧交通中应用的先进技术如何运用的其他的行业中,如制造业等?
答:嘉宾2 制造业, 比如设备维修,客户舆情分析等。

问:emoyang请问:刚才讲到HBase本身其实不适合非结构化的数据存储,是这样的吗?那没有LOB之前,非结构化数据有相应的解决方案吗?
答:嘉宾1 之前也有一些相应的手段绕过这个问题,但是通过lob这种手段能够和hbase无缝集成,是目前的最优方案

问:yxdongzhiwen200%随机读性能如何理解?

问:dezys现在企业面临多个信息系统的集成,系统之间的集成交互越来越复杂,频繁,如何快速识别系统故障与瓶颈?

问:szyouer英特尔在智能交通的系统整体的解决方案有哪几方面?

问:JFLICN目前的解决方案只适合X86架构平台吗
答:嘉宾1 目前主要针对X86平台优化

问:yxdongzhiwen请问有啥具体方案案例不,可以下载看看就好了
答:嘉宾2 www。intel。cn/idh ,也可以电邮去idh@intel。com来要。 谢谢

问:步云采风最近有一些机会,希望找到有数据融合及平台集成能力的合作伙伴
答:嘉宾1 具体情况欢迎和我们联系,请邮件去idh@intel。com详谈。

问:xinxin7489如果企业需要管理结构化数据和非结构化数据,是否需要对企业现有的IT系统进行特别多的改造?

问:liuruixue请问大数据耗时多久才能看到效果?

问:emoyangJFLICN:这个方案就是在x86架构的,这样可以降低征地成本

问:lvwenxiu大数据对企业产生会样的价值? 企业应该怎么做去实现这样有用的价值?
答:嘉宾2 通过 数据存储,数据分析,数据挖掘, 提升业务收入,提高效率,降低成本,强化竞争力。

问:jinjingsm请问在企业内部大数据与外部大数据是如何能有效整合而成为企业新的核心竞争力?

问:yxdongzhiwen能实现数据深度融合么?

问:wdgdt大数据、云计算和商业智能这三者的关系到底如何,以后的发展前景有什么看法?

问:haobo交通系统中,海量大数据的存储如何得到支持

问:lizwang1988银行的互联网银行业务有应用吗?
答:嘉宾2 非常典型的应用, 通过对用户行为分析, 进行客户分类, 精细营销

问:qinyuanhe如何准确又通俗易懂地解释大数据及其应用价值?

问:yu。shao听课前 也不作些预习,总有人问 小白问题

问:szyouer今后智能交通的发展端到端以后就会不会由原来单一的系统慢慢慢慢的过度到一个云架构为基础的系统?

问:吉格斯Hbase是否提供SQL支持?
答:嘉宾2 目前的版本支持到SQL 92。未来会更多。

问:zhangzhichao如何挖掘到可以依据或参考其信息,来改变公司运营和产品方向的大数据?
答:嘉宾2 利用数据挖掘, 获得市场的隐含的逻辑。公司通过客户分类,精准营销,市场预测来获利。

问:elvishehai是讲应用型的?

问:wanchunIntel用Hadoop做大数据处理,是因为开源成本低吗?其他优势在哪里?
答:嘉宾2 是因为intel认为大数据的未来是hadoop。 开源的架构,开放的架构,对用户更有利。

问:tongziqian这是大数据库的概念,离智能交通实际需求还很远,更别提系统了,希望能有实际案例举证。
答:嘉宾2 在中国有不少实际的部署。 请看www。intel。cn/idh

问:yxdongzhiwen是否需要自己解决和修补开源版本中存在的BUG?
答:嘉宾1 不需要,我们发布的版本已经包含了大量的工作

问:jflizhonghang大数据和数据挖掘的关系是什么?
答:嘉宾2 大数据技术让数据挖掘的数据源从有限采用提升到近全部数据。结果更可信。

问:elvishehai有课节下载不

问:hxy_665请问基于英特尔Hadoop发行版,在原有的开源版本基础上进行那些特殊强化?

问:ll0012这个实时统计分析全部把数据传到数据中心作还是多个中心分布处理的。
答:嘉宾1 多中心分布式处理

问:wq_wu请问:能否对卡口拥堵情况和优化路径分析相结合进行动态导航?
答:嘉宾2 技术上完全可以。

问:xinxin7489您好,众所周知对于Hadoop的应用存在不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件等不足,请问该如何去解决这些问题,构架良好的方案?谢谢!
答:嘉宾1 hbase就是解决这个问题的最佳方案

问:老喇叭花英特尔在智能交通系统哪些模块组成,有无成功案例?

问:ll0012hiveql与sql差别大不大

问:yxdongzhiwenjoin为何仍要采用mapreduce传统执行路径呢?

问:liuruixue目前国内的Hadoop发展情况与国外情况相比如何?

问:haobo在hadoop,进行二次开发时,使用JAVA 还 C++

问:lvwenxiu如何更有利的hadoop用于实际来驱动线上业务的发展?

问:jinjingsm现在hadoop怎么解决master的单点故障的?有没有架构的方法解决这个问题?
答:嘉宾3 IDH有自己的HA机制,是专门用于应对Master单点问题的,IDH有自己的HA方案,没有单点故障

问:wq_wu对于卫星云图的影像的切片对接能否实现机器学习算法,进而自动对接?

问:jflizhonghang学习Hadoop,除了搭建环境,还需要做哪些准备工作呢?

问:handsomeintel的hadoop大数据平台目前在国内有智能交通系统的实际案例吗?
答:嘉宾1 已经有很多了,目前和一些合作伙伴部署了不少智能交通系统,客户反应很好,具体可以和我们联系

问:jianghaotianfkd以往 Hadoop 似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。 我想问下,对于把Hadoop作为廉价的存储工具真的合适吗?是不是因为开源、代码成熟、稳定而说明它是廉价的?对于视频类网站来说,他们存储模型是如何设计的?
答:嘉宾1 hadoop的特点就是通过大量通用节点达到传统高成本硬件能达到的性能和可靠性,不仅适合于存储,也是适合布式计算

问:黄锦锋问一下,hadoop这个平台是要和监控系统对接的吧?
答:嘉宾1 IDH自己已经集成了专业的监控系统,并且有API可以集成到第三方系统

问:chai_shasha英特尔Hadoop解决方案目前在国内的哪些行业有实际应用案例?具体的业务场景是什么?

问:yxdongzhiwen其GFS技术在哪里体现了

问:htjxzxb对于基于Hadoop的应用开发,相较与传统oop,在分析和设计上有哪些异同点和需要注意的地方?也就是设计的角度可以从哪些方面入手?
答:嘉宾1 主要是需要考虑大数据平台和传统数据库的不同,大数据平台更多考虑NOSQL的接口开发,和传统数据库的SQL接口不同

问:yu。shao对于存储起来的大量图片的 识别分析 intel有什么好的技术建议么?用什么模式效率会比较高?

问:小话梅听说在电信运营商有应用,能说一下应用的状况么?三大运营商都有应用吗?

问:夏艳目前在国内最大的分布式部署规模是怎样的?

问:handsome公司一直从事行业系统(包括智能交通),涉及很多大数据,如果要从之前的架构向hadoop平台转型,一般有哪些技术和人员上的要求?大概周期会多长?这个问题对hadoop的推广很重要啊
答:嘉宾1 目前hadoop的生态环境在迅猛发展,但肯定不像传统SQL数据库那么完善,因此开发门槛还是比较高,但是IDH一方面提供大量工具和稳定的平台帮助降低门槛,同时提供指导和参考设计帮助合作伙伴迁移已有应用到大数据平台

问:yxdongzhiwen问下该产品如何体现隐私保护策略和过滤相关信息的。

问:sdhuanglei大数据相关的技术层出不穷,日新月异,Hadoop的版本变更非常快,如何能跟得上技术的发展,感觉自己目前有些力不从心,老师有什么指导建议
答:嘉宾1 大数据技术目前处于爆发期,确实发展迅猛,很多人也和你有一样的想法,我们IDH的目标就是希望降低这个门槛,隐藏其中的复杂性,让人们不需要了解内部的机制也能开发高性能的大数据应用

问:zhangzhichao对于大数据量的关联,该采用怎样的云架构?以前是在关系数据库中采用存储过程来完成的,但由于数据量增长较快,想采用云架构来解决性能问题,如果采用hive是否合适
答:嘉宾1 可以考虑,关键是应用的移植

问:Jason Zhan怎样才能使IT 经理充分利用 Apache Hadoop软件?
答:嘉宾1 首先需要了解hadoop的主要优势和不足,看看我们的业务能否利用其中的优势,规避不足之处

问:shangguangwei您好,请问,如果想把hadoop用到一个中小企业的ERP系统中,应该如何应用比较好?
答:嘉宾1 首先看 你的数据量有多大,数据量越大越有优势,还是要从业务问题出发。

问:qinyuanhe我目前在学习hadoop过程中发现很多问题在大数据量的情况下才会暴露,比如40,50G的数据量下,但是在小数据量情况下就发现不了。那么在学习过程中该怎样选取数据量来做实验呢?我个人的机器一般只能放10-20G数据

问:szyouerHadoop走向商业化吗?
答:嘉宾2 开源是商业化共存。 类似今天的Linux。

问:yxdongzhiwenHbase功能效果如何切合应用一起实现呢?

问:wdgdt我们想用Hadoop来存储视频,并直接作为网页视频播放的源文件,可以这么做吗?有没有成熟应用的例子?
答:嘉宾1 可以,HDFS存储源视频,HBASE存储元数据和索引,可以有很好的扩展性

问:pepsijavahadoop有备用master,HA用的是heartBeat?
答:嘉宾1 IDH有自己的HA方案,包括namenode,jobtracker,hbase master等

问:aaa_superaHadoop系统监控是否提供了相应的工具?安装的易用性怎样
答:嘉宾1 IDH提供了完善的监控工具和向导式安装,intel hadoop manager非常好用。 请下载用户手册,在www。intel。cn/idh。 或者电邮去 idh@intel。com问。

问:凡不了Hadoop在中小企业应用中能做些什么?

问:质量管理部英特尔大数据软件需要什么规模硬件支撑?
答:嘉宾1 规模非常灵活,从一台节点到数千节点,完全取决于你的应用需求

问:haoboHADOOP的数据库是采用的什么,

问:质量管理部对个人终端的硬盘容量有要求吗?

问:aaa_superaHadoop系统相较其他的系统更好操作吗

问:yxdongzhiwen浏览了IBM的hadoop 感觉特点差不多,能否比较下其最大的特色?
答:嘉宾1 基于HADOOP的系统核心功能都是类似的,IDH的独有优势在于针对一些行业特殊的功能,更高的性能,以及更好的本地化服务

问:游子专业行业应用

问:pepsijavaintel对于刚才说的省级数据,是否将所有数据同步到同一个数据中心中进行数据挖掘?
答:嘉宾1 如果有这个需求,当然没有问题

问:碧海蓝天Apache刚刚发布了Hadoop 2。0版本,提出了YARN。Intel的Hadoop是否会做针对性升级?如何评价Hadoop 2。0?
答:嘉宾1 hadoop2。0是一个重要的里程碑,INTEL下一个版本就会基于hadoop2。0

问:yxdongzhiwen请问你们购买了 你们原厂提供部署么
答:嘉宾1 付费用户我们会提供原厂支持

问:hxy_665基于英特尔Hadoop发行版可以支持SQL查询指令语言Hive吗?
答:嘉宾1 当然可以,智能交通就是一个典型的基于海量数据的实时响应系统

问:szyouer英特尔Hadoop 其处理能力可以达到接近于实时吗?

问:pepsijava啊偶,貌似big table做异地数据的总索引,然后还是找到公网地址的数据地址再进行数据挖掘呀,这样会不会慢?
答:嘉宾1 呵呵,当然不会这样,数据和计算应该放在一起,这是hadoop分布式计算的基本思想

问:yxdongzhiwen对通讯平台,请问是否能通用?感觉大数据在什么行业都有应用到。
答:嘉宾1 对于电信行业,INTEL已经有很多案例,具体可以和我们咨询

问:handsome我司在成都,如何联系intel本地的技术支持和培训?

问:yxdongzhiwenCSBT架构中,该虚拟大数据表存放何处,同时读写是否会有性能影响
答:嘉宾1 存放在各数据分中心,CSBT会把读写请求实时分发到各分中心,不会对性能造成影响

问:凡不了Bigtable跨数据中心的大表,开销会分摊各数据中心吗?各数据中心的IO是否造成data拥堵?
答:嘉宾1 跨数据中心大表将IO分发到本地分中心,可以分散IO的压力,降低拥堵情况

问:质量管理部数据物理存储于多个异地数据中心,相互间联络还是要依靠网络运营商的网络,速度是否受带宽制约?数据传输的安全和质量如何保证?

问:pepsijava数据中心和分中心的数据是通过什么网络进行的传输?专线还是VPN方式,怎么样保证数据安全?

问:ll0012主数据中心只存储数据映射关系,实际分析发生在分中心,主中心负责汇总,是这样的吧

问:yxdongzhiwen该hadoop对数据库有何要求

问:pepsijavahbase比mapreduce效率高,这是intel进行了优化还是本身hbase效率就高呢?
答:嘉宾1 hbase是为实时查询设计的,本身就有优势

问:yxdongzhiwen其数据安全性是如何实现的?

问:handsome这种分布式存储是否会影响系统的实时性能?如果网络故障,是否就会出现无法查询分布数据?
答:嘉宾1 单个分中心的故障不会影响整个CSBT的运行,同时还可以分中心备份,降低风险

问:凡不了Bigtable总中心、各中心的同步,对带宽有什么要求?开销大吗?
答:嘉宾1 取决于数据量,如果需要做跨中心数据异地备份,或者跨中心复杂的MR分析,带宽要求会比较高,如果只需要分中心本地存储,带宽要求很低

问:yu。shaoIntel 有模块化的建议方案么?比如对于 单中心200T数据 推荐的硬件配置是什么?
答:嘉宾1 一个节点5-10T左右的数据,具体看应用吧,可以联系intel进一步了解

问:haobo对视频图象的格式有要求吗

问:黄锦锋这个产品实地应用的时候,还要在当地,二次开发不?
答:嘉宾1 需要针对客户的实际需求进一步定制开发

问:szyouerHadoop的出现是否使得在基于x86这种要求较低的硬件系统上运行复杂的分布式集群运算成为可能呢?
答:嘉宾1 是的

问:yxdongzhiwen中心管理平台的告警能否分发给各个支点

问:xinxin7489Hadoop能给“云计算”与“大数据”带来那些性能提升,或者说如何提升Hadoop稳定性及高效性?

问:liuruixue作为一个初学者,要想掌握Hadoop先要有那些基础,如何循序渐进学习好Hadoop?
答:嘉宾1 可以先了解hadoop基础知识,在intel网站下载IDH免费版试用,然后尝试编译运行一些example code,熟悉API的使用

问:ll0012intel对于自己发行的hadoop,服务到什么程度,也负责部署和根据客户情况优化么
答:嘉宾3 当然,也会对客户进行培训,以及二次开发的指导

问:lvwenxiu我是比较热衷云计算的人,我认为计算的性能决定了云环境的稳定性及高效性,之前对Hadoop进行了一些简单的了解,发现它在大数据方面处理较好,我想知道它是否同样能给云服务带来较大的性能提升呢?他们之间存不存在支撑作用?
答:嘉宾1 云服务架构在hadoop上面一般会比传统数据库有很大的性能提升,IDH这样的HADOOP平台很适合作为云服务的基础平台

问:szyouer完整Hadoop的技术堆栈包括哪些平台?

问:jinjingsm请问hadoop该如何入门?有没有一些案例可以看看?

问:dancelduanHadoop系统相较其他的系统更好操作吗
答:嘉宾3 IDH拥有一个自己的图形化的集群管理工具,可以方便地对集群进行配置管理

问:Jason Zhanhadoop能支持哪些数据库
答:嘉宾1 hbase

问:shangguangweihadoop2。0+版本与1。0及以下版本差距有多大,如果是全新搭建hadoop环境,用哪个版本比较适合?
答:嘉宾1 可以尝试最新版本的IDH,安装非常简单

问:zhangzhichao海量数据如何结合企业业务发展的实际,为企业提供服务,并且反馈到hadoop的建设当中去?

问:qinyuanhehadoop也需要像做web一样,自己编写代码???
答:嘉宾1 需要写代码

问:yxdongzhiwen实现快速大数据实时分析,具体是哪些功能实现的

问:wdgdthadoop任务运行时,hadoop将输入目录分割成行,传递给mappper的标准输入,mapper进而对输入进行处理。将输入目录下所有文件处理完毕时,hadoop就会使此任务完成,进而停止工作。而且输入目录好像都是任务运行之前就已经确定不会改变。 如果我想往hadoop的输入目录中不断添加文件,让hadoop不停地运行,如果输入目录的所有文件都已经处理完毕,并不完成任务,而是等待新文件的到来。该怎么办? 谢谢~
答:嘉宾1 IDH对流式处理整合了storm模块,可以实时处理刘数据

问:haobohadoop 带数据挖掘个模块吗, 具体是什么
答:嘉宾1 IDH整合了R语言支持和mahout,可以作为数据挖掘和机器学习

问:yxdongzhiwen跨数据中心部署 都是你们原厂部署吧

问:质量管理部如果有专用网络配套,这大数据还真不错。

问:sdhuanglei我想知道Hadoop的 是一个分布式系统基础架构,看了一下Hadoop的介绍,觉得有点模糊 HDFS是Google File System(GFS)的开源实现。 MapReduce是Google MapReduce的开源实现。 HBase是Google BigTable的开源实现。 不明白的地方是用Hadoop实现了分布式计算,但是开发web程序怎么与之结合,也就是用hadoop怎样开发web程序。
答:嘉宾1 hadoop封装了分布式大数据平台,架构好这个平台后,web程序使用hadoop API可以直接操作

问:handsome哪里能看到hadoop在智能交通的应用案例,国内的?

问:htjxzxb就我所了解的hadoop相关方面,hadoop并没有应用到实时交易系统,其实,我就在想,现在hadoop是处理完map后,就默认到reduce中处理,而我的想法是,处理map之后,再根据实际要求,去另一个map或reduce,这样的话,map和reduce的复用,是否会更加灵活? 我把这整个流程做这样一个比喻: map就好比现实世界中的车站,reduce就好比商店之类的,而jobtracker就是交通调度管理者。 不知道我的这个想法,是否有可行性?
答:嘉宾1 MR一般运用到离线的非实时系统,实时系统可以用hbase和流处理

问:质量管理部实时处理非常重要。

问:jianghaotianfkd 对于大数据量的关联业务(离线和在线),该分别采用怎样的云架构

问:hxy_665英特尔Hadoop发行版可以提供实时数据处理功能吗?

问:handsome谢谢陈工的精彩讲解!

问:黄锦锋有平台的系统图吗,提供一下

问:jflizhonghang使用hadoop是不是都要去读源代码? 不会JAVA的人,使用hadoop过程中遇到的问题,如何去解决呢?
答:嘉宾1 开发应用不需要研究hadoop源码,但是性能调优如果对源码熟悉会很有帮助,这方面Intel有丰富的经验可以提供单独的支持

问:mengfei888受益匪浅。虽然我做大数据虚拟化。 hadoop以后应该能用的上

问:szyouer尽管在Hadoop初期部署中具备成本的优势,但是对后期的技术维护将提出更高的要求,维护成本将是否更加高昂?

问:xinxin7489大数据来了,让我们把焦点从“小数据”时代的泥潭中投向了大数据时代。每次技术的进步,都是对原有技术的“背叛”。面对大数据的使用和开发,作为入门级的我想向专家咨询: 1。如何转变原有思维去拥抱大数据? 2。如何利用大数据技术对传统技术实现更新或替换? 3。使用大数据技术的方法有哪些? 4。对HBase入门开发人员来说,如何从原本的关系型数据库设计 转变到 Hbase数据库上?

问:hxy_665英特尔Hadoop发行版可以提供提供企业关键应用程序所需的即时大数据分析? 

问:hxy_665不错,有些收获!

问:yu。shao怎么看自己的登陆信息?

问:黄锦锋要介绍和监控系统的对接问题。我们才能从一定的高度去理解。

问:黄锦锋这个平台是什么时候推出的?