简介:适合不知如何写数据平台方面的相关专业大学硕士和本科毕业论文以及关于数据平台论文开题报告范文和相关职称论文写作参考文献资料下载。
大数据个相对概念,并不是全新的东西.“就像福特当年通过量产将汽车大众化一样,Teradata 想做到的是怎么把现在炙手可热的大数据从谷歌、雅虎、阿里这些技术性公司带出来,让它更易用,将数据的价值更大化、更普遍地利用.”近日,Teradata 天睿公司大中华区Aster 事业部总监孔宇华在到中国计算机报社就大数据做交流时如此表述.
在孔宇华看来,现如今的“大”数据与过去有一样的地方,也有不一样的地方.“一样的是,大数据并没有清晰的界定,它的范围会随着技术进步不断变化：历史上的某些大数据今天已经不再是大数据了,比如通话话单、交易流水等,而现在我们所认为的某些大数据在未来看可能都只是小菜一碟.不一样的是,大部分企业要分析的数据已经不能在一个服务器上存储,而竞争的压力迫使他们要开始在大数据平台之上分析这些数据.”
“不一样的是数据来源更多了,如传感器、社交网络等,数据种类（非结构化数据）也更多了；但一样的是,几乎没有方法可以直接分析非结构化的数据,都是得通过特定的提炼处理方法,将数据转换为结构化数据来分析.无论是图像的识别与比较还是自然语言的处理,前者是通过指定位置像素信息的采集将图形转换为结构化的数据,进而进行比较分析,后者是利用语料库生成词汇组合,统计不同词汇组合在文本中的出现频率与位置,将大段文本转换为可分析的结构化数据,它们都是一样的,都需要将非结构化、半结构化数据转换为结构化数据才能进行分析.”
“我以前也分析过文字文本,做过统计,用过SAS,只不过我没把它叫大数据而已.不一样的是,以前只是做文字文本或者统计分析,而在大数据时代,我们需要混搭分析方法,做时间序列分析、地理分析、时空分析、社交网络分析、日志分析、事件分析等.混搭分析方法可以从数据里提炼出更多的价值.但即便是这样,其实Google、Amazon、Yahoo 等在多年前就开始做大数据了,只不过我们现在要做的是将大数据大众化、普世化、易用化,让它发挥更大的价值.”
统一数据架构高效灵活分析企业用户虽然过去也在做大量的数据分析,但分析人员大多是用SQL语言实现.SQL是一种高层级语言,易用,写一次可以重复使用.当我们有新的分析需求时,SQL 不一定是最好的分析工具,于是,MapReduce 进入人们视野.MapReduce 有较好的编程模式,编程灵活,扩展性强,可支撑实现真正大容量数据的处理.但MapReduce要求操作人有很好的编程背景,需要编程人员写源代码,很难做到重复利用代码,且像连接、分组、排序等SQL具有的一些算法,用MapReduce实现很慢.
“我们研发了SQL-MapReduce专利技术,将两个框架结合在一起,实现一个可以重复使用、易用、灵活的,也可以处理大量数据的分析工具.SQL-MapReduce是一个并行的平台,可以处理大容量的数据.”孔宇华介绍,2011年Teradata收购Aster时,他正负责Aster的咨询团队、客户服务团队和培训团队.孔宇华介绍,TeradataAster 大数据综合分析平台整合了Aster 和ApacheHadoop,嵌入SQL-MapReduce 专利技术,能对新数据源和多结构数据类型进行更深入的分析处理,借助Teradata Aster 统一数据架构及SQL-H等高速连接器带来高可扩展性的分析能力.它预先封装了多项开启即用的分析功能,能够快速实现数字营销优化、社交网络分析、欺诈侦测等.
大数据平台:2015中国数据库技术大会 专访微软数据平台解决方案顾问王琦
究竟如何打通SQL 与MapReduce?孔华宇如此总结：“Teradata 并行数据库注重在操作系统和数据库上的研发和优化,而Aster 不仅仅支持并行平台上的数据库,更支持包括MapReduce 引擎、文件文本分析引擎在内的其他引擎的综合应用.我们在统一数据架构下,通过与开源厂商Hortonwoks 合作,通过SQL-H等高速连接器,Aster 对外界面可以用SQL 交流,对内可做灵活分析.用SQL 的时候,是运行在数据库里,而需要用到MapReduce 的时候,我们会把数据引导到同一台服务器的MapReduce 引擎里面去运行,然后再把输出的数据返回数据库,不需要把数据在不同平台和服务器间搬移,等于给分析人员提供了一个瑞士论文范文,他们可以用最合适的工具来完成他们的工作.”
孔宇华还强调,上不上大数据要从用户的实际情况和具体需求入手,从技术平台、流程制度、人员技能三个方面保障获取数据价值,要选择成熟的大数据平台,且要和数据仓库有高性能连接,易于让不同人员应用,找到并了解国内外不同行业的大数据应用,灵活借鉴案例和经验,结合大数据需求的敏捷项目管理方法,根据业务需求快速让技术人员利用平台去提升数据的价值.最终目的就是让大数据这个“旧时王谢堂前燕,飞入寻常百姓家”.孔宇华感慨地说.
总结：该文是关于数据平台论文范文，为你的论文写作提供相关论文资料参考。
大数据平台引用文献:
[1] 大数据平台论文范文 大数据平台类论文范文例文2000字
[2] 大数据平台论文范文 关于大数据平台方面论文怎么写10000字
[3] 大数据和平台运营开题报告范文 大数据和平台运营类参考文献格式范文8000字
