大数据出现的原因：大多数技术突破来自实际产品需求。大数据最初是在Google的搜索引擎中诞生的。随着web2.0时代的发展，Internet上的数据量猛增。为了满足信息搜索的需求，已经提出了对大规模数据存储的非常强烈的需求。基于成本考虑，改进硬件以解决对大量数据的搜索变得越来越不切实际，因此Google提出了一种基于软件的可靠文件存储系统GFS，该系统使用普通PC并行支持大规模存储。所存储的数据价值较低。只有处理数据，才能满足实际的应用需求。因此，谷歌创建了MapReduce计算模型，该模型可以利用集群的功能将复杂的计算分解到每台计算机上。在普通PC上，计算完成后，可以通过汇总获得最终的计算结果，从而可以通过直接增加计算机数量来获得更好的计算能力。使用GFS和MapReduce，文件存储和计算已解决，并且此时出现了新问题。 GFS的随机读写能力很差，Google需要一个数据库来存储格式化的数据。当涉及到Google时，独立数据库可以解决的问题是悲剧，因此Google开发了另一组工件。 BigTable系统使用GFS文件存储系统以及分布式锁管理系统Chubby来设计诸如BigTable之类的列式数据库系统。 Google完成上述系统后，便将其想法发表为论文。基于这些论文，出现了用JAVA编写的类似GFS的开源项目Hadoop。 hadoop的发起者最初是yahoo，该项目成为Apche的顶级项目。大数据解决方案：Google的系统是封闭源，因此开放源Hadoop广泛传播。 ＆amp; nbsp;类似于Google的系统，Hadoop的核心存储层称为HDFS，其全名是Hadoop文件存储系统。有了存储系统，还有一个分析系统，因此有MapReduce的开源版本，类似于BigTable With Hbase。开源之后，越来越多的人使用整个系统，因此每个人似乎都想要各种功能。 Facebook上的人认为mapreduce程序太难编写了，于是他们开发了Hive。 Hive是一组可以将SQL语句转换为Mapreduce的工具。使用这套工具，只要您了解SQL，就可以在Hadoop上编写mapreduce程序来分析数据。向上。顺便说一句，提到胖，我们有开源的ZooKeeper作为分布式锁定服务的提供者。由于Hadoop最初旨在运行文件，因此批量处理数据没有问题。突然有一天，每个人都想要一个实时查询服务。拥有如此大的数据，mapreduce必须不包含实时查询。因为它真的很慢。 2008年，一家名为Cloudera的公司出现了。他们的目标是成为Hadoop行业的红帽，并打包各种外围系统以形成完整的生态系统。后来，他们开发了impala，其速度比mapreduce快。实时分析的效率提高了数十倍。后来，Hadoop的创始人Doug CutTIng也加入了cloudera。这时，各科学院也开始努力。加州大学伯克利分校开发了Spark来进行实时查询处理。起初，Spark的语法很奇怪，然后Shark项目慢慢出现，逐渐使Spark接近SQL语法。未来发展趋势：时代的发展决定了未来几乎将成为数据时代。在这样的时代，对大数据的需求越来越大。放弃过去的样本调查，并用完整的统计分析代替它们。从一些原本毫无意义的数据中挖掘价值。目前，大数据已逐渐开始为我们的生活，搜索，科学和用户分析服务。 。 。为了进一步提供大数据分析功能，内存计算的概念在未来将持续很长时间。通过内存计算，可以舍弃磁盘IO对性能的上限影响，并将计算结果实时呈现给我们。大数据量巨大，格式多样化。家庭，制造工厂和办公室中的各种设备，互联网交易交易，社交网络活动，自动传感器，移动设备和科学研究仪器都会生成大量数据。它的爆炸性增长已经超过了传统IT基础架构的处理能力，并给企业和社会带来了严重的数据管理问题。因此，必须开发一种新的数据架构来发展我们