华为云OBS对象存储服务完成开源社区同行评审并正式加入Apache Hadoop社区

近日，华为云的OBS对象存储服务OBSA-HDFS组件代码已完成开源社区同行评审，并已正式纳入ApacheHadoop社区，标志着华为对华为云存储与计算分离大数据解决方案的正式认可。客户可以获得最新的OBSA-HDFS组件版本可快速完成HUAWEI CLOUD中大数据平台的部署和使用。
OBSA-HDFS组件的全名为HuaweiCloudOBSAdapterforHadoopSupport。客户可以使用OBSA-HDFS在华为云上快速部署Hadoop大数据平台，将存储和计算分开，并可以在不修改代码的情况下完成Spark，MapReduce，Hive，HBase等组件以及华为Cloud OBS对象。
对接存储服务并获得高性能HDFS存储。当然，除了客户端组件，服务器端华为云OBS的DataMulti-Protocol功能还为实现存储与计算的分离提供了技术保障。
传统的对象存储服务不支持本机文件协议。结果，大数据场景中的重命名需要通过复制和删除操作的组合来完成，并且文件目录无法修改。
复制操作会消耗宝贵的IO资源，并且非常耗时。扩展名更高。
华为云OBS的DataMulti-Protocol支持POSIX文件语义。通过元数据结构和操作的双重优化，可以快速完成文件重命名。
经过测试，在大数据场景下，对100MB文件进行重命名操作，华为云OBS的性能比传统对象存储提高了10倍以上。华为云BigDataPro的存储计算分离大数据解决方案依托性能提升的数量级，使用OBS代替Hadoop的本地HDFS存储，完全解耦计算资源和存储资源，独立扩展容量，并增加了大数据分析的成本效益平均超过35％。
。它还可以在云上构建统一的数据湖，以消除数据孤岛，减少数据共享的难度，减少数据冗余并提高数据使用效率。
目前，华为Cloud BigDataPro解决方案已服务于斗鱼，美图，魔古界，火拉拉和长虹等行业的知名客户。将来，我们将继续努力提高公共云场景下Hadoop的效率。
Hadoop是Apache Foundation的顶级项目，并且是业界领先且使用最广泛的分布式系统框架。用户可以轻松地开发和运行可在Hadoop上处理大量数据的应用程序。
HDFS是由Hadoop实现的分布式文件系统（HadoopDistributedFileSystem），可为海量数据提供高吞吐量，高可伸缩性，高可靠性和高容错性存储。自2006年成立以来，Hadoop改变了企业的数据存储，处理和分析过程，形成了极为丰富的技术生态系统。