NVIDIA宣布与开源社区合作，将端到端GPU加速引入Apache Spark 3.0。 Apache Spark 3.0是用于大数据处理的分析引擎，目前全球有500,000多名数据科学家在使用它。根据计划，随着春季3.0以后的Spark版本的发布，数据科学家和机器学习工程师将能够首次将革命性的GPU加速应用于通常使用的ETL（提取，转换和加载）数据处理工作负载SQL数据库操作。此外，AI模型训练将能够在相同的Spark集群上进行处理，而不必在单独的基础架构上将工作负载作为单独的流程运行。这样，可以在整个数据科学处理流程上执行高性能数据分析，并且可以加速从数据湖到模型训练的数据，涉及数十甚至数千TB的数据，而无需适用于本地和云Spark应用程序。该程序的现有代码已被修改。 NVIDIA企业计算部门主管Manuvir Das表示：“数据分析是当今企业和研究人员面临的最大高性能计算挑战。” “从ETL到训练再到推理，整个Spark 3.0解决方案的本地GPU加速最终为用户提供将大数据潜力与AI性能联系起来所需的性能和规模。”基于与NVIDIA的战略AI合作关系，Adobe是最早在Databricks上运行Spark 3.0预览版的公司之一。 Adobe已在Adobe Experience Cloud中使用GPU加速的数据分析技术进行产品开发，并提供了对推进数字业务流程的各种功能的支持。并且在初步测试中，它使性能提高了7倍，并节省了90％的成本。 Spark 3.0的改进性能使科学家可以训练具有更大数据集的模型，并增加重复训练模型的频率，从而提高模型的准确性。现在，数据科学家每天可以处理TB级的新数据，这对于需要为在线推荐系统提供支持或分析新研究数据的数据科学家而言至关重要。另外，更快的处理速度减少了交付结果所需的硬件资源，从而节省了大量成本。 Adobe Machine Learning高级总监William Yan表示：“与在CPU上运行Spark相比，NVIDIA的Spark 3.0加速性能大大提高。随着GPU性能的快速提高，它也将在我们的全套Adobe Experience Cloud应用程序中使用。 AI功能的增强带来了新的可能性。” NVIDIA正在为Apache Spark贡献一种新的开源RAPIDS加速器，以帮助数据科学家改善其数据处理的端到端性能。加速器可以传递以前需要在CPU上运行才能在GPU上运行以利用GPU性能的功能：在不更改任何代码的情况下显着提高Spark SQL和DataFrame的运行性能，从而加速了Spark中的ETL数据过程。如果没有独立的机器学习和深度学习集群，则可以在同一基础架构上加速数据准备和模型训练。加快Spark分布式集群中节点之间的数据传输性能。这些资源库使用UCF Consortium的开源UCX（统一通信X）框架，并通过在GPU内存之间直接移动数据来最大程度地减少延迟。 Spark 3.0预览版的下载地址：https://spark.apache.org/downloads.html