华为云鲲鹏云容器，见证BigData Pro蝶变之旅

大数据之路是随着人类科技进步而诞生的，在不到20年的时间里，它已经渗透到社会生产和人们生活的方方面面。然而，随着信息量的指数级增长，大数据也开始面临存储资源的快速增长、计算能力的紧张、数据处理效率不能满足业务增长需求等一系列问题，其结果是，衰退的声音相继出现。近年来兴起的容器技术，凭借其轻量化、易迁移、扩展快等优势，结合计算存储分离的分布式架构，使大数据平台在大数据集、高并发性、实时分析等应用场景中更好地发挥优势。进入互联网、汽车、保险、电力、零售等行业，利用大量信息分析用户的特点和行为模式，制定更贴近用户的服务方案、业务战略，并准确推送。目前，大部分数据分析都是在Hadoop生态中进行的，Hadoop也以其完善的生态，受到用户的欢迎，成为主流的开源大数据平台，也成为大数据的代名词。但是，从2006年Hadoop第一个版本的发布算起，大数据的发展也至少经历了13年的历程，原本引以为豪的“计算存储融合”架构和先进数据分析的概念和实践也开始受到挑战。

1、计算存储资源耦合，无法灵活调整存储分配，只能按固定比例扩展，导致部分资源浪费;2、数据中心建设成本高，后期运维成本高，性价比和灵活性均不如公共云方案;3、互联网、数据爆炸式增长，现有数据中心不足，容易导致效率下降;4、大数据不能与其他业务资源池共享，需要对多组进行隔离维护，进一步增加了维护成本。另外，AI，自然NLP等概念赋予大数据，“大数据死了”的声音不断。茧的赚钱方法

随着5G+云+AI时代的到来，数据变得越来越多，越来越复杂，越来越精细，大数据不仅没有死，而且对企业来说比以往任何时候都更重要。我们需要解决的问题是如何使用更高效、更实用的解决方案来处理爆炸式增长的数据。围绕这一挑战，各大公司也在进行新的技术探索和升级。首先，基础网络发展迅速，网络传输不再是瓶颈，很多企业开始在存储和计算分离方面尝试大数据，效果如何？IDC中国报告指出：“计算和存储脱钩已被证明在大数据部署中非常有用，因为它提供了更高的资源利用率、更高的灵活性和更低的成本。同时，随着集装箱技术的成熟以及在各行业的深入应用，部分企业也开始着手平台的集装箱化改造，希望结合集装箱的优势，为大数据平台注入新的力量。两个人组合在一起，我们似乎在看大数据变化的黎明。化蝶之旅

[第1003号]

目前，存储计算分离的方案比较成熟，集装箱化方案还处于探索和小规模应用阶段，以Spark为例，方案大致可分为两类，一种是Spark Standalone，该方案对大数据系统进行集装箱化配置改造，实现集装箱轻量化、更精细粒度的计算能力管理、受益于任务隔离等特点。主机可以分为更小的粒子任务单元，提高主机资源的利用率，同时考虑用户本来的使用习惯。但是，该方案需要事先分配固定的集装箱数量，并维持集装箱的持续运行，无法动态管理集装箱，提高了资源利用率，但仍存在浪费。另一个是Kubernetes集群方案，该方案使用Kubernetes代替Yarn进行统一的资源调度和调度，在技术上更接近主流的集装箱解决方案方案，无需双层调度，可以进一步提高资源管理效率，与Oracle alone方案相比，实现容器资源的动态管理优化资源分配。然而，Kubernetes并不是Hadoop生态系统的一部分，与传统的Spark on YARN方法相比，Kubernetes有一些缺点，如任务队列，缺乏外部shuffle服务等功能，性能较差。因此，在应用于生产系统时，为了与传统的大数据平台一致，需要进行大量的功能强化、调度、性能优化。针对客户容器化过程中的问题，华为云计划推出大数据容器解决方案，将大数据容器解决方案与BigData Pro相结合，提供更完整的容器化大数据解决方案。BigData Pro是业界首个大数据解决方案，该方案采用基于公共云的存储计算分离架构，以无限弹性扩展的存储计算能力为计算资源，以支持本机多协议的OBS对象存储服务为统一的存储数据湖，“存储计算分离，极端弹性，“极端效率”提供全新的公共云大数据解决方案，大大提高大数据集群的资源利用率，有效应对目前大数据行业存在的瓶颈。帮助企业应对5G+云+智能时代的新挑战，实现企业智能化转型升级。未来，在2019全互联大会上，华为云将正式发布针对大数据业务场景的大数据容器解决方案，可以优化和提升功能、调度和性能，为用户提供更加原生的大数据服务体验。华为Cloud Kunpeng大数据容器与行业主流大数据平台相比有哪些优势？华为Cloud Kunpeng大数据容器使用的黑技术是什么？9月18日华为全连结大会，让我们一起来看看!