座人再创新高华为云FusionInsight

再创新高！华为云FusionInsight通过中国信通院2万规模集群评测

7月9日，以 数据新要素 产业新动能 为主题的大数据产业峰会线上直播正式开启。

会上，中国信息通讯研究院为通过大数据产品能力评测的产品颁发证书，华为云FusionInsight MRS超与《战略性新兴产业重点产品和服务指点目录》2013版相比大规模单集群以测试项全部满分的成绩顺利通过评估，并成功突破单集群2万节点的超大规模，树立行业新标杆。

中国信通院大数据产品评测是国内最权威的大数据评测体系，评测范围涵盖大数据产品的基础能力与性能专项，历经六年的蓬勃发展，大数据产品认证已经成为政企客户选购选型过程中的重要参考，是业界衡量大数据产品质量和能力的重要标准。

华为云FusionInsight MRS大数据为K.安全装置:过载紧急停机装置、上下行程限定装置、漏电自动断电系统、自动断点停机功能政企客户提供一站式企业级大数据平台，满足客户对全栈大数据平台高性能、低成本、灵活易用的诉求，助力企业快速构建海量数据信息处理系统。

在本次评估测试中，华为云Fusion适合的软包装形状Insight MRS一次性通过了27个必选用例，此外，在集群无宕机升级、双集群互备、运维监控模块失效及恢复、跨数据库关联操作、水平搜索能力等六个可选用例中也实现了一次性通过，100%的通过率使得FusionInsight MRS在本次评估测试中交出了一份完美的答卷。

丰硕的成果离不开辛勤的劳作，在整个研发过据了解程中，华为云FusionInsight MRS超大规模单集群的实践也遇到了诸多挑战，华为云大数据研发团队凭借雄厚的研发实力和丰富的探索实践经验，通过以下七个方面实现了业界首个单集群突破2万+规模，具体如下：

01运维管理架构改造

将原来的集约主从模式调整成了可弹性伸缩的分布式模式，提升了主备模式的监控、告警、配置、元数据存储模块的性能，成功解决了运维管理面临的难题。

02Superior超级调度器

自研调度引擎，支持35w/s个Container的调度速率，资源利用率达到98%以上，超出开源Capacity的能力近一倍。

03文件对象管理优化

利用合并单次读写流程中的交互次数、使用改良的数据通信压缩算法、DataMovementTool等技术方案，在确保文件对象管理性能的同时，自动均衡不同命名空间之间的数据，大大降低了集群维护成本。

04多租户的资源隔离能力

支持标签存储、多服务、多实例、DN分组等方式进行细粒度隔离，提升多租户的资源隔离能力。

05元数据优化

支持分布式缓存Redis方案，结合分布式锁、缓存黑白名单机制、缓存生命周期管理等技术手段突破了Hive服务的元数据读写性能瓶颈，使得元数据能够在大规模的单集群上规模商用。

06跨AZ的络带宽消减

存储上提供感知AZ的文件存储策略，计算上提供感知AZ的任务调度机制，优先在同AZ下进行存储与计算，减少跨AZ的络带宽消耗。

07可靠性增强

支持多种机制保障任务的可靠运行，如Hive不中断业务的能力可确保发生异常时任务不中断；Application Master的断点续传能力可记录任务状态，待AM恢复后继续执行。

得益于以上七个方面的大数据技术增强与优化，华为云FusionInsight MRS顺利通过信通院分布式批处理平台基础能力测试，节点规模达21000，成为业界首个单集群突破2万节点的商用大数据产品。

华为云FusionInsight已是60+国家，3000+客户的共同选择，广泛布局于政府、金融、安平、大企业、互联等领域。FusionInsight联合800+合作伙伴，践行 平台+生态 战略，释放政企数据价值，让数据 慧 说话，使企业更智能。