扫出CDH的19类安全漏洞后,这家企业终于决定换掉它
奇点云 2023-05-22

最近,一家金融行业的客户告诉奇点云后端架构师,他们在用的CDH 6 被扫出19类安全漏洞。“CDH早已停止服务支持,而到这个时候,我们才有了必须换掉它的危机感。”客户说。

 

1. 背景:为什么要替代?

CDH(Cloudera Distribution of Hadoop)是知名大数据厂商Cloudera的主打产品;HDP(Hortonworks Data Platform)则是同样杰出的厂商Hortonworks的代表产品。CDH、HDP都是为数据工程、数据仓库场景提供支持的大数据平台,帮助企业管理大数据集群,完成数据的存储及计算。

 

2019年,在Cloudera与Hortonworks合并、进行产品整合后,新Cloudera(合并后的厂牌)发布了商业版大数据平台产品CDP(Cloudera Data Platform),同期宣布当年11月后,Cloudera新发产品均不再提供社区版(免费版),必须订阅企业版方可正常使用。

 

CDH6、HDP3成为了最后的开源社区版,它可以被继续使用,只是Cloudera官方不再对其进行技术支持(包括但不限于特性升级、bug修复等),也不再有社区开发者共同贡献维护;客户也可以选择升级为CDP(付费订阅,参考价格“50个节点,50万美元/年订阅费”)。分别在2021年12月、2022年3月,Cloudera正式终止了对HDP及CDH的支持。

 

出于对价格、迁移复杂度等要素的考虑,即便在停止维护的2022年,CDH依旧是国内许多企业的选择。“去年的国际政经形势比较紧张,俄罗斯还曾多次遇到技术封锁,但总感觉我们对国产替代的需求还比较远,而且毕竟换底层,都担心伤筋动骨。”这家金融客户的IT总监回忆道,“如今扫出多个安全漏洞而没有维护,让我们觉得不得不行动了。”

 

经分析,这家金融客户扫描出的漏洞中,包含4类高危漏洞(包括知名的log4j漏洞)、13类中危漏洞、2类低危漏洞,覆盖授权验证、访问控制、身份验证等方面,可能会导致未经授权的访问、数据泄露、拒绝服务攻击等安全问题,危害企业数据安全和业务稳定性。

 

2. 选型:看产品,也看服务

基于“CDH替代”、“云上EMR迁移”等数十则客户实践,我们总结了大数据集群管理引擎选型的常见指标:功能覆盖度;稳定性;安全性;运维服务;迁移方案;成本效益。

(下文以“大数据集群管理引擎”统称CDH、云上EMR等大数据管理平台。)

· 功能覆盖度:大数据集群管理引擎,顾名思义就是要满足企业对大数据集群的管理和日常运维的需求,包括数据计算、数据存储、数据处理、数据分析等场景。其中“Stack管理”是基本之本,以帮助企业用户快速构建、部署大数据应用。

 

· 稳定性:企业级的大数据集群管理引擎必备保障,包括高可用性、容错性、数据一致性等。

 

· 安全性:从数据安全、架构安全等层面,确保企业数据全链路安全合规。

 

· 运维服务:提供完善的技术支持,快速响应和解决问题,以保证业务的连续性。

 

· CDH集群迁移方案:有平滑迁移的成熟方案,保障新平台能平稳替代现有CDH,迁移具备可行性、可操作性及对现有数据和业务的保障能力。

 

· 成本效益:基于企业长期的预算计划,综合权衡功能、服务与成本。

 

“CDH6毕竟是几年前的版本了,我们的数据业务需求也在变化,需要支持更丰富的数据库引擎,也需要保证在更大数据量下的高性能。包括容器化、精细化安全权限管控这类技术,能做到会更好。

 

换掉CDH,企业最基本的要求是功能及性能上与CDH持平,价格相较CDP商业版有显著优势。而出于数据迁移成本、潜在风险、新阶段业务需求等考量,企业在寻找替代时,对“替代者”的要求往往更高。

 

3. 测试:

十多类测试后,为什么选择DataKun

本案例的金融客户,以行业标准的应用场景为参考方向,设计了十余类测试,其中重点考察了功能覆盖度、稳定性、安全性及安全漏洞修复方案、CDH集群迁移方案、全容器化、性能等维度。最终,这家客户确认从CDH6迁移至DataKun(奇点云数据存算引擎)。

DataKun架构图

测评细节(点击上图放大看)

 

除了大数据集群管理引擎常见的测试指标及成本测算,客户也基于业务需要,着重验证了特色方案及国产环境下的性能:

 

· 全容器化

传统的大数据集群管理引擎存在部署繁琐、维护难度大、资源利用率低下等问题。而DataKun已支持全容器化,可以将应用封装成轻量级的容器,实现秒级启动、停止,部署时间缩短80%以上,同时提高资源利用率和系统弹性。

 

对于这家金融客户而言,金融业务流程复杂、通常涉及大量的计算和数据处理,会对系统负载造成巨大的压力。

 

基于全容器化技术,DataKun进而实现“潮汐调度”,能根据业务负载自动调整容器资源的使用情况,以满足不同的业务需求和资源利用要求,帮助企业提高业务灵活性、降低系统负载、提高任务执行效率与系统稳定性。

 

· 性能优化

通常来说,要考察新引擎的性能表现(效率、准确性)是否满足企业日常的大数据处理需求,具体维度包括数据处理速度、数据吞吐量、数据存储和检索速度等

 

在金融行业,由于数据量大、数据类型复杂,以及对数据处理速度的要求高,这家客户对ClickHouse的性能要求也相应更高。

 

经过大量实验与测试,DataKun完成了对ClickHouse的深度优化,性能提升了100%,核心优化人群圈选、漏斗分析、归因分析等能力,可以满足企业对于海量数据的实时查询和分析需求。

 

“对开源组件进行性能优化,需要深入理解开源组件的架构、原理、实现细节,否则无法找出性能瓶颈并破解问题。在性能优化过程中,也需要较高的技术水平和实践经验,才能有较好的成果。”奇点云资深技术专家牧然介绍,“除了ClickHouse,Flink、Spark我们也做了优化。

 

· 国产环境兼容

数据云产品已完成从IT基础设施、基础软件到应用软件的全产业链国产产品兼容性互认证,包括龙芯中科、华为、麒麟软件、统信软件、人大金仓、达梦等等。以麒麟、鲲鹏为核心的全国产环境下,依旧表现不凡,可实现95%以上性能(相较Intel x86环境),并仍在逐步提升。

 

谈及对国产环境适配度的考察,客户表示:“可见的几年内,国内金融行业一定需要全面拥抱国产,我们不如在前期就做好布局,减少后期切换不必要的麻烦。”

 

4 迁移:可靠、安全、高效

完成测试及选型后,下一步就是迁移。成熟的迁移方案设计应至少包括以下3个维度:可靠、安全、高效

 

· 可靠

如何保障大数据集群管理引擎迁移的可靠?简单来说,迁移前有完善的方案,迁移后有准确的验证。

为确保迁移的成功,必须预先考虑和解决可能出现的错误和异常情况。因此,迁移方案必须具备可恢复性和可重复性,以便在发生错误或异常情况时迅速恢复迁移过程(即可恢复性),或视需求重新启动迁移过程(可重复性),以确保数据和应用程序的完整性和安全性。

此外,迁移完成后,设置有严格的数据验证和测试,确保数据的一致性和正确性。

 

· 安全

数据是企业的核心资产。为保障数据的安全,迁移方案必须采取一系列措施,如加密和解密、访问控制和身份验证等,确保数据不会损失或泄露。

同时,也应建立相应的监控机制,及时发现和处理数据安全问题,以保障整个迁移过程的顺利进行。

 

· 高效

在优先确保迁移的“可靠”和“安全”后,进一步,则应提升迁移的体验,实现高效平滑迁移,从而缓解数据迁移对业务产生的影响。

特别是在数据量大的情况下,迁移对业务的影响更会被放大,不好的体验感也会被放大。

在奇点云的迁移流程中,设置有一系列措施,包括使用并行传输机制、增量迁移策略等高效迁移的方法,结合客户场景需求采用,从而最大限度减少对业务的影响。

 

CDH迁移至DataKun 流程图

 

本次从CDH6到DataKun的迁移,全过程约1小时,完成1T透明加密数据、近2T未加密数据及近千张表的迁移,经数据完整性、准确性、一致性的验证,迁移准确无误。迁移完成当日,客户就已恢复日常数据作业。同时,基于DataSimba+DataKun的双层安全机制,安全性也进一步得到保障。

 

关于 DataKun

DataKun是奇点云自主可控的数据存算引擎,旨在向客户提供可靠、安全、易用的集群管理能力,帮助企业构建智能化、轻量级的大数据基础平台,快速建立其自有的大数据分析处理能力。

DataKun原本是奇点云数据云平台DataSimba的模块之一,和数据治理、数据安全功能一同打包销售。经过6年迭代,2021年从市场需求出发,发展为独立产品。2022年,DataKun团队发起复活Ambari,是国内大数据集群管理引擎开源社区的主导力量。

 

热门搜索:数据中台数据云平台客户数据平台CDP数据智能数据应用鞋服地产美妆商超家装数据资产数据治理数据可视化

联系我们:
电话:400-080-0326     邮箱:business@startdt.com     时间:09:00 - 18:00(工作日) 杭州:浙江省杭州市余杭区良睦路 1399 号梦想小镇互联网村 15、17 幢(总部) 北京:北京市海淀区大钟寺东路 168 号中嘉大厦 402 室 上海:上海市徐汇区虹漕路 88 号 H88 越虹广场 B 栋 9 楼 B、C 单元 深圳:广东省深圳市南山区 高新南六路6号 迈科龙大厦 1402

2016 - 2022 StartDT.com 版权所有 ICP证: 浙ICP备17004958号 法律声明及隐私政策

浙公网安备 33011002015629号