3809游略网 > 科技 >数据治理如何做?火山引擎DataLeap帮助这款产品3个月降低计算成本20%

数据治理如何做?火山引擎DataLeap帮助这款产品3个月降低计算成本20%

数据治理如何做?火山引擎DataLeap帮助这款产品3个月降低计算成本20%

本文讲述字节跳动一款 App产品的数据治理故事。该产品随着用户体量和数据体量不断增长,数仓的任务量、数据量也不断攀升,运维难、成本贵、稳定性等问题在不断凸显。通过使用火山引擎DataLeap的数据治理能力,3个月时间将计算成本大幅缩减20%。

该产品是一款近千万级DAU的产品,疫情3年,催生了大量的线下需求转型至线上,海量的数据虽然为产品创造了巨大的价值,但是也增高了计算成本和存储成本。“成本治理专项”成为了这个产品的重要工作之一,为了解决数据治理的问题,产品接入了火山引擎自研的大数据开发套件——DataLeap,主要围绕下述两个场景进行成本治理:

1. 快速启动并获得收益

大数据场景下计算资源的重要价值和昂贵成本,需要每个任务都按需使用。而在实际的业务开发过程中,存在大量的异常计算任务,浪费了大量的计算资源。计算场景也因此成为该产品数仓团队成本治理的关键切入点。

通过DataLeap,数仓团队可以设置明确治理目标,并配置治理域,通过选定各种规则的任务治理,比如关闭/下线无效任务、优化高耗时并且占用资源 TopN 任务、优化资源申请不合理 TopN 任务、优化表产出小文件 TopN 任务等,由此对队列阻塞情况进行改善,完成阶段性进行缩容。

DataLeap 还支持对任务执行进行全链路监控,自动发现这些异常的计算任务,并在工作台进行展示,让数据研发人员可以查看相应任务,并采取治理措施。

2. 按季度持续治理

数据治理是一项长期性、系统性的工作,通过DataLeap平台,该产品优先实现了数据按季度持续治理。

DataLeap 平台提供一系列任务圈选规则,可以圈选出无效、高耗时、资源申请不合理、小文件异常、近7天内无更新、写入数据、近90天无访问表等规则,进行定期扫描,由此实现周期性成本治理。除此之外,DataLeap还提供通知、一键拉群等治理运营操作,支持查看治理效果,沉淀治理经验,有效推动数仓团队成本推动进展。

其次,为了能更直观监测到数仓健康度、量化治理效果,产品团队还引入了DataLeap「健康分」体系。一旦出现健康分不达标情况,会及时限制产品使用资源比例、资源申请等。DataLeap还支持繁忙和闲置时段队列资源利用率的监测,可以帮助飞书数仓团队优化任务调度措施。

最终,该产品的数仓团队主要从YARN和HDFS切入,在引入DataLeap的三个月内,快速落地成本治理项目。在计算治理场景,实现YARN 队列成本降低 20%;在存储治理场景,已释放 7PB 存储空间。

数据治理如何做?火山引擎DataLeap帮助这款产品3个月降低计算成本20%

随着数据的不断累积和业务的不断发展,大数据的体量将会变得越来越大,而随之而来的庞大成本,也成为了大数据建设中越来越无法忽视的问题。火山引擎DataLeap基于字节跳动业务场景和实践经验,沉淀有一套完整的数据质量、SLA治理、资源优化、告警优化的能力,可以为业务提供流畅顺滑的数据治理体验;在流程上,覆盖规划式、响应式的用户数据治理双路,同时与各业务密切配合,落地和沉淀多项治理规则。(作者:邵苗)

本文来自网络,不代表本站立场,转载请注明出处:https:

数据治理如何做?火山引擎DataLeap帮助这款产品3个月降低计算成本20%

3809游略网后续将为您提供丰富、全面的关于数据治理如何做?火山引擎DataLeap帮助这款产品3个月降低计算成本20%内容,让您第一时间了解到关于数据治理如何做?火山引擎DataLeap帮助这款产品3个月降低计算成本20%的热门信息。