新人下载app,立即提现现金 您的好友 送你现金 去提现

聚焦数据架构前沿技术,快手大数据平台架构技术交流会成功举办

雷科技 09-11 11:19 关注

近日,快手数据平台部联合"快手中学",专题举办"快手大数据平台架构技术交流会"(Kuaishou Data Platform Architecture Conference),吸引了各行业数据相关开发者的参与。

从 hadoop 到 spark,再到 flink,从 kylin 到 druid,再到 clickhouse,从离线数仓到实时数仓架构,再到数据湖架构,近10多年中,大数据平台架构经历了快速演变。各大互联网公司或借助开源生态,或通过自研构建大数据架构系统,促进数据相关业务的价值挖掘与发展,为公司的战略发展、产品改进、用户增长带来收益。

作为全球领先的生活分享社区,目前快手日活跃用户超过 3 亿,库存短视频数量超过 200 亿条,直播日活超过 1.7 亿,电商日活超过 1 亿。在海量的 UGC 数据、业务数据、用户数据背后,支撑快手数据业务的大数据平台架构系统,经历了几个阶段的高速发展。为此,交流会着重介绍了快手在大数据存储、调度、计算上的技术挑战、应用、演进与最佳实践。

聚焦数据架构前沿技术,快手大数据平台架构技术交流会成功举办

(▲交流现场)

本次交流采取线下线上结合的参会方式。交流会开放了部分线下参会名额,所有现场观众需佩戴口罩,确保测温和健康宝状态正常,在签署健康声明后方可入场,入会就座时也均保持了一定间隔。此外,交流全程还通过"快手APP"直播,观看总人数超1.5万人。

交流过程中,该场出品人之一、快手平台研发&数据平台负责人韦彬首先致辞。他介绍,快手大数据平台的使命是以领先的大数据技术,激活数据价值,赋能业务,打造快手核心竞争力。大数据团队从2011年创立之初没有全职数据同学,到目前团队已逐渐完备。在快手做大数据有四个特点,一是数据规模大,对数据治理的要求很高;二是数据驱动的文化深入人心,团队一直致力于对标行业最好水平打造数据中台;三是极度重视效率,确保数据平台灵活可用;四是为满足快手线上社区的场景,对数据的建模能力、应用能力都有极高要求。

聚焦数据架构前沿技术,快手大数据平台架构技术交流会成功举办

(▲快手平台研发&数据平台负责人 韦彬)

第二位出品人、快手大数据架构团队负责人赵健博介绍,快手大数据架构团队的领域主要涉及六个方向,分别是:存储系统、消息队列、资源调度、实时引擎、离线引擎、OLAP引擎。近几年,快手大数据架构的技术发展迅猛,从离线计算分析到实时计算,从大集群到超大集群,飞速迭代优化。

聚焦数据架构前沿技术,快手大数据平台架构技术交流会成功举办

(▲快手大数据架构团队负责人 赵健博)

随后,来自快手的分布式存储高级研发工程师徐增强、离线计算引擎方向负责人王磊、分布式消息队列高级研发工程师陈春斌,以及腾讯数据平台部数据湖研发负责人邵赛赛,分别带来主题演讲。

徐增强从数据规模、挑战和实践等几个方面,对快手分布式HDFS系统进行了全方位解读,并详细介绍了快手EB级HDFS集群发展历程中遇见一些核心问题的解决思路,如主节点扩展性问题、主节点处理能力瓶颈问题、节点热点问题、重要任务的分级保障问题等。

王磊介绍了快手Hive元数据在亿级分区规模的存储使用上所面临的总量多、增速快、压力大等多方面挑战,针对上述挑战给出了快手所采取的系列优化措施,包括读写分离、API性能优化、流量分级控制、Federation水平扩容等,从而达到提升Hive元数据服务稳定性和性能的目标。

陈春斌介绍了快手Kafka在业务快速增长过程中遇到的集群扩容瓶颈、集群间资源利用率不均、业务接入效率低等问题,针对上述问题从集群水平扩展性和topic水平扩展性等方面对Kafka进行针对性改造,从而达到平滑支撑业务快速增长和提高资源利用率的目的。

邵赛赛从数据湖技术需要具备的能力,如何构建一个统一的数据湖存储、并在其上进行多种形式的数据分析角度切入,介绍了Iceberg的设计初衷、优点及能力,使听众对表格式这一领域有了充分理解,并深入了解Iceberg的设计、实现、优势以及使用方式。

聚焦数据架构前沿技术,快手大数据平台架构技术交流会成功举办

(▲演讲嘉宾合影:从左至右,分别为徐增强、陈春斌、邵赛赛、赵健博、王磊、李远策)

快手以技术为核心竞争力,十分重视技术创新和应用,同时也希望通过更多更广泛的技术交流,和业内开发者分享经验,碰撞出更多智慧火花,推动技术不断前进。"快手中学"作为内部专业人才培养平台,旨在通过提供丰富多样的专业课堂培训、比赛、技术交流,助力人才成长,提升专业能力和专业影响力。

今年7—8月,"快手中学"曾联合快手大前端团队举办"快手大前端技术交流会2020",受疫情影响仅做线上直播,而随着疫情防控的逐步稳定,为了给观众带来更好的交流互动体验,本次技术交流首次开放了部分线下参会名额。未来,由"快手中学"举办的技术交流还将以每季度一次的频次长期开展。

展开阅读全文

查看更多好文内容,新用户限时领现金

暂无评论,打开APP参与讨论

值得买爆款低价
爆款商品抄底,APP内抢购!

市场价
值得买APP专享价
电脑数码促销活动
今日必领:双12超全红包指南 ,必领红包一篇搞定
今日必领:双12超全红包指南 ,必领红包一篇搞定
电商红包汇总,天天领现金,最高1212元!
什么值得买 00:58
9 40%
领红包新姿势:2020年双12红包小助手回归,简单、实用更贴心!
领红包新姿势:2020年双12红包小助手回归,简单、实用更贴心!
一键天天领红包,最高1212元!再抽AirPods耳机、百元猫超卡等惊喜大奖
什么值得买 12-04
2 0
查看更多促销活动
最新电脑数码优惠
10:08开始:HUAWEI 华为 Mate 40 Pro 5G版 智能手机 8GB 128GB
10:08开始:HUAWEI 华为 Mate 40 Pro 5G版 智能手机 8GB 128GB

好价排行Top3 比上次发布低7%

6499元包邮
天猫精选 07:08
79 25%
5日10点、数码配件节:BASEUS 倍思 Adaman 移动电源 22.5W 10000mAh
5日10点、数码配件节:BASEUS 倍思 Adaman 移动电源 22.5W 10000mAh

好价排行Top2 10000毫安

49.9元
京东 07:00
133 66%
百亿补贴:OPPO K7 5G智能手机 8GB+128GB
百亿补贴:OPPO K7 5G智能手机 8GB+128GB

价格低于双11 近30日已发布新低

1599元包邮
拼多多 12-04
10 25%
audio-technica 铁三角  ATH-SR30BT 无线蓝牙耳机头戴式
audio-technica 铁三角 ATH-SR30BT 无线蓝牙耳机头戴式

蓝牙5.0连接 满电续航70小时

569元包邮(需用券)
天猫精选 12-04
7 75%
查看更多
相关好价
相关商品
查看更多热门商品
社区主页 文章详情
0
0
0
你已经点过赞了
新浪微博 QQ空间 微信好友 豆瓣
当前为触屏版
热门搜索