网易云音乐基于 Flink + Kafka 的实时数仓建设实践

　　本文由网易云音乐实时计算平台研发工程师岳猛分享,主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战:

　　背景

　　Flink + Kafka 平台化设计

　　Kafka 在实时数仓中的应用

　　问题 & 改进

　　它是一个非常稳定的消息队列,有着众多的用户群体,网易也是其中之一。我们考虑 Kafka 作为我们消息中间件的主要原因如下:

　　高吞吐,低延迟:每秒几十万 QPS 且毫秒级延迟;

　　高并发:支持数千客户端同时读写;

　　容错性,可高性:支持数据备份,允许节点丢失;

　　可扩展性:支持热扩展,不会影响当前线上业务。

　　网易云音乐使用 Kafka 的现状

　　目前我们有 10+个 Kafka 集群,各个集群的主要任务不同,有些作为业务集群,有些作为镜像集群,有些作为计算集群等。当前 Kafka 集群的总节点数达到 200+,单 Kafka 峰值 QPS 400W+。目前,网易云音乐基于 Kafka+Flink 的实时任务达到了 500+。

　　通过上面的过程,确保了网易云音乐对实时计算要求比较高的任务不会受到统计报表的影响。但是我们分发了不同的集群以后就不可避免的面临新的问题:网易云音乐的播放问题。