最后针对频繁增加表字段的痛点需求，并且希望后续同步下游系统的时候能够自动加入这个字段，目前还没有完美的解决方案，希望 Flink CDC 社区能在后续的版本提供 Schema Evolution 的支持。

'org.apache.hadoop.Hive.ql.io.parquet.MapredParquetOutputFormat'

'org.apache.hadoop.Hive.ql.io.parquet.serde.ParquetHiveSerDe'

37手游盒子修改

由于生产环境用的是 Hive1.x，Hudi 对于 1.x 还不支持数据同步，所以通过创建 Hive 外部表的方式进行查询，如果是 Hive2.x 以上版本，可参考 Hive 同步章节；

但是，这种方式的链路太长操作困难，如今通过 CDC 2.0 在全量 snapshot 阶段支持多并行度以及 checkpoint 的能力，确实大大降低了架构的复杂度。

所以当时入 Hudi 是采用先启动一个 CDC 1.x 的程序将此刻开始的增量数据写入 Kafka，之后再启动另外一个 sqoop 程序拉取当前的所有数据至 Hive 后，通过 Flink 读取 Hive 的数据写 Hudi，最后再把 Kafka 的增量数据从头消费接回 Hudi。由于 Kafka 与 Hive 的数据存在交集，因此数据不会丢失，加上 Hudi 的 upsert 能力保证了数据唯一。

之前 Flink CDC 1.x 版本由于全量 snapshot 阶段单并行度读取的原因，当时亿级以上的表在全量 snapshot 读取阶段就需要耗费很长时间，并且 checkpoint 会失败无法保证数据的断点续传。

如果集群资源很有限的情况下，可以根据实际情况调整 Hudi 表以及 Flink 任务的内存配置，还可以通过配置 Hudi 的限流参数 write.rate.limit 让历史数据缓慢入湖。

按照上面表定义的参数配置，配置 16 个并行度，Flink TaskManager 内存大小为 50G 的情况下，单表 15 亿历史数据入至 Hudi COW 表实际用时 10 小时，单表 9 亿数据入至 Hudi COW 表实际用时 6 小时。当然这个耗时很大一部分是 COW 写放大的特性，在大数据量的 upsert 模式下耗时较多。

我们可以在配置 CDC 2.0 入 Kafka，Kafka 入 Hudi 任务时调大内存并配置多个并行度，加快历史数据入湖，等到所有历史数据入湖后，再相应的调小入湖任务的内存配置并且将 CDC 入 Kafka 的并行度设置为 1，因为增量阶段 CDC 是单并行度，然后指定 checkpoint 重启任务。

这里我们选择更为简单的调整任务资源的方式将历史数据入湖。依靠 Flink 的 checkpoint 机制，不管是 CDC 2.0 入 Kafka 期间还是 Kafka 入 Hudi 期间，都可以通过指定 checkpoint 的方式对任务进行重启并且数据不会丢失。

scan.incremental.snapshot.chunk.size 参数需要根据实际情况来配置，如果表数据量不大，使用默认值即可。

总体上说，37 手游的数据仓库属于 Lambda 和 Kappa 混搭的架构。流批一体数据仓库的各个数据链路有数据质量校验的流程。第二天对前一天的数据进行对账，如果前一天实时计算的数据无异常，则不需要修正数据，Kappa 架构已经足够。

而存储在 Kafka 的数据有失效时间，不会存太久的历史数据，重跑很久的历史数据无法从 Kafka 中获取历史源数据。再者，如果把大量的历史数据再一次推到 Kafka，走实时计算的链路来修正历史数据，可能会影响当天的实时作业。所以针对重跑历史数据，会通过数据修正这一步来处理。

从架构图上，可以看到有一步数据修正 (重跑历史数据) 的动作，之所以有这一步是考虑到：有可能存在由于口径调整或者前一天的实时任务计算结果错误，导致重跑历史数据的情况。

MySQL 数据通过 Flink CDC 进入到 Kafka。之所以数据先入 Kafka 而不是直接入 Hudi，是为了实现多个实时任务复用 MySQL 过来的数据，避免多个任务通过 Flink CDC 接 MySQL 表以及 Binlog，对 MySQL 库的性能造成影响。

37 手游的湖仓一体方案，是 37 手游流批一体架构的一部分。通过湖仓一体、流批一体，准实时场景下做到了：数据同源、同计算引擎、同存储、同计算口径。数据的时效性可以到分钟级，能很好的满足业务准实时数仓的需求。下面是架构图：

在存储引擎的选型上，目前最热门的数据湖产品当属：Apache Hudi，Apache Iceberg 和 DeltaLake，这些在我们的场景下各有优劣。最终，基于 Hudi 对上下游生态的开放、对全局索引的支持、对 Flink 1.13 版本的支持，以及对 Hive 版本的兼容性 (Iceberg 不支持 Hive1.x 的版本) 等原因，选择了 Hudi 作为湖仓一体和流批一体的存储引擎。

由于 37 手游的业务场景，数据 upsert、delete 是个很常见的需求。所以基于 Hive 数仓的架构对业务需求的满足度不够。

由于 Hudi 拥有良好的 Upsert 能力，并且 0.10 Master 对 Flink 版本支持至 1.13.x，因此我们选择通过 Flink + Hudi 的方式为 37 手游的业务场景提供分钟级 Upsert 数据的分析查询能力。

Apache Hudi 目前被业内描述为围绕数据库内核构建的流式数据湖平台 (Streaming Data Lake Platform)。

断点续传，全量阶段支持 checkpoint，即使任务因某种原因退出了，也可通过保存的 checkpoint 对任务进行恢复实现数据的断点续传。

Flink CDC Connectors 是 Apache Flink 的一个 source 端的连接器，目前 2.0 版本支持从 MySQL 以及 Postgres 两种数据源中获取数据，2.1 版本社区确定会支持 Oracle，MongoDB 数据源。

本文作者是 37 手游大数据开发徐润柏，介绍了 37 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC + Hudi 构建新的湖仓一体方案，主要内容包括：

简介： 介绍了 37 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC + Hudi 构建新的湖仓一体方案。

在CIGC上，徐志高表示37手游目前开展的项目不下十个，游戏类型涵盖RPG、SLG、TPS、H5甚至是独立游戏。他预计，2018年37手游将推出15款以上的产品。从“ARPG+SLG”到“多元化”，既是37手游主动求变的选择，也是市场不断变化的反映。在手游那点事看来，37手游的多元化，不仅仅是产品类型的多元化，更是合作伙伴及合作方式的多元化。

虽然《仙灵觉醒》上线时间不足半年，但是37手游联合研发商已经为《仙灵觉醒》制定了一系列有针对性的长线运营计划。据37手游透露，其与诗悦网络已经沟通完成了未来半年的版本计划，以保证新玩法和新内容的持续加入。此外，37手游也将在每月定期举办线上运营活动，提升玩家活跃度；而一旦条件成熟，将举办玩家见面会等的线下活动。

长线运营，一直是37手游的优势所在，这点在《永恒纪元》、《大天使之剑H5》上已经得以体现。以《永恒纪元》为例，37手游在线上游戏内容持续更新和每月一次运营活动的基础上，在线下举办渠道活动专场和巡回见面会，最终令游戏在一年内创下了总营收26亿的佳绩。

在买量市场，37手游更是不惜成本地持续进行优质流量导量，或许是出于对产品的信心，或许是源于对买量市场的丰富经验，在短短的几个月里，37手游通过买量方式为《仙灵觉醒》导入了超百万的玩家，使得游戏生态及收入情况都维持了一个很健康的状态。

在游戏内，《仙灵觉醒》针对不同平台，制定了专属定制化道具。而在游戏外，37手游还会配合平台，进行各类型的宣传推广活动，以进一步提升在平台中的曝光率。

徐志高曾多次在公开场合中表示，买量并非现阶段流量获取的唯一途径，渠道“带量”的作用和效果仍旧不可小觑。作为一款高品质的产品，《仙灵觉醒》在上线之初便获得了诸多合作伙伴的资源支持。在此基础上，37手游一如既往地与诸多合作伙伴进行了定制化的合作和推广。

《仙灵觉醒》这样的设定，使得游戏前期可以适度地提高留存及收入，保证游戏前期的高爆发收入，随后借助回合制MMO更为深度的玩法的优势，稳定玩家用户的长线留存。这样的设定可以避免游戏前期和后期出现玩家消费的“两极分化”，有助于游戏的长线运营。

回归到产品本身，《仙灵觉醒》具备丰富的游戏内容和成熟的数值系统，而当中还实现了“卡牌+回合制”的创新融合。游戏的前期玩法主要以卡牌收集玩法为主，游戏操作简单易上手，也符合碎片化的移动游戏特征。而随着游戏的深入，MMO的特色会愈加明显。游戏的前期可以靠“自动战斗”单人刷本，但到后期玩家需要和他人组队，并且合理搭配阵容，制定对战策略。

提到回合制MMO游戏，便不得不提广州诗悦网络，其在近几年里研发出多款精品MMO游戏，并获得了广深两地发行商的高度认可。此次37手游与诗悦的合作，也打破了37手游给业界“自研为主”的固有印象。这也印证了徐志高在CIGC上的那番话：“我们将以更开放的态度去与每一个研发商沟通、合作。”

或者正是这种不抛弃不放弃的理念，让37手游的发行能力持续沉淀，足以应对越来越多元的市场及产品。下面我们就来回顾一下，《仙灵觉醒》是如何一步一步成功突围的。

为什么37手游第一次独立发行回合制MMO游戏便能取得如此优秀的成绩？针对这个问题，37手游给到的回复是：“对于当下的37手游来说，是不是发行‘ARPG或SLG’不再是最重要的，最重要的是只要是靠谱的产品，都会倾尽自己的能力做到最好。”

提到37手游，大部分从业者对其发行能力都赞赏有佳，特别是在ARPG及SLG领域，在过去的几年取得了非常亮眼的成绩。但在手游那点事看来，“ARPG+SLG”这个标签并不能很好地诠释当下的37手游，因为自2017年下半年开始，37手游便持续地进行多元化布局，其中不乏有回合制MMO、二次元、卡牌、独立游戏等品类。

“流量经营”、“页转手标杆”、“H5游戏领路人”等已无法完整描述现阶段的37手游。其已成为产品、流量双多元的行业巨头，并借助三七互娱的内部协同和外部布局，向更高的目标全速前进，火力全开。

无论外部有多少赞赏和质疑，37手游都甚少正面回应，“低调”，甚至成为37手游最大的标签。但回过头来，我们惊喜地发现37手游已经完成了一个又一个蜕变。

而投资拥有大量女性用户的高端瑜伽品牌Wake以及专注于青年文化社交的社交平台积目，则进一步扩充了三七互娱未来用户增长的想象空间。37手游也将因此受益，享受女性向和二次元的用户红利。

紫龙互娱、成都格斗、心动网络、SNK，这一长串参股企业的名单背后，一个涵盖研发、发行、渠道、IP的游戏产业生态闭环已浮出水面。而在影视、动漫、音乐上的布局，则更像是在为未来落子：这条以IP为核心的文创产业链一旦建成，就将源源不断地为作为根基的游戏业务输送养分。

近年，三七互娱在文化创意产业上也进行了多元化的布局，从传统的游、影、漫、音、文出发，向互联网健康、线上社交、互联网教育等新兴领域铺开。这些布局，正在渐渐与三七互娱的游戏业务产生联动效应，并反哺在37手游身上。

“长线服务”则是指37手游一直所擅长的精细化运营。在导入用户后，能否令他们对游戏保持忠诚，既取决于游戏内容的丰富性，也建立在发行商的运营能力之上。而与三七互娱一样奉行“马拉松精神”的37手游，一直是行业中长线运营的标杆，两年流水累计超过50亿的《永恒纪元》便是最佳例证。

凭借三七互娱十年来在游戏行业深耕细作的用户积累资源，通过“用户画像”、“用户模型”等大数据分析，37手游在广告投放时可以进行精准推送，达到事半功倍的效果。而《永恒纪元》、《仙灵物语》和金融、餐饮、快消行业进行的跨界合作，则扩大了受众的圈层，成为了精准投放外流量获取的重要补充。

事实上，自2018年开始，37手游已经开始在立体营销方面进行尝试，并取得了较好的成效。据了解，37手游的推广团队使用了大量的剧本、故事来制作广告素材。如果把游戏的广告宣传片连起来看，其实就是一部部完整且品质上佳的微电影。通过这样“品效结合”的宣传手段，游戏在市场上获得了很好的反响，品牌价值和影响力也得到进一步放大。

另一方面，在宣传素材制作上，37手游还制作了大量高质量的内容，比如“致敬传奇”、“梦想体”等宣传素材与微电影，已不再是单纯意义上的游戏广告。

以《一刀传世》为例， 37手游一方面选取了成龙大哥作为代言人，巧妙借助其身上的热点（不找替身、拒绝体），放大代言人的传播效应，在抖音、微博、B站等形成了一波波热点，如抖音知名网红钟婷就模仿了成龙大哥“拒绝体”广告。

好马配好鞍。有了好的产品，还需要精准的流量配合。复盘37手游过去一年的打法，可以发现其已摒弃了市场上常见的简单粗暴的买量方式，而是通过“立体营销+精准推送+长线服务”的多元方式，赋予流量经营新的含义。

借助三七互娱集团内部各业务线的协同合作，37手游与极光网络这对“王炸组合”已经先后推出了包括《永恒纪元》、《一刀传世》、《斗罗大陆》H5等在内的五款月流水破亿的产品。而与完美世界的联手，也是37手游以开放的心态去拥抱合作的体现。

自2018年起，37手游高举产品多元策略，在行业寒冬中主动出击，接连推出《鬼语迷城》、《仙灵物语》、《斗罗大陆》H5等多个爆款。这些游戏的成功发行，令37手游多题材、多品类的产品矩阵初具规模，也打破了业界对于其 “传奇+奇迹”和“不重视IP”的固有印象。

iOS游戏下 载榜第4、游戏畅销榜第4，是目前《一刀传世》取得的成绩。这已不是37手游在2019年推出的第一个爆款了。一月，由37手游发行的《斗罗大陆》H5在全平台公测当天取得了单日新增破百万的优异成绩。此外，其与完美世界强强联合携手打造的《精灵契约》，更是获得了AppStore的首 页推荐。

去年最后一个工作日，困扰行业近一年之久的“版号问题”随着一纸公示烟消云散。而上月底，由37手游发行的新游《传霸兄弟之一刀传世》（以下简称《一刀传世》）更是打破了腾讯和网易对于畅销榜的长期垄断，为行业注入了新的活力。

九四玩手游联运系统由官网、管理后台、推广系统、游戏盒子、分发平台后台，商务专员后台部分组成，包含手游运营日常所需的所有功能，系统安全可靠，所有用户数据，游戏、渠道资源统一后台管理，游戏运营更加简单高效！而且游戏推广方式多种多样，可以通过游戏链接或保存游戏二维码的方式进行推广。最重要的是拥有专业的技术与售后服务团队，能够快速解决客户遇到的游戏运营问题。

当然，拥有一款手游联运平台也不难，现在有很多游戏联运平台提供商，也可以根据需求进行功能定制。可以了解一下性价比较高的九四玩手游联运系统哦。

以上就是给大家介绍的几款做的比较好的手游联运平台了。手游代理对于个人而言，需要非常大的精力和时间，可能投入了昂贵的精力和时间后，效果还不怎么样。这里还是比较推荐一个团队去做，工作室或者公司模式的都可以。如果你准备以团队模式去做，首先需要准备一款适合自己团队运营模式的手游联运系统。

益玩游戏于2012年11月在广州成立，算是国内第一批在“精细化买量”层面做得最好的企业，另外益玩的“超级SDK”覆盖的中小渠道很多。目前已和包括游族、银汉、艾格拉斯、蓝港、玩蟹、等在内的国内多家手机游戏研发商结成紧密合作伙伴，联运近200款产品。益玩平台目前已吸纳百万级别用户，并且在高速增长中。

3K玩作为国内极具实力的知名手游发行商，有实力雄厚的专业市场分发团队和产品运营团队，团队核心成员均有7年以上移动网盟和广告平台推广经验，成功运营的《红警坦克•帝国OL》、《红警坦克4D》、《风云天下》、《三国群英传HD》、《战仙》等精品游戏均受到热捧和喜爱。所以3K玩的游戏运营能力及流量获取能力不是一般企业能够比拟的。

37游戏以页游起家，被称之为“页游之虎”，几乎所有从业者都知道，37游戏在页游时代的市场策略是业内“最强势”的平台之一。虽然37手游起步较晚，自2013年成立，但是现在已经成为一线手游发行商。作为全国十大手游发行平台，37手游已运营超过700款游戏，拥有活跃用户过千万。2015年37手游的总流水很可能超过10亿元人民币，而这其中有不少部分的贡献来自于手游联运。

伽马数据发布的《2021年中国游戏产业潜力分析报告》预测，2021年，中国游戏市场将持续增长，且明年上半年预计将超过1500亿元。所以你不管是手游代理，还是手游创业都可以从中分一杯羹。而手游代理最关键的步骤就是选好平台，所以有些准备做手游代理的朋友就询问市面上比较好的手游联运平台有哪些。接下来小编就给大家介绍一下行业内数一数二的手游联运平台。

专题：