青云QingCloud自主研发Materialize MySQL引擎 海量数据分析能力全面提升

2021-05-24 14:57:56

2021年3月20日——

日前,青云QingCloud(qingcloud.com,股票代码:688316)受邀参加3306π成都站活动。青云QingCloud数据库研发工程师邰翀带来《MaterializeMySQL:MySQL到ClickHouse的高速公路》的主题演讲,分享了如何打破异构数据库壁垒,同步MySQL数据库中的数据至ClickHouse中,帮助用户在应对海量数据高并发场景时,提升数据分析能力,挖掘数据价值。

青云QingCloud数据库研发工程师 邰翀

此次活动由3306π社区发起,旨在围绕MySQL核心技术,将互联网行业中最重要的数据化解决方案和核心技术理念带到传统行业中,构建良好交流互动环境,分享数据库前沿知识。

在演讲中,邰翀介绍了MySQL复制历程,从最早的同构数据库复制,到2013年的增强半同步复制,再到2017年支持组复制(MGR),实现金融级别可用的数据同步方案。随后,以青云QingCloud为代表的各大厂商开始研发高可用组件,如QingCloud MySQL Plus,通过真正的强一致和高可用能力,来管理MySQL选举、探活,并订正数据准确,从而达到集群数据强一致、主从秒级切换、无中心化自动选主,以及依托于云的跨区容灾能力。但MySQL在有了高可用能力后,虽然可通过增加只读实例的方式来增强AP能力,但是其数据结构和分布方式决定了AP能力相对较弱。

那么,如何增强AP能力呢?答案是:ClickHouse。但ClickHouse 能否主动同步并订阅MySQL数据呢?答案是:当然可以。青云QingCloud ClickHouse 团队自主研发的库引擎——MaterializeMySQL引擎,就很好地解决这一问题。

邰翀阐述道:“MaterializeMySQL是对MySQL库级别的映射,目前已作为实验特合并到ClickHouse 20.8版本中。其通过消费binlog存储到MergeTree的方式来订阅MySQL数据,可以直接将ClickHouse作为一个分析实例加入到MySQL复制中,替代MySQL一部分只读实例进行商务分析、用户画像等分析业务。ClickHouse本身在支持海量函数来提升分析能力的同时,还支持标准 SQL,可以让使用者享受到更好的体验。”

与其他的ClickHouse 同步MySQL数据的方式相比,MaterializeMySQL的优势更加明显。邰翀认为,MaterializeMySQL打通了从MySQL到ClickHouse的数据传输通路,不仅提供了将MySQL数据精细化分析的能力,也为接下来的HTAP打下了基础。

随着万物互联的快速发展,数据开始呈现爆炸式增长,这也促使MySQL的能力进化加速。青云QingCloud将继续发挥自主创新的优势,为解决海量数据分析提供先进的技术和产品支持,助力企业在海量数据中深度挖掘数据价值,为数字化转型提供决策支持。

关闭
精彩放送