求索 NoSQL 的现在与未来，第五届 Techo TVP 开发者峰会圆满落幕

　　日益剧增的数据洪流与变革迅速的新兴业务，既引发了互联网企业对数据库技术的重新思考，也带来了传统行业对数据库应用的二次迷思。以灵活、易扩展著称的 NoSQL 在企业数字化转型的过程中，究竟发挥着怎样的作用?其重要性体现在哪?未来 NoSQL 数据库又将迎来怎样的发展?

　　2022 年5月14-15日，第五届 Techo TVP 开发者峰会 “数「聚」未来，岂止于快——NoSQL 引爆数据效率与价值”正式落下帷幕，12 位来自 NoSQL 领域的知名技术领袖和专家，从性能、效率与数据价值三大方向，与数据库从业者一起共同探讨了面向未来的 NoSQL 之路。

　　Day1：NoSQL前沿技术趋势

　　主持人开场

　　峰会第一天聚焦在 NoSQL 的未来趋势分析与新技术解读，由天翼云首席专家、腾讯云 TVP 侯圣文老师担任主持人。会议伊始，侯老师提出，大数据时代，数据量持续性爆炸式的增长，数据存储结构的灵活多样，新兴业务的日益变革，这些需求催生出数据库及应用系统的存在形式愈发丰富，也对数据库的各类能力提供了非常多的一些场景和需求，也给技术人带来了极大的挑战和要求。

　　嘉宾致辞

　　腾讯云副总裁林晓斌的致辞，正式拉开了本届 Techo TVP 开发者峰会的帷幕。他指出，数字化浪潮中，数据已成为企业最重要的资产，数据库作为数据存储的重要基础设施，任务重大。过去十年间，基础设施升级、数字化进程加速、云计算的普及，带来了数据库行业的二次高速发展期，云计算服务商在其中发挥了巨大的作用。

　　随着云数据库服务进入云原生时代，数据库+云的创新模式将进一步推进云数据库技术的革新。NoSQL 是数据库中非常重要的一大分支，其在海量并发访问及大规模数据场景下优势明显，在软件架构层面上具备高并发、易扩展、灵活易用等特点。简而言之，NoSQL 数据库已经成为现代企业不可或缺的数据库服务类型。

　　腾讯云在 NoSQL 领域一直持续着战略级的投入，从产品设计、技术创新、客户服务、再到生态建设，都有着经年累月的探索和实践。腾讯云公有云已经提供了包括缓存、文档、时序、KV 等在内的数据库服务，并仍在持续丰富服务种类。与此同时，腾讯云也在积极推动外部合作，比如与 MongoDB 签署战略合作协议。

　　他最后总结道，腾讯云 NoSQL 数据库已经覆盖了包括金融、电力、电商、游戏、视频等数十个典型行业应用场景，未来，腾讯云将在 NoSQL 数据库领域持续投入，坚持技术创新，以服务企业为根本，助力企业降本增效，提升生产力。

　　解放生产力：腾讯云 NoSQL 的顺势而为与变革创新

　　腾讯云数据库副总经理罗云带来了题为《解放生产力：腾讯云 NoSQL 的顺势而为与变革创新》的主题演讲。

　　他首先向与会者介绍了过去十年，NoSQL 数据库的发展历程。他表示，随着互联网业务的快速增长，海量用户、海量数据、实时体验、快速迭代的要求带来了 NoSQL 的飞速发展。腾讯云 NoSQL 的发展史也是顺势而为，一脉相承，在缓存、KV、文档、图、时序、宽列、表格这系列的场景中，腾讯云都有提供相应的产品服务。

　　众所周知，Redis 在过去5年间一直是最受欢迎的 NoSQL 数据库产品，但是 Redis 的应用场景早已突破了缓存的范畴，特别是在存储场景中的应用越来越广泛，但是企业在存储场景中使用 Redis 会面临着规模、成本、持久化的难题，业界今年多有推出 Redis 的持久化产品，但是大多数产品通常能够满足业务在性能、成本、持久化、规模4个诉求中的2～3个，很少有4个诉求能同时满足的。罗云老师表示，腾讯云通过创新性的软硬结合提供极致性能、三级存储解决性能、持久化、成本、规模难题的解法，KeeWiDB 团队实现了极致的突破，做到了：

　　性能(单节点)：20 万读取，18 万写入，P99<2ms 可水平堆叠，性能线性提升;

　　成本：三级存储，冷数据成本下降 97%;

　　持久化：命令级持久化;毫秒级稳定写入延迟;SSD 提供低成本持久化;

　　大容量：单节点提供 TB 级容量空间;集群方式提供 100 TB容量空间。

　　分享最后，罗云老师表示，技术人的终极目的是让整个社会的生产效率变得更高，让整个社会的生产力能够变得更好，希望可以用技术的方式去实现这些美好的愿望。

　　新硬件赋能创新：数据发展趋势及软硬件融合解决方案

　　随着技术的发展，新硬件的出现带来了更多可能。英特尔数据库及大数据资深首席工程师、腾讯云TVP程从超&英特尔数据平台事业部傲腾产品事业部中国技术中心工程部经理吴国安联手带来了题为《新硬件赋能创新-数据发展趋势及软硬件融合解决方案》的主题演讲。

　　程从超老师向与会者介绍道，数据处理架构领域目前有以下几个非常明显的趋势：从Scale up 到 Scale out ;从物理机到云原生;从 share-everything 到 share nothing 再到 share everything;内存数据库+对象存储;行存和列存并存。因此，数据处理端到端、系统优化端到端成了其中至关重要的部分。

　　吴国安老师接棒讲解了英特尔傲腾新硬件的领先特性，其可以降低数据中心的成本、可以整合工作负载，尝试对数据做更多的事情，在释放数据潜能方面具备强大能力。英特尔傲腾在 NoSQL 数据库、推荐系统、KV 存储等方面均有着杰出的用例。

　　吴国安老师最后总结道：

　　数据分析的发展，需要更多的软硬件一体的融合解决方案;

　　英特尔®傲腾™带来新的内存和存储层，更容易的扩展内存和加速存储;

　　更加均衡的成本和性能，为你的业务提供更多、更好的选择;

　　新硬件带来了新的业务创新，让不可能成为可能;

　　更加开放的生态，更加开放互连的系统，更多的客户拥抱新硬件。

　　MongoDB应用数据平台技术洞悉与实践分享

　　MongoDB 北亚区技术总监林涛带来了题为《MongoDB 应用数据平台技术洞悉与实践分享》的主题演讲。

　　分享伊始，林涛老师抛出了一个令人触目惊心的数据：70% 的企业数字化转型都以失败告终。究其原因，在于大部分数据基础设施仍然围绕传统的关系数据库构建，无法满足当前企业使用和处理数据、构建程序的需求。围绕这些需求，选择添加专用的 NoSQL 数据存储，又带来了新的问题。

　　林涛老师介绍道，改变复杂的数据存储结构、让开发效率变得更高、让架构变得更简单、同时具备安全性和易管理性等特性，正是 MongoDB 想要实现的。具体而言，MongoDB 提供了以下产品能力助力企业腾飞：

　　提供灵活的文档模型;

　　提供统一的接口;

　　分布式的架构;

　　冷热数据的自动迁移;

　　客户端字段级加密。

　　最后，林涛老师介绍了多个使用 MongoDB 构建数据平台的最佳实践案例，通过数据平台的方式，让开发人员和企业能够以更低的成本加速创新。

　　直面海量图数据挑战，腾讯在图数据库的业务实践与应用

　　腾讯云图数据库技术负责人肖品带来了题为《直面海量图数据挑战，腾讯在图数据库的业务实践与应用》的主题演讲。

　　肖品老师表示，随着大数据爆发式的增长，数据之间的关系更加复杂多样，对关系数据的关联性计算和分析成为常态需求，由此带来了图数据库技术的腾飞。在腾讯内部，图技术被广泛应用在图数据库、图计算、图可视化等领域。

　　肖品老师重点介绍了腾讯图数据库 KonisGraph 的架构、性能及使用案例等关键内容。KonisGraph 在架构层面采用的是接口层、计算层、分布式缓存、存储层的模式，设计原则是存算分离，保证部署的灵活性。在优化策略上，也做了异步并行、向量化、批量预取以及计算下推等优化。此外，在缓存、索引等策略上也都有独到的设计理念。

　　除此之外，肖品老师还分享了 GraphIdex 图可视化的设计理念及性能效果、Angel Graph 图计算及其框架性能，以及 KonisGraph 图数据库的相关用例。他最后表示，KonisGraph 未来将在以下方向持续优化，完善自身。

　　融合图计算引擎;

　　GQL 语法的支持;

　　自研存储层;

　　缓存层完善;

　　完善周边组件及平台能力。

　　云原生多模 NoSQL在特征存储上的应用实践

　　腾讯 PCG 应用架构平台部 NoSQL 开发负责人赵政，为我们带来了题为《云原生多模 NoSQL 在特征存储上的应用实践》的主题演讲。

　　赵政老师介绍道，云原生多模数据库是当前很多公有云厂商提供云托管存储服务的方式。腾讯自研的云原生多模型 NoSQL 数据库，通过抽象高扩展的数据以及高复用的工作流框架，构建了具备容灾备份、数据分层、多种一致性等能力的通用平台底座，根据业务需求灵活定制可插件化的存储引擎框架和扩展 API，提供数据模型的灵活扩展和快速接入能力。

　　在特征存储的主题上，赵政老师具体分享了“特征”存储的特点、技术挑战，企业需求和当前的解决方案等背景信息。基于这样的背景，腾讯云原生多模 NoSQL 在系统设计和实践上要考虑关键的两点：首先要支持多级存储能力，第二是存算分离。在存储引擎方面，要考虑到同时适用于内存、持久化存储的需求。除此之外，其他需求则可以靠多模 NoSQL 的平台来提供支撑。这其中涉及到的诸多技术挑战，赵政老师都非常细致地向与会者做了分析。

　　分享最后，赵政老师表示，腾讯云原生多模 NoSQL 平台已接入五大业务，日均调用量超过千亿，TB 级全量数据更新低于 1H，分钟级 GB 增量数据更新，显著实现了降本增效的业务收益。谈到腾讯云原生多模 NoSQL 的未来展望，他向与会者描绘了一幅搜广推场景存储和索引云一体化解决方案的美妙蓝图。

　　Day2：NoSQL技术实践与应用

　　峰会第二天聚焦于 NoSQL 数据库在各行各业的最佳实践应用，由 CCIA 常务理事、腾讯云 TVP 韩锋老师担任主持人。

　　主持人开场

　　韩锋老师提出，随着数字化转型的深入，数据越来越得到人们的重视，移动互联网的蓬勃发展产生了大量语音、图像、视频等非结构化的数据，这些数据蕴含了非常丰富的信息，如何把这些数据的价值挖掘出来，如何利用 NoSQL 来助力创新业务的落地，赋能业务快速发展成为企业数字化转型中至关重要的一环。

　　金融场景下的 NoSQL 实战：微众银行 Redis 应用实践

　　微众银行数据平台数据库负责人、腾讯云 TVP 胡盼盼带来了题为《金融场景下的 NoSQL 实践：微众银行 Redis 应用实践》的主题演讲。

　　分享伊始，胡盼盼老师为与会者介绍了社区版 Redis 的痛点。他表示，分片架构主节点异常对集群有影响，权限管理功能有限，资源统计和资源控制功能非常有限，缺少统一的运维与管理平台是微众银行在使用社区版 Redis 遇到的痛点问题。

　　为此，微众银行自研了基于 Redis 的分布式缓存平台 WeRedis，除拥有开源 Redis的特性外，还有如下特性：

　　多租户与细粒度的鉴权;

　　资源控制;

　　子系统进行资源控制;

　　高危操作隔离;

　　扩展性更高;

　　可用性更高;

　　智能分析与管控。

　　胡盼盼老师表示，WeRedis目前已经应用在全行所有的业务场景，有 300+ 系统接入、87 套集群、4000+ 实例数。随后，他具体介绍了 WeRedis 的跨 IDC 部署架构，以及运维过程中在性能、高可用、容量等问题上踩过的坑，并无私分享了从复盘中不断优化来的 WeRedis 应用开发规范。

　　随后，他还分享了包括 WeRedis 管理台功能、鉴权管理及高可用相关的设计与思考。他最后表示，未来 WeRedis 将在容器化、升级到 Redis Cluster 6.0 以及持久化架构等方面继续打磨精进。

　　腾讯音乐 NoSQL 应用与实践：基于 Redis 和 MongoDB 构建社交类业务后台

　　全民K歌基础研发后台 Leader 李革委带来了题为《腾讯音乐 NoSQL 的应用与实践：基于 Redis 和 MongoDB 构建社交类业务平台》的主题演讲。

　　分享伊始，李革委老师为与会者介绍了腾讯音乐 NoSQL 的应用概况，据他介绍，腾讯音乐旗下 QQ音乐、酷狗音乐、酷我音乐、全民K歌四大App的特点是多媒体社交 + 多媒体内容，大量应用了 NoSQL 数据库。

　　李革委老师表示，从业务架构的层面看，数据库选型需要考虑的是匹配业务模型、扛住海量请求、平衡成本开销三大关键点。在这样的原则出发下，腾讯音乐在 Redis 和 MongoDB 两种开源数据库产品下都有深厚的应用实践。

　　具体到 Redis 下，实践维度包括：

　　KV读写;

　　CAS解决方案;

　　分布式锁;

　　轻重分离;

　　列表排序;

　　Bitmap;

　　分布式定时器。

　　在 MongoDB 下，实践维度包括：

　　Embed or Reference;

　　列表存储设计;

　　Replication 策略;

　　maxTimeMS 注意事项。

　　李革委老师最后介绍道，这其中自研的很多相关技术方案已经在腾讯云的数据库产品中可以使用。他还特别提醒与会者，不要轻视生产环境下的数据库应用与操作，避免发生影响重大的事故。

　　Infinity：微信新一代大规模在线存储系统

　　微信技术架构部基础平台的 Leader 郑建军带来了题为《Infinity：微信新一代大规模在线存储系统》的主题演讲。

　　在微信的大规模体量下，对存储的高可用性、高可靠性、性能、成本、低延时都提出了非常苛刻的要求，郑建军老师首先介绍了微信存储的发展历程。微信存储的发展总体上可以分为四个阶段：第一阶段的 QuorumKV;第二阶段是2015年的 PaxosStore;第三阶段是 2018 年期间对 PaxosStore 的能力增强;第四阶段是新一代大规模在线存储系统 Infinity。Infinity 是微信新一代大规模在线存储系统，支持多种数据模型，通过一套统一架构应对不同的业务场景，提供线性一致和近实时访问模式。

　　郑建军老师解释道，Infinity 的诞生背景源于业务对可用性/可靠性提升、更加灵活的调度能力、更快的扩展速度、推荐/直播等业务场景单 key/单表高性能需求。具体而言，Infinity 的核心特性包括以下几个方面：

　　路由中心彻底去依赖：保持非租约高可用水平提升扩展性;

　　数据存储与复制日志解耦：灵活支持存储异构/插件化和多种容灾模式;

　　机器故障自动极速恢复：实现可用性/可靠性的数量级提升;

　　稳定可控的集群扩展：解决高负载集群的扩容悖论。

　　分享最后，郑建军老师也介绍了 Infinity 在微信业务中的运营成效，其中动态负载均衡、模块混合调度部署，利用率提升，3万+台的规模每年节省约数亿成本。此外在除夕零点峰值的更快扩展，视频号奥运期间大量异构机型扩容的案例，也突出展现了 Infinity 的特性能力。

　　圆桌对话：上下十年，数据库技术的发展与变迁

　　精彩的技术分享环节结束后，接踵而至的是启发思考、碰撞价值的圆桌环节。本次圆桌对话以《上下十年，数据库技术的发展与变迁》为话题，由 CCIA 常务理事、腾讯云 TVP 韩锋老师主持，英特尔数据库及大数据资深首席工程师、腾讯云 TVP 程从超老师，腾讯云数据库副总经理罗云老师，微众银行数据平台数据库负责人、腾讯云 TVP 胡盼盼老师，全民K歌基础研发后台负责人李革委老师各抒己见，娓娓而谈，展开了精彩的巅峰对话。

　　作为一个老牌的技术方向，数据库技术已经走过了数十年，在最近十年间又有了飞速的发展。最受人关注的话题莫过于——未来十年，数据库技术将有哪些新的发展趋势?

　　程从超老师的观点是，在底层算力没有发生革命性变化的前提下，未来的发展方向是 Serverless、内存化、分布式、计算存储分离的形态。而这其中不可避免的是要考虑更多安全的问题，这又会对数据库技术的发展带来制约和新的契机。

　　罗云老师表示，腾讯内部对于数据库技术的发展趋势早已有过讨论，内部技术委员会比较明确地在几个方向上达成了一致：第一是国产化，第二是多模型的融合化，第三是云原生化趋势下的软硬件结合突破。

　　胡盼盼老师则从微众银行的业务实践出发，提出了混合事务模式发展的趋势，他表示混合架构的需求一定存在，未来也将成为很多数据库具备的特性。另一个畅想的点是基于新兴开源数据库的一体机产品的出现，满足中小金融机构无力运维的痛点。此外，国产化的趋势也是胡盼盼老师认同的一个方向。

　　李革委老师则从腾讯内部业务的发展出发，表示了对数据库技术融合的发展趋势的赞同。融合一方面在业务侧可以减少消耗，另一方面也可以促进技术上的推陈出新融会贯通。作为开源文化的拥趸，李革委老师表示开源也极有可能是数据库技术的一大发展趋势，通过开源的协同、社区哺育，必将推动业务的发展。

　　最后，主持人韩锋老师总结了技术、业务、开源三个方向的理解和认知，从技术侧，资源分离、数据分层、Serverless 应用都是数据库发展未来可期的方向;在业务侧，大量差异化的场景会催生数据库走分化的路线，但同时也会有分而治之之后融合的趋势;同时，开源也是一种很好的商业模式，可以通过开源的模式去调动更多的资源来做底层的开发。韩锋老师表示无论是从哪个方向出发，数据库技术的发展都将帮助企业和开发者们受益其中。

　　结语

　　数据库技术的发展史，几乎可以视作技术人不断突破极限，追求更高、更快、更强的奋斗史。数据库技术倏忽数十载，既有关系型数据库的独占鳌头，又有 NoSQL 的异军突起，既有商业数据库产品的强悍稳定，又有开源数据库产品的持续创新，现在又迎来了云与数据库的美妙结合。这一方百花齐放的舞台上，既不缺演员，也不少观众，但对于技术的思考、趋势的判断却总不嫌多。

　　本次 Techo TVP 开发者峰会，一以贯之的理念正是通过最用心的分享、最前沿的洞察、最实际的观点，为开发者朋友献上“最有料、有趣、且有用”的开发者峰会。在这个时代转型的浪潮下，坚守科技向善的初心和本心，助力企业与开发者一起通往技术发展的理想国。