新闻资讯
咨询热线
(86)17207131265电话:(86)17207131265
传真:(8610)65184176
邮箱:dezhongwanqinftm@sohu.com
数据库Bsports登陆「敢死队」
蚂蚁OceanBase、阿里云PolarDB 和阿里集团X-DB 的队员们,挤在杭州的一间会议室,试图来一场终极PK,意在争夺国产数据库领导者地位,争论声此起彼伏,火药味十足。
彼时,数据库界正值群雄逐鹿之势。国产新秀如阿里数据库三杰,以及腾讯的TDSQL和华为的Gauss DB崭露头角,试图挑战Oracle之流的主导地位。
时至今日,当时的参与者向雷峰网(公众号:雷峰网)回忆起“论剑”岁月,仍止不住地感慨:确实有点后怕——如果那个指标没跑赢,他们的队伍可能就要被放弃了。
之所以要重提七年前这场“华山论剑”,是因为它不只是一场寻常的内部,一次技术路线之争。三支队伍的角逐始末,正好是这些年来轰轰烈烈国产替代浪潮的发展缩影。
现在再谈“去IOE”,再谈数据库自研和国产替代,OceanBase、PolarDB、X-DB,和那群早期投身国产数据库的幕后功臣,都是绕不开的名字。
刘振飞告诉阳振坤,阿里巴巴正蒸蒸日上,正寻找像阳振坤这样的人才。刘振飞询问阳振坤是否有兴趣加入阿里巴巴,因为那里有很多创新项目等待他大展身手。
阳振坤虽然心动,但还是有些犹豫,毕竟每一次职业选择都可能改变人生轨迹。刘振飞看出了好友的迟疑,便鼓励他不妨尝试一下。
经过深思熟虑,阳振坤决定搏一把。2010年5月11日,他正式成为阿里巴巴的一员,直属上司是当时的面试官吴泳铭。
阳振坤向吴泳铭阐述了自己的想法:数据库技术已经有半个世纪的历史了,但一直以来都局限在集中式架构上。现在互联网发展得这么快,集中式数据库无法完全满足我们的需求。我觉得现在正是做分布式数据库的好时机,天时地利人和,机会难得!
阳振坤随即详细解释了何为天时地利人和:市场对新型数据库的需求迫切是天时,数据库系统的复杂性和实时响应需求是发挥技术优势的好机会,这是地利;而他专注于分布式系统,开发分布式数据库正好结合两者优势,这是人和。
当吴泳铭询问如何保证项目成功时,阳振坤发现阿里内部当时拥有高达6500个数据库的巨大存量。他认为这庞大的数据规模正好具备各种业务场景和数据需求,可以用来检验数据库产品的优劣。
阳振坤估算,只要将现有业务的10%迁移到OceanBase上,就能让它在实践中经受充分考验并持续优化,从而保证稳定可靠。他认为这个策略既能最大限度地利用现有资源,又能降低风险。
当年轻工程师曹伟(花名鸣嵩)踏入阿里巴巴面试间的那一刻,他怎么也想不到,这次看似平常的面试不仅将决定他的职业轨迹,更为阿里数据库领域日后的发展埋下了重要种子。
面试官们都来自OceanBase团队,他们对鸣嵩的提问既深入又密集,涉及了OceanBase的多个技术细节:你对OceanBase的架构有多少了解?在你看来,OceanBase目前面临的最大技术挑战是什么?如果让你来解决OceanBase的某个具体问题,你会怎么做?
淘宝核心系统部门的负责人章文嵩的一句话,却改变了他的职业轨迹:这小伙子,更适合做开源数据库。就这样,鸣嵩阴差阳错地加入了另一个部门,开启了他数据库之旅。
更加让鸣嵩没想到的是,几年后,自己竟然开发出了与OceanBase分庭抗礼的PolarDB。
2014年,AWS推出了Aurora数据库,引发了整个行业的讨论。Aurora不再是传统意义上的数据库,而是一个依托云计算基础设施的全新物种。它就像是一支由超级机器蚂蚁组成的智能大军,轻松调遣云平台的分布式资源,颠覆了传统数据库如小蚂蚁般辛苦搬运数据的模式。
这一创新让阿里云技术团队意识到,要在云时代立于不败之地,必须打造自己的超级蚂蚁军团。与此同时,阿里云正处于商业化的关键时期,大客户们对高性能数据库的需求如潮水般汹涌而来。
在这内忧外患的局面下,阿里云领导层做出了一个关键决策:研发一款可与亚马逊Aurora抗衡的数据库产品。胡晓明、李津等人将这一重任交到了曹伟和余锋(花名褚霸)两位核心研发人员手中。
就这样,当年那个差点加入OceanBase的年轻人,如今肩负起了打造PolarDB的重任。这是一场与时间赛跑的战役,也是一次自我的巨大挑战。鸣嵩深知,他不仅要追赶AWS的脚步,还要证明PolarDB的价值。
相比于OceanBase和PolarDB这些早早亮相的数据库产品,X-DB可以说是阿里最晚问世的一款。直到2016年,X-DB才正式揭开神秘面纱,但其诞生的背后,却是一场跨越十年的技术角力与命运转折。
每逢Oracle年会,阿里员工都能享受贵宾待遇,专车接送、悉心款待。Oracle官网上,阿里的logo长年放在最显眼的位置。而阿里内部,更是汇聚了中国最多的Oracle认证工程师。
双方看似和谐,实则暗流涌动。随着淘宝业务的爆炸式增长,Oracle的局限性逐渐显现。它最多只支持20个节点共享,而阿里需要调度几十万台服务器来应对海量数据。更要命的是,高昂的授权费用如同一把悬在头顶的利剑。
2010年,阿里数据库老兵张瑞临危受命。他带领团队开始了一场看似不可能的任务:用开源的MySQL取代昂贵的Oracle。这无异于以卵击石,但张瑞别无选择。
张瑞很快发现MySQL也存在一些问题,如事务完整性和安全漏洞等等。为了解决这些问题,张瑞决定自行对MySQL进行修改,开发了一个全新存储引擎,并将其命名为AliSQL。
这一收购使Oracle间接获得了对MySQL的控制权,引发了业界对MySQL未来走向的担忧。当时有传言Oracle会修改MySQL的license,将其改成商业协议。
一旦核心组件被闭源,开源社区通常会创建新的分支来维护开放性,而张瑞此前率队研发的AliSQL,顺理成章成为了开源阵营的新力量。
AliSQL的诞生,不仅让阿里摆脱了对Oracle的依赖,还成为了开源阵营的新希望。它像一颗种子,悄然埋下,等待绽放的时机。
2015年,机会终于来了。阿里决定开发一款服务于集团的分布式数据库。张瑞再次挺身而出,带领团队将AliSQL的核心技术融入新项目中。经过一年的潜心研发,X-DB终于在2016年问世。
X-DB的出现,打破了阿里数据库产品线的既有格局。此时的阿里,已然拥有了三大数据库产品:代表支付宝的OceanBase、代表阿里云的PolarDB,以及代表阿里集团的X-DB。
发起人正是OceanBase CTO杨传辉(花名日照),另一边是PolarDB的鸣嵩和X-DB的何登成(花名圭多)。
比赛规则简明扼要:以一个标准化的Benchmark为评判标准,三款数据库分别部署在三台主流服务器上,经过一个月的优化调试,最终比拼性能高低。
OceanBase团队凭借其在分布式架构和高并发处理方面的独特优势;PolarDB团队则将注意力集中在RDMA网络的极致优化上;X-DB团队更是融会贯通开源精髓,内外兼修,在追求高性能的同时不忘确保高可靠性。
决战之日终至,三队鏖战一番,竟然是个平局:没有任何一个团队能够压倒性地战胜对手。(更多比赛期间的细节故事,添加作者程敏微信LCMfancyworld获悉)
谁也未曾料到,即便是标准化的Benchmark基准测试,也很难全面评估一款数据库的所有优劣。数据库的评价标准比想象中要复杂得多。
他们调停劝和说道:各位,我们何必过于执着呢?三个团队各有所长,三大产品各具特色,何必非要分出高下呢?
回想起那一刻,我仍心有余悸。鸣嵩开口回忆,当时PolarDB团队成功的关键,在于快人一步辨识到RDMA技术对数据库的价值,并将其应用到产品中,充分发挥RDMA网卡性能,大幅度降低了数据库内部数据复制延迟。PolarDB确实在数据库延迟上做到了极致,但也仅有这一优势,否则PolarDB产品当年很可能就已经夭折。
为赢得这一指标,当时PolarDB团队可谓拼尽全力,每天晚上都加班到凌晨三四点,卯足了劲头。
说到艰辛,阳振坤至今记忆犹新:我就好像个大龄推销员,逐个部门登门拜访,他回忆道,说到口水都干了,最后终于有一个项目愿意尝试。
这个愿意给OceanBase一个机会的项目,就是夹。然而,夹之所以肯用OceanBase,并非因为他们对这个新生数据库抱有多大信心,而是因为他们正面临一个技术难题:
每次用户打开收藏夹时,系统都需要检查大量已收藏商品的状态,比如是否降价或下线。这看似简单的操作实际上给数据库带来了巨大压力。它需要频繁访问硬盘上的商品数据,而硬盘的顺序访问特性使得这种大规模的数据访问效率低下。更糟糕的是,如果有很多用户同时访问收藏夹,数据库的计算量和I/O需求会大幅增加,进一步加剧了性能问题。
面对这一困境,夹主管魏虎向阳振坤承诺,如果能解决这个问题,就使用OceanBase。
阳振坤明白,这是当时OceanBase进入业务大门的唯一机会。他深入分析了问题,仔细观察数据访问模式,最终提出了一个创新方案。
他注意到每天实际修改量小,设计新机制:低谷期将修改存内存,下个低谷期与原始数据合并写回硬盘。
这个方案利用内存高速读写特性。用户访问时只读内存数据,提高响应速度。低谷期合并数据避免影响高峰期业务。
夹原需32台服务器,使用OceanBase后,服务器减至14台:12台处理静态数据,2台负责动态数据。
简单理解,OceanBase让夹用更少机器解决问题,提升性能。这一结果让魏虎十分满意,直到今天,夹仍然是OceanBase的客户。
如果说OceanBase早期的挑战是缺乏用户信任,那么PolarDB在起步阶段则面临着研发人才匮乏的困境。
起初,鸣嵩的处境可以用捉襟见肘来形容。整个项目只能从集团内部借调六个人来组建团队:操作系统和存储团队各借三人,组建了一支单薄的队伍。
尽管如此,PolarDB在技术上还是取得了突破,在华山论剑后的阿里会议上,PolarDB团队因出色的RDMA实现而受到表彰。
公司决定将PolarDB的借调人员全部收回,理由是他们应该优先支持集团核心业务,而非阿里云的数据库项目。就这样,鸣嵩的团队陷入了更加窘迫的境地。
在这种困境下,鸣嵩每次向胡晓明汇报工作时,都感觉自己像个骗子。他不得不在人手短缺的情况下,不断为PolarDB的价值和潜力向高层辩护。
你才几个客户,凭什么要求更多研发资源?你凭什么要增加人员编制?你凭什么声称这是个战略性项目?这些来自高层的灵魂拷问时常出现在鸣嵩耳边。
阳振坤和鸣嵩早期的经历恰如其分印证了那句俗语:万事开头难。然而在数据库研发的世界里,每一步都比前一步更具挑战性。
阳振坤曾以为,成功争取到夹这第一个业务后,其他部门的大门也会随之敞开。然而,现实远比想象更为残酷。
时光飞逝,转眼间到了2012年深秋,OceanBase陷入困境。新业务难觅,两年期限临近。阳振坤知道,年关前无突破,OceanBase恐怕将面临被扼杀在摇篮中的命运。
2012年岁末,王坚为阳振坤指了一条明路:支付宝正在进行去IOE工作,不如你带着OceanBase团队去支付宝试试?
于是,在王坚的穿针引线下,阳振坤率领OceanBase团队于2012年11月15日从大淘宝转战支付宝。(更多 OceanBase 转战支付宝的背后详情,添加作者程敏微信LCMfancyworld了解)
加入支付宝后,阳振坤向支付宝CTO程立(花名鲁肃)自荐用OceanBase替代Oracle。但业务团队忧心忡忡:万一OceanBase出问题怎么办,这么多金融数据出错或丢失了可不是开玩笑的。
会上,鲁肃直言:“OceanBase有什么问题,大家就具体指出来,不要说感觉不稳定,害怕出问题这些虚的。
经历半年艰难磋商,临近2014年双11,OceanBase终获准承担小规模1%流量测试。这1%对OceanBase而言,已是极其宝贵的一次机会。
随后在双11前压力测试中,业务方发现Oracle难以支撑99%流量,遂主动将额外9%流量交由OceanBase负责。就此,OceanBase成功接手了10%流量。
2014年11月11日凌晨,阳振坤所在的作战室氛围紧张。支付宝CEO彭蕾突然推门而入,问道:阳老师,有信心吗?
阳振坤望着彭蕾,走到窗边指着窗外:你看窗户都打开了,不成功我就跳下去。
2018年6月的一个深夜,北京首都机场灯火通明,鸣嵩正在等待着最后一班飞往杭州的航班。就在这时,一个熟悉的身影出现眼前——他的老板,胡晓明。
在业内,胡晓明以其强业务导向而闻名。这种风格并非突如其来,而是自他执掌阿里金融时期就一直如此。他对业务的重视程度,可以说是近乎苛刻。
看过《阿里云敢死队》的读者应该还记得,2011年底,阿里巴巴做出了一个关键决策:全面采用ODPS,而阿里金融是ODPS主要服务的部门之一。
2012年3月23日,在三安山庄召开项目启动会上,阿里金融负责人胡晓明的发言令现场震惊。他表示,由于一系列失误,阿里金融业务岌岌可危,濒临崩溃。胡晓明当场情绪激动,泪流满面,并向在场人员鞠躬三次,恳求大家一定要把技术做好,关系到阿里金融的生死存亡。
这三次鞠躬充分体现了胡晓明对业务的极度重视,尤其在业务受到威胁时奋力捍卫的决心可见一斑。(加作者程敏微信LCMfancyworld,交流你所知道的胡晓明)
因此,当胡晓明面对一个月只有一个客户的PolarDB时,他的不悦自然就不难理解了。他直截了当地问道:为什么你们一个月只有一个客户?
鸣嵩顿时语塞。事实上,PolarDB刚刚结束公测,连那唯一的客户也只是个漏网之鱼,不是真正的客户。面对老板的质问,他不知如何作答。
鸣嵩听取了胡晓明的建议,决定改变思路,开始寻找标杆客户。在接下来的几个月里,他逐个客户登门拜访,最终找到了10家涵盖在线教育、SaaS、工业等领域的标杆客户,如猿辅导、法大大、华通数据等。
在云栖大会期间,鸣嵩展现并解读了一系列标杆客户案例。同时,公司还邀请了多家媒体前来进行专题报道,充分释放了案例的影响力。这一策略证明行之有效,借助标杆客户的影响力,吸引了更多潜在客户的关注。
回顾这段经历,鸣嵩感慨胡晓明虽然直言不讳地指出别人的不足,但同时也提供了切实可行的建议,对于一个技术出身的他来说,这种早期商业化的经验非常有效。
阿里意识到,OceanBase、PolarDB和X-DB三足鼎立的局面,宛如古代三国,各自为政,相互角力。这种分散的格局,显然不利于资源的高效利用和技术的统一发展。
于是,在公司高层的主导下,一场大规模整合拉开了序幕。阿里集团的数据库团队和阿里云的数据库团队开始了一次深度融合。随着公司组织架构的调整,X-DB正式加入PolarDB阵营,化身为PolarDB-X。从此,PolarDB不再仅仅是一个单一的数据库产品,成为了一个数据库品牌。
曾经的三国鼎立之势,随之烟消云散。取而代之的是OceanBase和PolarDB的双雄争霸。(幕后故事尤为精彩,可添加作者程敏微信 LCMfancyworld 获悉)
国产数据库发展,主要抓住了两次机遇,一次是国产替代,一次是云计算。OceanBase抓住了国产替代浪潮,而PolarDB则乘风破浪迎接了云计算时代。叶正盛(斗佛)如是说。
王贲是大数据平台御膳房和DataWorks创始人。有一次,他与日照在香港招贤纳士时,日照突然提出一个怪主意,建议他们交换一下岗位,由日照来面试大数据人才,而王贲则负责数据库领域的招聘。
日照苦笑着说,大数据领域很有吸引力,底层技术先进,前景欣欣向荣,而他们搞数据库的日子太过寂寞清苦,暂时看不到前景所在,如果将来他找不到出路,还得仰仗王贲来帮助。
过去,国产数据库产品都默默无闻,甚至连WPS也曾被认为前景黯淡,直到国家大力支持信创,这些产品才重新迎来发展春天。
最近,王贲与日照见面时,王贲忍不住打趣说,如今轮到他抱住日照的大腿了,他得紧紧抱住OceanBase这棵大树才行。
日照感慨万千,感谢国家政策,硬生生将这个几近夕阳的传统行业,变成了朝阳产业,没想到做数据库的,也能迎来今天的大好时光。
云计算浪潮汹涌而来,国产替代成为大势所趋,为国产数据库的崛起营造了良好的外部环境。然而,对阿里巴巴而言,更为重要的是那股植根于每一位技术人员心中的勇于创新和自我的精神。
彼时,刚入职的王坚与工程师们广泛交流,结缘了B2B部门的冯春培(后加入支付宝,花名孔丘)。冯春培向王坚建议,随着PC CPU的增强和SSD技术的发展,可采用PC server+SSD+MySQL逐步替代Oracle。他断言,如继续依赖Oracle,可能失去选择的能力继而失去议价能力。
王坚认同孔丘的洞见,并向管理层转述:有个叫冯春培的数据库工程师,不惜砸掉自己的饭碗,也要推动技术革新。
但很快有个意外情况发生——Sun Microsystems于2008年收购MySQL,后2009年4月又被Oracle收购。蔡崇信对从Oracle切换至MySQL的有效性表示担忧,并征求王坚意见。王坚转发蔡崇信的邮件予冯春培回复。
孔丘在邮件里提到:虽然Oracle收购了MySQL,但从技术角度问题不大。我们需要验证阿里是否具备从一个数据库平滑切换至另一个的能力。如果有了选择能力,我们将来也可考虑其他数据库,如PostgreSQL。
蔡崇信的担忧是合理的。从财务角度看,阿里巴巴替换Oracle是为降低成本、增加议价能力,但Oracle收购MySQL使情况复杂化。
2010年,阿里最终确立去IOE战略。(这一战略背后隐藏了哪些挑战?添加作者微信LCMfancyworld了解)
在B2B领域,陈栋带领团队以1688中文站的商品表为突破口Bsports下载,率先推进;支付宝方面,李颖赟(花名浔阳)挑起大梁,将交易系统作为改造重点;而在大淘宝板块,后羿肩负重任,选择淘宝商品库作为首个应用场景。这三支队伍各自发力,逐步推进,为去IOE战略在阿里内部的实施铺平道路。
有趣的是,孔丘、陈栋、浔阳、后羿等人恰恰就是最擅长使用Oracle的那批人。这相当于,这群最了解IOE的人,选择了亲手革自己的命。他们的专业知识不仅没有成为束缚,反而使他们看到现有技术的局限性和市场对新解决方案的需求。
在这些自我的DBA的推动下,一场数据库自研浪潮悄然兴起,于是就有了前文这群国产数据库先锋的故事。
“玄奘之路”正是一项由胡晓明发起的徒步活动,旨在锻炼参与者的意志力与心智。离哲作为这场精神洗礼的亲历者之一,深刻体会到了其中的挑战。
回忆起玄奘之路的历程,离哲仿佛仍能感受到那四天半旅程中的每一步挑战。脚下是盐碱地,周围是骆驼刺,这些自然环境的考验无时无刻不在挑战参与者的意志。然而,最令人难忘的莫过于第三天的征程。目的地风车镇明明近在眼前,却始终若即若离,这种视觉上的欺骗带来的心理煎熬,远超过身体疲惫。
经过超过10小时的艰苦跋涉,离哲终于抵达了风车镇,那座直径两米的标志性风车不仅见证了他的坚持,更成为了他职业生涯的隐喻。
在职业道路上,离哲屡次面临类似抉择Bsports登陆。王坚时常建议他肩负更广阔职责,那无疑是职场上的捷径,但离哲却坚守热爱的数据仓库领域,这一决定可能令他失去更快晋升至P11的良机。
有时候,最快的路线并非最佳,我们要选择难而正确的道路。离哲这番话不仅概括了个人成长的真理,更折射出国产数据库开拓者的奋斗历程。
从最初依赖国外产品,到后来拥抱开源并自主研发,国产数据库开拓者走过了一条难而正确的道路。尽管面临技术壁垒和市场冷遇,他们依然坚持自主创新。
如今,阳振坤和杨传辉依然坚守在一线,继续深耕数据库技术。离开阿里云的鸣嵩选择了创业,开辟国产数据库领域的新天地,最近在为新产品上线全力以赴。还有许多数据库老将已转战其他赛道,但谈起往昔,仍然热血沸腾。
这些不同的人生轨迹,共同交织出国产数据库近年来的蓬勃图景。从开拓者到勇敢的创业者,再到怀揣记忆的行业前辈,他们犹如“玄奘之路”上的徒步者,继续探索、前行、突破。
雷峰网将持续更新《阿里数据驱动二十年》系列,欢迎添加作者程敏微信交流:LCMfancyworld。