2021海上丝绸之路企帆赛圆谦结束共谱数据的冰与水之歌Techo

472℃

  每隔15-20年⌫♏✔☊⋯→☼,数据平台会经历一轮较大的技术变革⌫♏✔☊⋯→☼,新一代的云原生数据仓库在2015年后诞生⌫♏✔☊⋯→☼,如今我们处于智能数据云平台阶段♁™❝♞❁⚃♗。提及云原生的概念⌫♏✔☊⋯→☼,常雷认为⌫♏✔☊⋯→☼,云原生系统的本质是“云环境中可以达到弹性可扩展、容错性好、松散耦合、易于管理”♁™❝♞❁⚃♗。而云原生数据库是在公有云、私有云和混合云等新型动态环境中⌫♏✔☊⋯→☼,基于存储与计算分离架构的⌫♏✔☊⋯→☼,存储和计算可以独立弹性扩展、松散耦合的数据库系统♁™❝♞❁⚃♗。同时⌫♏✔☊⋯→☼,云原生数据库还需具有高性能、高可扩展、一致性保证、符合标准、容错、易于管理和多云支持等特性♁™❝♞❁⚃♗。他还以Snowflake和OushuDB的云原生数据仓库架构为例⌫♏✔☊⋯→☼,对以上特点进行了透彻的解析♁™❝♞❁⚃♗。

  李海翔指出✩€✗☎☁♟,热爱是的驱动力✩€✗☎☁♟,“专注”是最重要的品质✩€✗☎☁♟,坚持在喜爱的行业或方向中深耕✩€✗☎☁♟,时间久了自然而然会有所获✩€✗☎☁♟,有所成℀™❦♩∛☸。我们说“因为相信✩€✗☎☁♟,所以看见”℀™❦♩∛☸。而同时到了今天✩€✗☎☁♟,更重要的是“因为看见✩€✗☎☁♟,所以相信”✩€✗☎☁♟,我们通过十数年的坚持✩€✗☎☁♟,在分布式数据库技术创新上有所发展✩€✗☎☁♟,今天我们已经看到了它的价值和未来✩€✗☎☁♟,所以我们可以相信✩€✗☎☁♟,它将有更大的创新和未来✩€✗☎☁♟,这是驱使我们将一直坚持和投入的基础℀™❦♩∛☸。

  对于广大开发者所关注的应用实战话题☑✔‱,郭炜结合腾讯音乐、新浪、喜马拉雅、B站等丰富的案例☑✔‱,对ClickHouse的典型特性优势、具体使用场景进行了详尽而生动的讲解�❆☉。

  易观CTO、腾讯云TVP 郭炜

  郭炜则运用了一个形象的比喻来进行说明:如今数据和业务、和场景的结合越来越紧密♬☾,未来的组件将百花齐放♬☾,和场景深度结合…�。因此♬☾,做数据的小伙伴要变成“龙”式的数据工程师♬☾,必须结合数据分析师、数据工程师、产品经理乃至运营♬☾,既要有专业知识♬☾,也要不断学习♬☾,拓展自己的知识边界♬☾,再加上主营的某种技术♬☾,才能成为真正的面向未来的数据工程师…�。

  云原生环境下大数据基础技术演进

  腾讯云大数据产品总经理 聂晶

  实时流式计算实践与优化

  腾讯云实时计算服务的研发方向分为四部分:一是提供一站式的开发平台♞�❀▷✓,降低用户的接入和学习成本♕✒♝✑。二是保证用户实时部署前的数据正确性♞�❀▷✓,开发后可直接进行线上测试♕✒♝✑。三是一站式部署♞�❀▷✓,实时的计算任务可直接部署至腾讯云的TKE容器♕✒♝✑。四是提供一系列的运维工具♞�❀▷✓,帮助用户快速解决线上问题♕✒♝✑。

  分布式数据库的演进

  本次 Techo TVP 开发者峰会还为开发者们准备了丰厚的礼品和精致可口的茶歇☸✿♒⚃,在认真聆听大咖的技术干货之余☸✿♒⚃,大家也热情高涨地参与了拍照打卡、游戏互动♅♉⌚®。同时☸✿♒⚃,峰会也在线上多渠道进行了同步直播☸✿♒⚃,在直播间、技术社群中☸✿♒⚃,开发者们也进行着热烈的交流和讨论☸✿♒⚃,峰会收获了来自参会嘉宾、开发者们的广泛好评♅♉⌚®。

  成本低:弹性计算、对象存储5-10倍☂❁✟☎,成本低;

  而在常雷看来€⸬⇧♮☺�,中国现在比较缺的是底层的内核开发人才€⸬⇧♮☺�,而内核是需要沉淀的€⸬⇧♮☺�,在这一领域持续深耕、熟悉技术原理、有经验的开发者未来将得到很好的回报�✟☮☯♫☹。

  腾讯大数据专家工程师 于华丽

  对此,阿卡索团队表示,帆船赛事是一项很有魅力的运动,在海上扬帆航行的过程中就算做足了准备,还是会面临很多无法预料的状况,比如风大会撕裂主帆、帆骨落海、航向出现偏差等,但是只要队友们都沉着冷静,同心所向积极解决问题,一定可以顺利达到终点✂✎⇧⁞❄。阿卡索第一次参加这种竞技类的运动赛事,是一次全新的体验和尝试,与所有参赛的企业家们也有非常愉快的互动交流,进行了有趣的思维碰撞,收获颇丰✂✎⇧⁞❄。

  上午✮☎︽♊,围绕数据库专题✮☎︽♊,腾讯云数据库总经理 林晓斌带来了开场致辞✮☎︽♊,云和恩墨CEO、腾讯云TVP 盖国强、腾讯云数据库专家工程师 李海翔、微众银行数据库平台室室经理、腾讯云TVP 胡盼盼、腾讯云数据库技术总监 张青林进行了技术分享▷✡✞❧。

  从行业到职业♯♒☢,看数据的现在与未来

  陈龙认为✮░ϟ,在大数据领域✮░ϟ,数据开发者可以根据三个方向来规划自身的职业发展:第一是内核方向✮░ϟ,如分布式存储、分布式计算等偏底层技术方向♨⌘⚅。第二是数据架构师✮░ϟ,既了解云产品✮░ϟ,也了解公司业务✮░ϟ,根据业务去规划或使用云产品来解决问题♨⌘⚅。第三是数据科学家✮░ϟ,真正利用机器学习、算法✮░ϟ,以底层支撑的能力去挖掘数据之间的关系✮░ϟ,进而实现通过数据给企业带来价值♨⌘⚅。

  腾讯云弹性MapReduce技术负责人 陈龙

  “云原生数据湖架构是由传统大数据架构上云的缺陷——存算耦合且规模固定而催生的☂♟✗✘。”∜☸¶♎,在《云原生数据湖:新一代数据架构》主题分享中∜☸¶♎,腾讯大数据专家工程师 于华丽指出∜☸¶♎,面对传统架构成本高、灵活性低、性能差、可靠性不高的痛点∜☸¶♎,应对的核心是公有云共享经济的两大机遇——弹性计算和对象存储☂♟✗✘。云原生数据湖架构就是充分结合云上弹性计算、对象存储优势和大数据前沿数据湖技术∜☸¶♎,构建高性价比、高性能的大数据平台☂♟✗✘。

  在分享的最后☻❆,盖国强对国产数据库浪潮之下☻❆,正处于迷茫状态当中的数据开发者们提出了清晰的方向指引及真诚的建议:从DBA到数据库设计、内核研发☻❆,对开发者来说☻❆,职业道路是宽广而明亮的�☃。面对国产化的行业变革☻❆,数据库从业人员只有躬身入局☻❆,尽早转型☻❆,做到“一主一备双引擎☻❆,商用开源两相宜”☻❆,才能够抓住机遇☻❆,一步�☃。

  在发展的过程中,不管遇到多大的困难,以科技赋能教育,让每个人都能够拥有高效学习英语的平台,享受天天在家“留学”的体验,这是阿卡索扬帆起航的坚定目标♫℡☑。未来,阿卡索会继续扬起“让每一位中国孩子都能拥有外教”的教育之帆,进一步推进英语教育普及化战略,以更高性价比的在线外教服务不断打破时间和空间界限,连接更多有英语学习需求的孩子,让好外教走进更多家庭,帮助中国孩子拥有对话世界的能力♫℡☑。

  腾讯云TDSQL-C架构探索和实践

  云原生数据仓库℗☞⏎♪,是大数据领域最前沿的趋势之一✓♣△≡。随着云计算的普及℗☞⏎♪,传统的数据仓库架构在资源弹性℗☞⏎♪,成本等方面已经很难适应云原生的要求✓♣△≡。云原生数据仓库架构又有哪些优势?如何充分结合云原生数据仓库的特点来实现云上大数据应用?在《新一代云原生数据仓库的应用》分享中℗☞⏎♪,偶数科技CEO、腾讯云TVP 常雷对云数仓的定义、架构、应用场景做了全面的介绍✓♣△≡。

  参会嘉宾与开发者合影

  在精彩的演讲分享后☉Ξᵁ,支流科技CEO、腾讯云TVP 温铭担任主持人☉Ξᵁ,提出有关Apache基金会大数据项目的“冷与热”、大数据技术的未来演进趋势、如何平衡云厂商和开源社区、开源商业公司之间的关系、国内“Snowflake”的诞生条件等颇具前沿性的话题☉Ξᵁ,与常雷、郭炜、陈龙、李海翔四位分享嘉宾齐聚一堂☉Ξᵁ,展开了主题为《从行业到职业☉Ξᵁ,看数据的现在与未来》的深度圆桌对话❁☆❄。

  “分布式数据库已经成为行业必需品❤♓☄,在近几年也发展出一些新方向♟❣☪。“在峰会伊始❤♓☄,腾讯云数据库总经理 林晓斌对参会的广大开发者表达了诚挚的欢迎❤♓☄,同时分享了他对于数据库领域新动向的洞察:”在云原生大潮下❤♓☄,云原生数据库为开发者们带来了极大便利♟❣☪。此外❤♓☄,数据库的融合型能力HTAP也是一大趋势和挑战♟❣☪。“对此❤♓☄,他表示腾讯云TDSQL在全国第七次人口普查的大考中交出了令人满意的答卷❤♓☄,本次峰会的分享将会为开发者们勾勒数据技术发展的全景画卷♟❣☪。

  2021年4月24日☛⏏,由腾讯云 TVP 主办的首届 Techo TVP 开发者峰会「数据的冰与火之歌——从在线数据库技术☛⏏,到海量数据分析技术」在深圳深铁皇冠假日酒店成功举办✚❧。峰会囊括数据库、大数据两大专题☛⏏,汇聚十二位深耕数据技术领域的大咖☛⏏,带来了全天候、全方位、沉浸式的技术分享与交流☛⏏,为超过500位现场参会的开发者献上了一场“最有料、有趣、且有用”的开发者大会✚❧。

  偶数科技CEO、腾讯云TVP 常雷

  对于广大数据开发者所高度关注的☑☰,“在新时代应如何规划自身的职业发展”的问题☑☰,作为在数据领域深耕多年的前行者☑☰,各位圆桌嘉宾对后来人真诚地提出了以下建议№☎。

  性能高:对象存储解决小文件问题、缓存加速、稀疏索引、shuffle性能、commit性能高;

  微众银行数据库平台室室经理、腾讯云TVP 胡盼盼

  未来℆♯,微众银行数据库的演进方向会朝硬件国产化、云原生与容器化、智能化预警(AIops)发展♎⌘。

  5月2日—5月5日,为期四天的2021海上丝绸之路企业家国际大帆船赛圆满结束,本次航程108海里,跨越了6个海岛♞®。在四天的赛程中,参赛的企业家们分别体验了场地赛、对抗赛、环岛赛等不同的比赛形式,在各自团队的同心协力下顺利完成了一场又一场的精彩比赛,并获得了愉快的航海体验♞®。

  ClickHouse 技术的实践与应用

  腾讯云数据库专家工程师 李海翔

  “分布式数据库系统的演进是由内在的、本质性的需求在推动▶♘♡☑,高可靠、高可用、高性能、易用性等基础因素在推动着分布式技术不断地向前发展♤✐☁✮。”李海翔从学术界、工业界的角度对比分析了分布式系统经典架构、主流技术的差异♤✐☁✮。他认为▶♘♡☑,分布式数据库系统里技术层面最核心的一定是事务▶♘♡☑,而事务处理会产生数据异常♤✐☁✮。此外▶♘♡☑,分布式数据库系统还面临着缺乏一致性所带来的挑战♤✐☁✮。同时▶♘♡☑,新的硬件在计算、存储上也面临挑战♤✐☁✮。基于这些需求▶♘♡☑,腾讯的TDSQL系统包含了分析、事务处理、强一致等特性♤✐☁✮。随后▶♘♡☑,他详细地展示了腾讯的TDSQL开源系统3TS如何解决数据异常问题▶♘♡☑,TDSQL研究的基础技术▶♘♡☑,也是基于学术界的认识和业界的现有产品对于强一致的支持程度得出的结果♤✐☁✮。

  腾讯云数据库技术总监 张青林

  此外✈☀❥,常雷提出在新一代云原生架构下✈☀❥,数据湖正逐渐简化✈☀❥,出现了“湖仓一体”的概念✈☀❥,一套系统就能实现数据加工、数据资产管理、数据治理、数据科学、机器学习、建模等功能✈☀❥,新一代数据云平台的架构解决了传统的多个集群、多个系统之间做ETL等复杂的问题♝☸®。