Skip to main content

3 posts tagged with "3306π深圳站2021"

View All Tags

· 7 min read

问题一

小编: 虎哥现在你对外挂的 Title 是:Datafuse Labs 联合创始人,对外的开源产品是 Databend , 这两者是什么关系呢?

BohuTang: Databend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓,提供极速的弹性扩展能力,致力于打造按需、按量的 Data Cloud 产品体验。

「Datafuse Labs」成立于 2021 年 3 月,是开源项目 Databend 的背后团队,团队在云原生数据库领域有着丰富的工程经验,同时也是数据库开源社区活跃贡献者,目前在中国、美国、新加坡均设有研发中心,专注于前沿技术领域的创新与实践,以及 Databend 开源生态、社区构建。 目前 Datafuse Labs 组建了 一个Worldwide Remote 式办公的国际化数据库研发团队,同时也欢迎大家关注 Databend 这个结合云调度能力和弹性的新式数仓:https://github.com/datafuselabs/databend

问题二

小编: 听虎哥您介绍 Databend 是定位云原生开源的数仓系统,对于云原生数仓系统,您认为主要的挑战在哪里?

BohuTang: 对于云原生这个概念,相信很多人也非常的模糊,或是很多朋友认为云厂商的数仓产品就是云原生数仓,其实这个理解是有问题的。可以先不纠结云原生数仓这个概念,我们先来看看从用户角度对数仓需求的几个层次:

  1. 不想采购硬件来安装数仓软件 - 这个非常容易满足,云主机就可以
  2. 不想运维数仓软件,比如管理版本升级等 - 这个需求也比较容易满足,大部分云厂商的数仓PaaS就可以
  3. 秒级的弹性扩展能力 - 这个需求满足起来会比较困难,要求数仓从架构上针对云基础设施进行重设计,比如做存算分离等
  4. 只为使用的资源付费 - 这个需求满足起来会非常困难,要求数仓对资源的控制和调度做到非常精细化 目前大部分数仓产品做到了第 2 层次,Snowflake 做到了 3 和 4, 这里最大的挑战就是 3 和 4。以当前的大环境来看,这两个需求借助于云基础设施才可以做到,所以 Databend 从第一天起就是完全面向云架构设计, 我们做了大量的工作来让状态和计算分离,致力于满足这两个需求。

问题三

小编: 对于数据库内核开发我们觉得是一个门槛很高的活,想咨询一下虎哥,现阶段你们公司的团队是一个什么样规模以及您怎么快速的组建的这个团队?你们现在的工作方式大概是什么样的?

BohuTang: 数据库内核,尤其是 Cloud Data Warehouse 研发是一个很酷和充满挑战的工作,因为这块目前还是个荒地,我们也是一边探索一边工程实践,正因如此才充满了乐趣。 在组建 Databend 内核研发团队时,我们把眼光放到了全球,现在中国、美国、新加坡都有我们的内核研发人员,未来可能还会有其它国家的同事参与进来。现在主要以 ClickHouse 头部贡献者为基础 ,加上阿里、Google 等公司的朋友组建的内核团队,一个几十人的”特种兵”团队,都是在数据库领域摸爬滚打多年的实战老手。 Databend 内核研发团队以 Worldwide Remote 模式办公, 大家通过 github 进行全球化协作,所有的工作都会在 Databend 社区进行沟通,追求开放、透明。每周五上午会有一个weekly meetup, 一般会针对某个技术点做一个分享,每次的内容也会 open 出来:https://github.com/datafuselabs/datafuse-presentations 。从整体上讲,我们现在工作方式还是比较 open ,自由,平等,数据库研发是一个创新型工作,有了足够的自由度,创新能力才可以更好的发挥。

问题四

小编: 目前看 Databend 开发 Roadmap 是 0.6 版本, 虎哥给我们介绍一下 0.6 版本大概包含哪些特性?

BohuTang: Databend 所有的开发都是以 Github 协同。 目前 0.6 版本的 Roadmap 也在 github 上公开:https://github.com/datafuselabs/databend/issues/2525 这里面对用户影响最大的就是用户配合 bendctl 非常方便的起 Databend, 使用 local disk 或是 S3 跑通 ontime 的数据加载, SQL 查询等。 同时引入云上的一个数据导入语法。 我计划在在 12 月 18 日参加 3306π 社区活动时给大家做一个展示。

问题五

小编: 最后想问一下虎哥,在哪里可以更多的关注或是联系到 Databend ?

BohuTang: Databend 是一款开源云原生数仓产品,项目托管在 Github 上面,目前 Github 上的 Issue , Discussions 都在使用, 方便大家进行 PR 或是讨论。 另外我们开放有: Slack: https://join.slack.com/t/datafusecloud/shared_invite/zt-nojrc9up-50IRla1Y1h56rqwCTkkDJA

官方社区网站: https://databend.rs Facebook group:https://fb.me/databendcloud Twitter: @Datafuse_Labs 公众号:Databend 微信群: 微信搜 Databend ,添加小秘书申请入群。

如果有对 Databend 有任何的建议或是问题,不用犹豫,可通过上面的多个渠道联系哦

· 6 min read

演讲议题:

NoSQL 技术实践及未来展望

讲师简介:

王奇,青云科技 | 数据库团队负责人

目前从事 PaaS 中间件服务(Redis/MongoDB/ELK 等)开发工作,对 NoSQL 数据库有深入的研究以及丰富的二次开发经验,热衷对 NoSQL 数据库领域内的最新技术动态的学习,能够把握行业技术发展趋势。

议题介绍:

分享先从 Redis 入手,了解 NoSQL 早期的应用场景。再到谈谈近些年来知名数据库厂商修改开源协议对国内用户影响及应对方案。最后,让来展望一下在未来数字化转型大背景下,NoSQL 们将有哪些更复杂的场景去应对。

嘉宾专访

欢迎青云科技的数据库团队负责人,王奇老师来到本次3306π-深圳专场

问题一

小编 青云科技是我们的老朋友了,这次也非常荣幸邀请到王老师,小编先请王老师简单做个自我介绍,3306π的小伙伴们想更加了解下您~

王奇 大家好,我是王奇,是3306π的新朋友。我于 2021 年加入青云,目前担任 Redis /ELK/MongoDB 等 NoSQL数据库方向的研发 Leader。曾就职于IBM,参与云计算相关的研发工作。对NoSQL数据库相关的技术有深入的研究,热衷对NoSQL数据库领域内的最新技术动态的学习,能够把握行业技术发展趋势。

问题二

小编 青云的数据库团队,一定是最核心的团队之一了,也一定紧跟业界的技术动态,才为我们提供了优质的 NoSQL 数据库服务和产品,对于青云最具吸引力的数据库服务和产品中,王老师可否简单介绍一些给大家呢?

王奇 好的,青云最受用户欢迎的是缓存服务,我们基于 Redis 支持了 6.x 版本的新特性,加上IAAS 的底层的改进,QPS 和服务体验比以往提升了一个档次。除了 Redis 以外,我们最新发布了大数据平台 OpenSearch服务,为用户提供安全、高质量的搜索和分析套件。还有已经步入内测阶段的高性能分支KeyDB 产品,KeyDB 是缓存中最快的内存数据库,不久的将来会在公有云与大家见面。

问题三

小编 王老师本次的主题《NoSQL技术实践及未来展望》,关于NoSQL的产品和场景定位,王老师一定有更独到的见解,可否向大家分享一二呢?

王奇 在数字化转型的背景下,越来越多的用户离不开使用 NoSQL 技术,例如大家对 Redis 其实并不陌生,它基本成为了企业核心必备的开源软件之一。所以越来越多的用户会选择基于缓存来实现他们的核心业务,如何帮助他们优化改造现有逻辑,基于需求来选型缓存产品,显得至关重要。

问题四

小编 和王老师的交谈过程中,小编有注意到王老师对国内的用户的数据库场景和环境背景有很深入的研究,第一个环节就是选型,请问王老师选型的大致思路?

王奇 是的,我们都知道数据库的场景是有需求支撑的,如果不了解是没办法进行选型和对比的,如果你想了解某一款数据库产品,可以先从需求入手,在业务的驱动下如何选择合适的数据库产品,建议先从 db-engines网站的数据库排行找些合适的,观察开源产品的社区状态,做一个 SWOT 分析,然后对比选择。

小编再次感谢青云科技的数据库团队负责人王奇老师带来的本次精彩访谈,相信有很多朋友想和王老师一起探讨一二了~ 可以有~ 12.18号3306π-深圳场,王老师和小编会在这里等待着大家,而且会有其他神秘嘉宾和礼物在等待着你们哦~

· 7 min read

演讲议题:

MySQL内存统计的分析与实践

讲师简介:

刘开洋,爱可生|技术工程师

供职于上海爱可生,从事数据库运维和产品交付,对数据库及周边有浓厚的学习兴趣,喜欢看书,追求技术。

议题介绍: 对于MySQL的内存泄漏在业内总是一件让人很头疼的事情,这次和大家分享下,我们从不同的维度对MySQL的内存统计进行相关的认识,进一步分析内存使用异常的现象,从而将其拓展到其他数据库甚至更加宽泛的C++系统中。

嘉宾专访

这次小编邀请到我们的老朋友-爱可生的技术专家,刘开洋老师,为我们带来《MySQL 内存统计的分析与实践》

问题一

小编 知道,爱可生里卧虎藏龙,有非常多的技术专家走进了大家的视野,也有很多技术大佬隐藏在技术一线,首先我们邀请刘老师向3306π的小伙伴介绍下自己吧。

刘开洋 大家好,我是来自爱可生交付服务部北京团队的一名技术工程师,就像小编说的,加入爱可生之后接触到很多技术牛人,便开始了内卷,技术即是服务,工作就是学习,个人对数据库及周边技术有浓厚的学习兴趣,喜欢看书,追求技术。

问题二

小编 刘老师不仅从事数据库运维,还负责相关产品交付,小编请刘老师介绍下目前您这边主要负责爱可生的什么产品呢,有什么优势呢?

刘开洋 来爱可生之后,对我司的云树系列产品都有所接触,其中北京这边的业务产品还是以DMP、RDS、DBLE以及SQLe为主,负责的客户也涉及银行、证券、保险、通信以及制造业等诸多领域,感触最深的是爱可生的DMP的自动化运维给客户带来的诸多便利,节省了很多的人力物力;DBLE也拥有很多社区贡献者,分布式使用体量很大,有独到之处,很多用户也可以进行二次开发,被深入到用户业务的各个方面。

问题三

小编 说到产品,好的产品不仅仅在需求上拿捏用户痛点,在设计上精益求精,在产品交付的过程也是非常有学问的,而且也是被大家很容易忽视的一个能力,刘老师可否分享下您在产品如何有效交付方面的经验呢?

刘开洋 对于一个优秀的交付来讲,首先需要明确产品的定位,有条理地设计用户体验,在进行POC的过程中衡量相关指标,能够经受重复的检验,以客户为导向,专注于产品是否能真正解决客户的问题。在交付完成之后并不是真正的完成交付流程,还需要不断关注客户后续的反馈与体验,在一次次地沟通中不断对自己的能力与经验进行迭代。

问题四

小编 本次刘老师带给我们的主题《MySQL内存统计的分析与实践》,所以小编采访下刘老师,主题设想的出发点是什么呢?会带给3306π小伙伴哪些惊喜呢?

刘开洋 官方一直没有过多关注MySQL内存的使用,对它的监控也不太全面,因为开源的原因,MySQL对于自身源码逻辑的设计仍不可避免地存在一定的缺陷,很容易在触发某个模块的bug导致了虚拟内存暴增,内存泄漏的问题,这次和大家分享下近期的一些内存问题带给我的一些内存统计上的思考,我们除了DBA常用的工具,还有哪些手段可以帮助我们定位MySQL的内存问题,从而扩展到对其他数据库以及C++程序的内存统计中

问题五

小编 最后小编邀请刘老师和大伙讲讲,在您丰富的经验中,通过内存统计主要都可以解决我们哪些MySQL的常见问题呢?

刘开洋 通过MySQL不同维度的内存统计,可以帮助我们更好地理解数据库内存的使用,分析解决生产环境中的内存暴增、内存泄漏等问题,降低运维工程师的血压。

通过采访刘老师,小编其实心里非常期待刘老师的现场分享,已经提前感受到了很多的实践干货,相信12.18号3306π深圳专场还会有更多的惊喜等待着大家,我们拭目以待哦