面向 AI 时代的开放统一数据基础设施

构建云上数据基础设施。

我是李钰,目前在阿里云负责 EMR 相关工作,长期关注分布式计算、云原生大数据平台、湖仓架构、流式计算以及面向 AI 的数据基础设施。

关于我

在阿里云,我负责 E-MapReduce(EMR)团队,主要工作包括云上数据平台的产品方向、工程落地与开源协作。

我是 ASF Member,也是 Apache Flink、HBase、Paimon、Celeborn、Gluten、Fluss 等项目的 PMC Member;曾担任 Apache Paimon、Celeborn、Fluss 孵化阶段 Champion,并担任 Apache Amoro、GraphAr Mentor。我的 Apache 工作重点,是把生产系统中的实际需求和社区治理下的基础设施演进结合起来。

在阿里巴巴早期,我参与过计算平台与搜索基础设施建设,包括 HBase、大规模集群运维、Flink 状态存储以及中文开源社区工作。加入阿里之前,我在 IBM InfoSphere BigInsights 团队从事大数据与开源相关工作;研究生阶段在北航主要关注分布式计算与网格计算。

背景

当前工作

阿里云 EMR 负责人,负责云上数据平台产品与工程团队。2013 年加入阿里巴巴。

教育经历

北京航空航天大学,计算机系统结构硕士(2007-2010),计算机科学与技术本科(2003-2007)。

技术方向

分布式计算、开源社区建设、云上数据平台、大规模系统工程。

职业经历

研究生毕业后,我的工作经历集中在两家公司:2010-2013 年在 IBM,2013 年至今在阿里巴巴。下面的时间线主要记录这一路径中的职责变化和工作范围扩展。

  • 阿里云:负责 EMR 团队,覆盖 DataOps、开源计算引擎、元数据与安全、数据湖存储系统等方向。
  • 阿里云:负责 Flink 存储和 EMR 平台团队,推进 checkpoint、savepoint、state backend,以及 EMR 控制台、监控、Studio、稳定性等工作。
  • 阿里云:负责实时计算存储团队,聚焦 Flink state backend 的性能、稳定性和生产需求。
  • 阿里巴巴搜索:担任 HBase 团队技术负责人,推进双 11 生产环境单节点 100K QPS 级别的高吞吐存储工作。
  • 阿里巴巴搜索:作为数据平台核心成员,参与服务索引构建与实时查询混合负载的大规模 Hadoop/HBase 集群。
  • 阿里巴巴:加入 HBase 团队,围绕业务需求和大数据生产负载进行 HBase 研发与维护。
  • IBM 中国开发中心:担任 Staff Software Engineer,参与 InfoSphere BigInsights 并负责开源团队相关工作。

学术经历

在深入 Apache 生态和云上数据基础设施之前,我的早期学术工作主要关注异构集群调度与网页信息抽取。Google Scholar 和 ORCID 0000-0003-4355-2764 收录了相关论文。

学术主页

Google ScholarORCID 收录了我以 Yu Li / 李钰 发表的早期学术论文。

代表论文

近期动态

  • Flink Forward Asia 分享 Apache Paimon 与 Milvus 构建 AI 原生多模态湖。
  • 云栖大会分享 EMR AI、Fusion/Stella TPC 领先与阿里云 Milvus。
  • 介绍 EMR Serverless Spark 商业化与湖仓分析方向的产品和技术实践。
  • 与 StarRocks 社区分享阿里云 EMR 在云上湖仓分析方向的实践。
  • 持续推进 Flink 状态存储与快照相关工作,并参与 HBaseCon Asia 社区活动。