首页 -> 新闻中心 -> 云计算 -> 正文
AI+ 时代如何突破数据处理边界?
2019-05-14

2019年5月8日-10日,第十届中国数据库技术大会(DTCC 2019)在京隆重召开,Zilliz 受邀参加并荣获 " 年度创新企业奖 ",并发布了业界首个GPU加速AI数据中台产品——Mega。创始人兼CEO星爵表示,Zilliz的AI数据中台Mega使用GPU处理器将数据ETL、数据仓库、模型训练、推理和部署等多个流程进行融合和加速,打破了人工智能和数据处理之间的分界和壁垒,提供GPU加速的一站式AI数据科学解决方案。Zilliz团队坚持独立自主研发,在经历了1096个日夜的研发攻坚后,终于推出了Mega数据中台产品。正是因为 Zilliz 人前瞻的产品格局及创新的技术追求,从众多数据库厂商中脱颖而出,在"2019中国数据库技术年度评选 "过程中受到了评委会的一致高度认可,被评为"年度创新企业"。

DTCC 2019的主题是"数据风云,十年变迁",中国数据库十年间,技术领域百舸争流,不乏引路者、追随者与开拓者。Zilliz 自 2016 年成立以来,始终坚信随着 AI 在全球各行业落地的进一步深化和应用数据量的飞速增长,数据 ETL、数据仓库和海量特征向量检索等数据处理流程势必将无限简化易用,所以潜心坚守独立自主研发,从独创国内新一代异构众核加速数据库系统 Mega 到打通人工智能端到端数据中台系统(Mega),可谓 " 挑灯三年磨一剑,只为一朝试锋芒 "。

图:Zilliz 创始人兼 CEO 在 DTCC2019 大会发表演讲

GPU 加速 AI 数据中台 Mega 于 2019 年上半年正式开放商用,下图是 Mega 系统架构展示。

图:Mega 系统架构图

依托 GPU 的强算力,Mega 实现了将所有资源,包括计算资源和存储资源的统一管理与调度。目前共包含四大核心产品:

●MegaETL:GPU 加速 ETL。大量的数据 ETL 耗时巨大,占用了 AI 科学家和工程师太多时间和精力。而大多数数据提取和转换过程本质上却是可以通过并行处理进行加速的。MegaETL 依托 GPU 强大的并行运算能力,加速数据转换和清洗的过程,能将数据 ETL 处理的时间减少 50~60 倍。

●MegaWise:GPU 加速数据分析引擎。MegaWise 是基于 GPU 硬件加速的新一代 OLAP 处理引擎,突破了数据分析中计算能力和存储带宽两大瓶颈,和主流 CPU 数据处理引擎相比,查询性能提升 100 倍以上,硬件成本和运维成本降低 10 倍。

●MegaLearning:大数据资产 AI 赋能。在过去的十年间,很多企业都构建了大数据系统,在其上积累和存储了大量的数据资产。MegaLearning 帮助用户直接在已有的大数据系统(如 Hive 和 Impala 等)之上进行机器学习和深度学习的训练,打通底层数据资产、大数据系统和 AI 训练系统之间的隔阂。MegaLearning 自动为 AI 科学家解决数据预处理、数据缓存和调度等任务,使得他们能用直接、便易的方式将 AI 训练和推理任务构建在现有的大数据系统之上,让 AI 科学家专注于 AI 建模、调优和调参,能帮助他们节省 8 成以上的程序开发工作量。

●MegaSearch:GPU 加速海量特征向量匹配和检索引擎。特征向量是深度学习对数据仓库和数据分析领域提出的全新数据类型,是现代图片分析、视频分析、NLP 和语音分析等的基石。在实际部署中,海量特征向量匹配和检索的速度及准确度往往是决定 AI 模型落地效果和可用性的关键。MegaSearch 依托 GPU 加速,提供极速特征向量匹配以及多维度数据联合查询(特征、标签、图片、视频、文本和语音等联合查询)功能,并且支持自动分表分库和多副本,能完美对接 TensorFlow、Pytorch 和 MXNet 等 AI 模型,可实现百亿特征向量的秒级查询。

伴随着 AI、IoT、5G 的大规模应用,我们将迎来更复杂多样的业务需求。Zilliz 将始终专注打磨出更完备的 GPU 加速 AI 数据中台,服务不断增长的用户需求。

【凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】

延伸阅读:

剑指亚马逊,阿里拟引入更多国际卖家

拆分自霍尼韦尔,「Resideo」发力中国智能家居市场

新闻搜索

覆盖全国各省会城市及海外城市的网速测试
→选择要测试的地区
→选择目标测试点