正在阅读：「探迹技术大讲堂」开讲，技术大神开课揭秘SaaS大数据架构「探迹技术大讲堂」开讲，技术大神开课揭秘SaaS大数据架构

时间已经来到ChatGPT引发中国AI热潮的第十个月,「AI+X」无疑是今年技术型企业里的当红命题,所谓外行看热闹、内行看门道,这阵风是否会彻底改变原有产品的技术架构,如何利用新技术、新趋势切入赛道甚至实现领跑才是泛科技领域的焦点。

作为中国智能销售SaaS的开创者,探迹科技目前已构建超1.8亿主体的企业全量知识图谱,为企业解决从线索挖掘、商机触达、客户管理到成单分析等一系列销售难题。面对如此巨量的数据,探迹的大数据架构是如何演变的,SaaS企业里的技术团队正在做哪些新的开发与探索?

9月16日,「探迹技术大讲堂」在探迹科技总部开讲,探迹科技CTO陈开冉致开场辞,探迹科技高级大数据开发专家邓楚健与云器科技CTO关涛分别带来各自的技术观点与案例经验,其中不乏探迹大数据架构核心技术解读,以及未来的数据算法引擎思考。

关涛:畅想「One Size Fits All」的数据架构

关涛毫无疑问是大数据领域专家中的专家。

早在2006年,关涛就加入微软亚洲研究院,参与构建微软第一代分布式KV系统SearchRepository和Bing搜索的分布式存储后台Kirin Store。之后,关涛加入了微软美国云计算和企业事业部,主持和参与开发了Azure Datalake、Cosmos/Scope等多套超大规模分布式存储和计算平台,直至2016年回国加入阿里,负责阿里巴巴主线大数据平台飞天MaxCompute与Dataworks,之后又担任阿里和蚂蚁集团技术委员会计算平台领域组长、阿里云架构组大数据组组长,直到2021年创立云器科技,担任首席技术官。

云器科技CTO关涛

关涛表示,哪怕经过多年的发展,国内「原创」数据平台技术依然偏少,但数据领域继续保持高速增长,2023年国内数据平台技术依旧大多是组装式数据架构,引擎数据语义均不统一,异构存储及多套元数据带来了极高的开发成本、维护成本和大量的计算与存储冗余。

最关键的是,这类的组装式数据架构缺乏满足业务的灵活性。

关涛认为,应该有一个一体化数据分析引擎,实现统一接口、统一处理逻辑,提供多种优化指标的高覆盖度和灵活调整能力。此外,AI扩展了能够处理的数据类型,给结构化数据提供了新的处理能力,接下来将有全新的大数据架构,支持AI新计算范式。

那什么才是合理的解?

探迹同学向关涛请教

关涛的答案是,开放式湖仓一体架构是面向Data+AI融合场景的最优选择,而具备多元独立、分析引擎一体化、BA+AI的数据平台才能最大程度解放数据生产力。

当然,关涛认为「增量计算」也许是one size fits all实现的关键,这也是目前云器科技Lakehouse下一代架构的目标。

邓楚健:没有最好的架构,只有最适合的架构

湖仓一体也是探迹科技的大数据架构团队在应用的技术之一。探迹高级大数据开发专家邓楚健带来了他的分享。

邓楚健作为探迹大数据平台架构的高级技术专家,一直专注于探迹的 PB 级大规模数据实时计算架构研发,在企业大数据及知识图谱技术方面有丰富的技术实践和成果积累。

探迹高级大数据开发专家邓楚健

邓楚健介绍,探迹的数据来源和特点是大数据领域中别树一帜的,具有数据量大,多源多构半结构化数据,原始关联性弱,大规模随机更新等特点。如何从这种海量低价值密度数据中,提炼出有商业价值的部分,及时的呈现给客户,实现为客户建立商业链接的愿景,是探迹大数据架构面临的主要挑战。

当行业都在套标准化的数据包时,探迹选择搭建自己的大数据架构。探迹的目标很清楚,要做「全量知识图谱」,这是一条「开荒」的路子,也是目前中国 toB 销售真正需要的东西——商机往往就在这些数据信息里,缺一不可,晚一步触达都有可能错失机会。

邓楚健透露,探迹科技的大数据架构目前已经演进到第三代TDR(Tungee Data Refresh),该架构以存算分离、实时上新、数据治理为核心,极大满足了各行业各版本的数据迭代上新要求,为客户提供不可计量的商业价值。下一代,探迹大数据架构将朝着独家数据引擎的方向迭代,即Tungee Data Engine。

探迹同学向邓楚健请教

此外,探迹大数据架构体验了传统数据库技术到大数据库,再到数据湖,目前正在应用湖仓一体、流批一体、智能调度、大语言模型引擎整合等技术。

探迹大数据的每代架构都解决了当时期的核心问题,都具有合理性。邓楚健认为,优秀的架构不是一蹴而就的,而是不断演化而来。没有最好的架构,只有最合适的架构,而架构的发展过程,也是组织结构的发展过程。技术架构要贴合组织沟通结构,才能发挥出最佳效果,顺应时代,与时俱进,不断地吸收新的技术和经验,不断迭代演进才是发展的根本。

本次探迹技术大讲堂中,探迹科技的技术团队与云器科技就大数据架构现状与趋势进行了深入交流,期待多元的技术思考与观点推动技术进一步创新,在不久的将来助力行业技术继续迭代升级、引领行业发展。

作为国内智能销售SaaS的开创者,探迹科技坚持创新为本、技术为先,立足各行业、企业真实销售场景需求,致力于用大数据与AI技术为企业提供全流程智能销售SaaS服务,用科技助力企业降本增效、斩获商机。在过去的七年里,探迹科技构建了超过1.8亿家主体的企业全量知识图谱,开辟了智能销售SaaS的新时代,先后荣获“专精特新”“高科技高成长企业”“全球独角兽”等荣誉,服务客户超过20000家,其中包括阿里巴巴、微软、亚马逊、戴尔等行业巨头。