改革开放之初,有一句脍炙人口的口号叫作“要致富先修路”。
这句话很好理解,简单来说,人们想要致富,需要把本地的资源变成财富,这就需要和外界交流沟通,外界的资金、人才能通过一条条路走进来,本地的资源、商品也能通过一条条路运输出去,所以要打通本地与外界联系的关键就在于修路。
过去全国还没有高速公路,普通的公路也通行条件不足,一直到八十年代道路基建才在全国各地大规模展开,我国的经济也随之迅猛增长,将城市、乡村相互连接起来的万千道路使得各区域间互联互通,商品流通更加便捷,大大推动了地方经济的发展和群众生活的改善。
如果说一条条公路的建成是经济腾飞的大动脉,那么在信息化时代,互联网技术则是数字经济发展的重要枢纽。如今,随着移动互联红利的消退,元宇宙、Web3.0、人工智能、量子信息等各类新老概念提法涌出,人们迫切想抢先一步抓住下一个世代技术发展的关键要素,换一句话说,面向未来的技术发展中,“路”是什么呢?
知识增强大模型让AI走向通用性
《奇点临近》的作者雷·库兹韦尔曾在书中表示:“2045年左右,人工智能将会来到一个奇点,跨越这个临界点,人工智能将超越人类智慧,人类历史将会彻底改变。”12月27日,百度创始人、董事长兼CEO李彦宏在百度Create 2021(百度AI开发者大会)演讲中表示,“人机共生”时代,中国将迎来AI黄金十年。
人工智能的“奇点”将给人类带来什么现在不得而知,但人工智能确实在当今人类社会扮演的角色愈加重要,其背后的关键原因正是人工智能正变得越来越“聪明”,这种“聪明”不仅指的是AI背后的模型更加智能,而且代表AI具备了一定的自主学习和推算功能,能在更广阔的范围内得到应用。
简单来说,决定一个人工智能模型是否“聪明”好用的关键一个在于算法本身,另一个则是算法背后用于训练算法的数据广度和深度。这就客观要求如今的AI模型有着更广的数据来进行训练,同时通过系列知识图谱来保证单纯追求参数量基础上模型的学习效率和质量。
AI过去在各行各业落地周期长的的一个原因就在于,传统AI模型泛化性差、依赖昂贵的人工标注数据、落地成本高等问题,如果想要扩大一个模型的应用范围,时常会出现如A模型往往专用于特定A领域,将A模型应用到领域B时效果并不好这样的问题。
大模型的出现提供了一种“预训练大模型+下游任务微调”的方式,来有效扩展模型的通用性。这也是为何大型模型近年来越来越受欢迎,如OpenAI就推出1750亿参数的AI模型GPT-3,GPT-3耗费了千万美元对人类的诗歌、小说、新闻等海量自然语言进行训练(主要是英语),也因此GPT-3对自然语言具备了一定程度的理解能力。
不久前,百度发布文心系列产业级知识增强大模型,并联合鹏城实验室重磅发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心,该模型参数规模达到2600亿,相比GPT-3的参数量提升50%。是目前全球最大中文单体模型,在60多项NLP任务中取得世界领先效果。
除了在中文世界首屈一指高达2600亿的参数训练规模,“知识增强”是文心大模型的核心特色。如今的AI在某些领域上获取知识的速度和广度都已远超人类,但这是否代表着AI能如同人类一样认识世界、感知世界并能举一反三对世界做出反馈呢?这是人工智能领域数十年来一直在争论的问题。
如果想让计算机像人类一样理解和认知世界,首先需要让计算机具备获取、运用知识的能力。传统的大模型虽然参数量很大,但只是死记硬背海量文本的规律,这些模型并不能从本质上理解世界是怎样运行的,仅仅解决了一些文本表象上的问题。
百度知识增强大模型能够从大规模知识和海量无结构数据中融合学习,学习效率更高、效果更好,具有良好的可解释性。某种意义上来说,通过知识增强,使模型能够在一定程度上更好地理解世界是怎么运行的,也就更加智能。
这背后,是百度在知识图谱领域的十余年积累。百度早在2011年就开始研发知识图谱技术。截至目前,构建了包含5500亿知识的大规模知识图谱,覆盖生活的方方面面,也包括制造、医疗、法律、 金融、科技、媒体等领域的专业知识。
此外,人类的历史上有成千上万种语言,机器要想理解真实世界,也需要学习和理解多种语言的能力。人类是通过语言、语音、视觉等多种模态获得对真实世界的统一认知,机器如果想要理解真实世界也需要听懂语音、看懂图像视频,这就需要突破不同模态、异构信息的语义融合统一难题。可以简单理解为,机器需要综合理解文字、语言、图像、视频等不同媒介的信息。
百度文心能够实现跨语言、跨模态的学习,让百度大脑更好地支持各种AI应用,满足各种场景需求。百度的知识增强跨语言大模型ERNIE-M可同时从多种语言中学习,提升跨语言理解能力;知识增强跨模态理解大模型ERNIE-ViL在视觉常识推理任务榜单获得第一名;知识增强跨模态生成大模型ERNIE-ViLG实现文图双向生成,是全球规模最大中文跨模态生成模型。
在百度Create 2021大会上,百度首席技术官王海峰便现场展示了百度的知识增强大模型的跨模态理解与生成能力,王海峰在现场说了一句:“百度大脑,我们一起创作一幅水墨画吧。这边是连绵的山脉,山上云雾缭绕,山脚下有一座草堂建在江边,江上有 一条船,一个人站在船头;然后这边有一行飞鸟掠过天空。”百度大脑即刻便将王海峰语言文字的描述转换为一幅颇有意境的中国画来展现。
在知识增强大模型的支撑下,百度大脑更好地支持金融、医疗、保险、证券、办公、互联网、物流等各种AI应用,满足各种场景需求。
降低AI使用门槛,在AI时代打造自主的底层系统
百度知识增强大模型等技术能加速创新的背后,离不开国产自主的AI深度学习平台飞桨和强大算力底座在背后的支撑。
计算机编程的产品是“程序”,深度学习研究的产品是“模型”,深度学习平台及其背后的深度学习框架,就如同不同品牌的积木,积木的各个组件相当于不同的模型或算法的一部分,开发者可以根据自己的不同需求选择各深度学习框架来进行产品模型的研发。
用一个不算准确的比喻来简单说明,深度学习框架在AI领域的重要程度,可能相当于PC时代的操作系统。虽然不同的深度学习框架、不同的“操作系统”都能实现某一深度学习目标,但在人工智能时代提前做好AI的底层操作系统——深度学习框架,对我国在芯片、光刻机、手机电脑的操作系统等方面遭人“卡脖子”的当下异常重要。
深度学习和国有自主的深度学习框架也是推动人工智能进入工业大生产阶段的关键。早在2017年国务院就印发了《新一代人工智能发展框架》,明确提出在2030年中国要成为世界主要人工智能创新中心。面向技术和产业发展需求的AI大生产平台可以让AI技术以标准化、自动化和模块化的方式输出给千行百业,实现规模化应用,同时以平台为基础促进融合创新、共同发展。也因此,中国更需要本土的AI创新基础来为庞大的中国AI产业与开发集群服务。
其实深度学习框架本身的搭建并不算难,很多研究人员或公司都会自己搭建一个深度学习平台,但要想搭建一个通用性广的深度学习框架却是一件不容易的事。好的深度学习框架源于产业实践,一个深度学习框架只有参与过千行百业的AI模型部署实践,见过无数种千奇百怪的硬件组合,最后能使用于各种情况能搭配各类方案,像USB插口一般“即插即用”,使得让模型上线工作事半功倍,才能叫“产业级”的深度学习框架。
能做到这一点的深度学习框架并不多,如今全世界最为流行的深度学习框架有PaddlePaddle、Tensorflow、PyTorch、Caffe、Theano、MXNet、Torch等,前三者号称三大主流框架。其中PaddlePaddle飞桨便是百度自主研发的国内首个开源开放的产业级深度学习平台。
面向开发、训练和推理部署的全流程,飞桨提供了一整套降低门槛的技术和服务。在开发阶段,飞桨在业内率先实现了“动静统一”的核心框架,兼顾科研开发的灵活和产业开发的高效。飞桨提供丰富的API,支持开发者便捷、高效地开发深度学习模型。飞桨推出的系列科学计算API,支持量子计算、生命科学、计算流体力学、分子动力学等应用,助力中国科研实力的提升。
在训练阶段,飞桨发布了自适应大规模分布式训练技术,针对模型特点和硬件特点,搜索最优的机器组合和模型切分策略,并采用异步流水运行机制,以及高通信和高并发的方式,使大模型训练效率达到最优。百度文心知识增强大模型,正是基于这一核心技术训练的。
在推理和部署阶段,飞桨打造了推理部署工具链,使得高速推理引擎的多端多平台部署更加便捷。飞桨提供的模型压缩等辅助工具,将大模型参数规模压缩至1/1000,得到满足产业实际应用需求的小模型,帮助开发者加速业务落地。
如今,百度飞桨通过技术开源、零门槛开发等不断降低AI技术的应用门槛,让开发者甚至无须从第一行算法代码写起,就能进行技术创新和业务拓展,让工程师可以更专注于应用本身的开发,加速AI创新应用落地。
此外,百度飞桨已经建立起成熟完善的产业级复合型AI人才培养体系,包括面向一线算法工程师的“AI快车道”,面向技术负责人的“AI私享会”和面向CTO、架构师层级的“AICA首席AI架构师培养计划”,为产业界输送了大量AI人才。截至目前,百度飞桨已汇聚了来自于各行各业的406万开发者,创建了47.6万个AI模型,累计服务15.7万企事业单位,中国深度学习平台综合市场份额第一。