当前位置:中国企业报道>> 科技>> 人工智能>>正文内容

百度CTO王海峰:大语言模型为通用人工智能带来曙光

2023年08月17日 来源:证券日报

8月16日,由深度学习技术及应用国家工程研究中心主办的WAVE SUMMIT深度学习开发者大会2023在北京举行。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰首次对外表示,大语言模型具备了理解、生成、逻辑、记忆等人工智能的核心基础能力,为通用人工智能带来曙光。

王海峰2019年提出,深度学习具有很强的通用性,并具备标准化、自动化和模块化的工业大生产特征,推动人工智能进入工业大生产阶段。四年来,深度学习技术和应用的发展充分验证了这一观点。标准化方面,框架和模型联合优化,多硬件统一适配,应用模式简洁高效,大幅降低人工智能应用门槛;自动化方面,从训练、适配,到推理部署,提升人工智能研发全流程效率;模块化方面,丰富的产业级模型库,支撑人工智能在广泛场景的便捷应用。

据了解,得益于飞桨产业级深度学习开源开放平台和文心大模型的互相促进,飞桨生态愈加繁荣,已凝聚800万开发者,服务22万家企事业单位,基于飞桨创建了80万个模型。

王海峰表示,人工智能具有多种典型能力,理解、生成、逻辑、记忆是其中的核心基础能力,这四项能力越强,越接近通用人工智能,而大语言模型具备了这四项能力,为通用人工智能带来曙光。

如何获得这些能力呢?以文心一言为例,首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。

进一步地,通过多种策略优化数据源及数据分布、基础模型长文建模、多类型多阶段有监督精调、多任务自适应有监督精调、多层次多粒度奖励模型等技术创新,全面提升基础通用能力。在检索增强和知识增强的基础上,通过知识点增强,提升对世界知识的掌握和运用;通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络,提升逻辑能力;通过构建数据、内容、模型和系统安全的全面安全体系,保障大模型的安全性。

效率方面,通过飞桨端到端自适应混合并行训练技术以及压缩、推理、服务部署的协同优化,文心大模型训练速度达到原来的3倍,推理速度达到原来的30多倍。

应用方面,通过数据驱动、提示构建,以及插件增强进行场景适配,协同优化。文心一言已上线百度搜索、览卷文档、E言易图、说图解画、一镜流影五大插件,使模型具备生成实时准确信息、长文本摘要和问答、数据洞察和图表制作、基于图片的创作和问答、文生视频等能力。插件机制扩展了大模型能力边界,更适应场景需要。王海峰表示,未来百度将与开发者共建插件生态,共享技术创新成果。

责任编辑:郑伊丹
相关推荐
文心一言开放 大模型开抢C端市场

8月31日凌晨,大模型从业者松了一口气。让科技圈人士大半夜沸腾的是百度文心一言正式面向公众开放的消息,紧接着百川智能宣布通过备案,开放公众服务。此外抖音、智谱AI、中科院、商汤、Mini...[详细]

OpenAI推ChatGPT企业版:速度快两倍,无使用限制,数据加密

当地时间8月28日,人工智能巨头OpenAI在官网上宣布,当日起正式推出ChatGPT企业版。在宣传标语中,OpenAI写道,“获得企业级安全和隐私,以及迄今为止最强大的ChatGPT版本。”OpenAI在博客文...[详细]

网宿科技2023半年报:净利润2.58亿元,同比增长196.88%

8月23日晚间,网宿科技发布了2023年半年报,报告期内公司实现营业收入23.27亿元;实现归属于上市公司股东的净利润2.58亿元,同比增长196.88%。报告期内,网宿科技围绕各行业客户数字化、智能...[详细]

返回顶部