【天天新视野】百度CTO王海峰首谈文心大模型3.5:通过插件扩增能力边界
时间:2023-06-27 21:22:15来源:DoNews

DoNews6月27日消息,据报道,日前,百度文心大模型3.5版本已内测应用,且在三大公开测试集上的评测中表现不俗,综合能力评测得分超过ChatGPT、部分中文能力超出GPT-4。


(资料图)

据《中国科学报》报道,3月,百度新一代知识增强大语言模型“文心一言”公开邀测。该模型基于文心大模型3.0版本打造。时隔3个多月,文心大模型3.5版本的效果、功能、性能全面提升。

百度首席技术官王海峰介绍,与文心大模型3.0版本相比,3.5版本在效果、功能、性能上全面提升,这不仅表现在文心大模型的创作、问答、推理和代码的提升上,还体现在训练速度和推理速度的提升上。

对比数据显示,文心大模型3.5的训练速度提升2倍、推理速度提升17倍。这将大大提高模型迭代升级效率,大幅降低训练及使用成本,进一步提升用户体验。

功能方面,文心大模型最大的一个变化是新增了插件机制。王海峰说,默认的内置插件“百度搜索”使文心一言具备生成实时准确信息的能力、长文本摘要和问答插件“ChatFile”支持超长文本输入,等等。

王海峰表示,下一阶段,文心一言将发布更多优质的百度官方和第三方插件,使用户能够更好地应用文心大模型。同时,文心一言将逐步开放插件生态给第三方开发者,帮助开发者基于文心大模型打造自己的应用。

王海峰透露,文心大模型3.5在基础模型训练中采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,采用多种策略优化数据源及数据分布,大大加快了模型的迭代速度,显著提升了模型效果和安全性。

同时,百度文心大模型研发团队创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,使模型效果及场景适配能力进一步提升。

王海峰说,在此前的知识增强和检索增强的基础上,文心大模型3.5版本进一步提出了“知识点增强技术”。

具体而言,知识点增强技术首先是对用户输入的查询、问题等进行分析理解,并解析生成答案所需要的相关知识点,之后运用知识图谱和搜索引擎为这些知识点找到相应答案,最后用这些知识点构造输入给大模型的提示。

显然,知识点增强技术能为大模型注入更具体、更详细、更专业的知识点,显著提升大模型对世界知识的掌握和运用,使其完成各项任务的效果显著提升。

此外,在推理方面,研发团队通过大规模逻辑数据构建、逻辑知识建模、粗粒度与细粒度语义知识组合以及符号神经网络技术,显著提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。

媒体注意到,目前面向公众邀测的文心一言自5月23日以来,已升级到文心一言2.0,最新版本为6月21日上线的文心一言V2.1.0。该版本的更新信息有“上线官方插件ChatFile,可基于长文档进行问答和摘要”“优化了模型在数学计算和作文创作的能力”等,其背后正是文心大模型3.5提供的服务。

王海峰称,已获得邀测资格的用户可以随时访问服务,体验文心大模型3.5的实际效果。比如,当前百度“如流”已经基于文心一言的能力上线了“智能总结”“智能洞察”“超级助理”等多个新功能,倾力打造企业办公的统一入口、重塑业务流程、打破系统边界,实现工作模式的范式变革。

再比如,在智能编程方面,百度智能编码助手Comate已可根据自然语言的描述,生成对应的代码片段,支持在代码编辑区内根据注释自动生成代码,提升开发效率。

标签:

最新
  • 【天天新视野】百度CTO王海峰首谈文心大模型3.5:通过插件扩增能力边界

    DoNews6月27日消息,据报道,日前,百度文心大模型3 5版本已内测应用,

  • 德罗赞:莱昂纳德太TM强壮了 他撞你一下你就会感觉自己受伤了

    德罗赞做客保罗-乔治的播客节目《PodcastP》谈到了他对莱昂纳德的印象

  • 留创园成创新“筑梦地”创业“梧桐园” 我市累计孵化留学人员创业企业逾千家

    本报讯(记者余梦娇)“留创园环境非常好,能够在这里落户,我们觉得很

  • TES被WE零封,阿水入选亚运会引热议,能换成UZI吗 全球新消息

    这场失利对于TES来说就难受了,特别是对于阿水来说,要知道,阿水可是

  • 猪肉粉条炖酸菜是怎么做的? 天天即时

    答案:猪肉粉条炖酸菜的做法如下:1 准备好猪肉、粉条、酸菜、葱姜蒜等

  • 仙佑医药代加工企业与海外企业合作,开拓海外市场

    仙佑集团膏药贴牌代加工厂家了解到,近年来,随着健康意识的提高和

  • windows怎么激活? 关于Windows系统激活的那些事,你都了解吗?

    从XP聊起我学电脑的时候,刚好赶上了xp即将停止服务的时候。没想到在我

  • 要闻:场效应管有什么作用呢? 场效应管简介

    场效应管的作用表现在变大信号,因为场效应管放大器可以输入很高的

  • 【全球聚看点】松下电工发布下一代照明系统LANTERNA:13554元 可订阅

    松下电工近日发布了下一代照明系统LANTERNA。该系统的灯罩由四块液晶面

  • 继续走低,在岸、离岸人民币对美元汇率双双跌破7.23

    人民币对美元汇率在在岸和离岸市场继续双双走低。6月26日,离岸人民币

  • 【环球时快讯】赣州一男子被公开宣判,6.1万人围观…

    毒品是万恶之首、社会毒瘤!容留他人吸毒就是养痈贻害!这种方便“给不得

  • 李彦宏:大模型是当下全球科技创新焦点

    李彦宏:大模型是当下全球科技创新焦点---百度创始人、董事长兼首席执

  • 印度又一斥资百亿卢比大桥坍塌:大桥从中间塌陷,当地紧急调查原因_世界滚动

    每经AI快讯,据印度新德里电视台6月24日报道,当地官员表示,印度比哈

  • 全球速递!棋牌室怎么管理?文体活动室管理制度看这里

    棋牌室管理制度一、 进入本室请自觉遵守规章制度,外单位人员及未

  • 好玩的打斗游戏有哪些?可以模拟打架的游戏有哪些?_全球快播

    好玩的打斗游戏有哪些?要问什么游戏最能让玩家热血沸腾,那么答案一

  • 2022 年中级经济师《金融专业知识与实务》考点速记手册(4) 世界热消息

    2022年中级经济师《金融专业知识与实务》考点速记手册(4) 网上课程学

  • 旅游
    • 股价创三年新低!90后董事长掌舵满一年,信邦制药账上资金不足9亿

    • 公益微视频|珍惜粮食,你我有责

    • 今热点:刘潮:出道11年剧比人红,与肖战合作终出圈,却成了观众的意难平

    • 【全球新视野】今日上证综合指数