DoNews3月16日消息,今日,百度在北京總部召開新聞發(fā)布會,百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏和百度首席技術(shù)官王海峰出席,李彥宏展示了新一代知識增強大語言模型文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成五個使用場景中的綜合能力,王海峰解讀了文心一言的技術(shù)特性及其背后的技術(shù)積累。
在人工智能時代,IT技術(shù)??煞譃椤靶酒瑢?、框架層、模型層、應(yīng)用層”四層,百度自2010年起開始全面布局人工智能,是全球為數(shù)不多、進行全棧布局的人工智能公司。從昆侖芯片、飛槳深度學(xué)習(xí)平臺、文心大模型到應(yīng)用,百度在技術(shù)棧的各層都有領(lǐng)先業(yè)界的關(guān)鍵自研技術(shù),實現(xiàn)了層與層反饋,端到端優(yōu)化,大幅提升效率。
在框架層,飛槳是百度自主研發(fā)的中國首個開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺,包括核心框架、產(chǎn)業(yè)級模型庫、開發(fā)套件、工具組件,以及學(xué)習(xí)和實訓(xùn)社區(qū),能夠標(biāo)準(zhǔn)化、自動化地支撐模型生產(chǎn)和應(yīng)用。在模型層,文心大模型包括NLP、CV、跨模態(tài)等基礎(chǔ)大模型,對話、跨語言、搜索、信息抽取等任務(wù)大模型,生物計算領(lǐng)域大模型,行業(yè)大模型,以及支撐大模型應(yīng)用的工具平臺,形成了基礎(chǔ)-任務(wù)-行業(yè)三級大模型技術(shù)體系,具備知識增強和產(chǎn)業(yè)級兩大特色。
文心一言是新一代知識增強大語言模型,也是百度繼文心一格之后的又一個生成式AI產(chǎn)品,具備對話交互、內(nèi)容創(chuàng)作、知識推理、多模態(tài)生成等能力。王海峰表示,新一代知識增強大語言模型文心一言,是在ERNIE及PLATO系列模型的基礎(chǔ)上研發(fā)的。它的關(guān)鍵技術(shù)包括有監(jiān)督精調(diào)、人類反饋的強化學(xué)習(xí)、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會采用的技術(shù),ERNIE和PLATO中已經(jīng)有應(yīng)用和積累,在文心一言中又有了進一步強化和打磨;后三項則是百度已有技術(shù)優(yōu)勢的再創(chuàng)新,也是文心一言未來越來越強大的基礎(chǔ)。
王海峰認為,文心一言是百度多年技術(shù)積累和產(chǎn)業(yè)實踐的水到渠成,尤其是飛槳深度學(xué)習(xí)平臺和文心大模型的聯(lián)合優(yōu)化,為文心一言提供了堅實的技術(shù)支撐。飛槳有效支撐了大模型的靈活開發(fā)、高效訓(xùn)練和推理部署。文心大模型從2019年發(fā)布以來,已經(jīng)從最初的自然語言理解大模型,發(fā)展成了跨語言、跨模態(tài)、跨任務(wù)、跨行業(yè)的能力完備的大模型平臺。