2023年8月19-20日,由中國(guó)人工智能學(xué)會(huì)主辦,中國(guó)人工智能學(xué)會(huì)會(huì)士之家(杭州站)承辦,浙江杭州未來(lái)科技城管委會(huì)協(xié)辦的第3期人工智能創(chuàng)新技術(shù)講習(xí)班“多模態(tài)大模型技術(shù)前沿與應(yīng)用”以線上線下結(jié)合的方式成功舉辦,線上累計(jì)觀看人次超16萬(wàn)。
本期講習(xí)班圍繞熱點(diǎn)話題“多模態(tài)大模型”展開(kāi),旨在促進(jìn)學(xué)術(shù)交流,推動(dòng)技術(shù)創(chuàng)新。來(lái)自復(fù)旦大學(xué)的邱錫鵬教授和來(lái)自清華大學(xué)的徐楓副教授共同擔(dān)任本期講習(xí)班的學(xué)術(shù)主任。宋睿華副教授、代季峰副教授、孫天祥博士、王炳寧先生、趙俊博研究員、嚴(yán)明先生等6位在多模態(tài)大模型及相關(guān)領(lǐng)域具有重要影響力的專家學(xué)者也受邀加入講師團(tuán),為聽(tīng)眾們帶來(lái)了一場(chǎng)精彩紛呈的學(xué)術(shù)盛宴。講習(xí)班開(kāi)課期間,聽(tīng)眾熱情高漲,積極參與互動(dòng)。濃厚的學(xué)術(shù)氛圍也一直延續(xù)到課后,各位講師們?cè)诮Y(jié)束授課后仍一一為線上線下的觀眾們答疑解惑,現(xiàn)場(chǎng)氛圍十分熱烈。
徐楓副教授
在8月19日—20日的兩天時(shí)間里,各位講師從嚴(yán)謹(jǐn)縝密到妙趣橫生,從理論研究到落地應(yīng)用,為線上線下的學(xué)員和觀眾帶來(lái)了6場(chǎng)“知識(shí)盛宴”。
授課一:《多模態(tài)理解與人工智能創(chuàng)作》宋睿華
8月19日上午,宋睿華副教授為大家?guī)?lái)了第一堂課——《多模態(tài)理解與人工智能創(chuàng)作》。在正式授課前,宋睿華副教授先深入淺出地解釋了“多模態(tài)”的概念、其與多媒體的關(guān)系以及其為何突然火爆出圈等問(wèn)題。在介紹完“多模態(tài)”相關(guān)的基本信息后,宋睿華副教授開(kāi)始對(duì)文瀾模型1.0-3.0展開(kāi)介紹,并分享了“多模態(tài)與文本預(yù)訓(xùn)練模型的文本嵌入差異研究”的整個(gè)過(guò)程及其成果。在生動(dòng)授課的最后,宋睿華副教授對(duì)多模態(tài)理解與創(chuàng)作的趨勢(shì)做了總結(jié),并鼓勵(lì)聽(tīng)眾在未來(lái)能朝著更艱險(xiǎn)處攻關(guān)。
宋睿華副教授
授課二:《視覺(jué)基礎(chǔ)大模型》代季峰
講習(xí)班的第二堂課《視覺(jué)基礎(chǔ)大模型》由代季峰副教授主講。他在課堂上指出,通用大模型正在引領(lǐng)人工智能的發(fā)展。圍繞“超大規(guī)模視覺(jué)模型”及相關(guān)技術(shù)路線,代季峰副教授在接下來(lái)的授課中展開(kāi)了精彩的講述,他不僅對(duì)LLM(大規(guī)模語(yǔ)言模型)其強(qiáng)大的功能進(jìn)行了描述,亦稱贊其是通用人工智能發(fā)展道路上的一個(gè)里程碑。
代季峰副教授
授課三:《對(duì)話式大型語(yǔ)言模型》孫天祥
8月19日下午,孫天祥博士給大家?guī)?lái)了題為《對(duì)話式大型語(yǔ)言模型》的第三堂課。授課內(nèi)容主要分為四個(gè)部分,分別是預(yù)訓(xùn)練數(shù)據(jù)、自然語(yǔ)言基座模型、對(duì)話語(yǔ)言模型和OpenLMLab。
孫天祥博士
授課四:《大語(yǔ)言模型的訓(xùn)練和優(yōu)化方法》王炳寧
8月19日下午,王炳寧老師帶來(lái)了本期講習(xí)班的第四堂課——《大語(yǔ)言模型的訓(xùn)練和優(yōu)化方法》。他首先對(duì)語(yǔ)言模型的發(fā)展歷程做了系統(tǒng)的梳理,并指出近幾年語(yǔ)言模型的發(fā)展是超線性的,發(fā)布的頻率在不斷加速。在接下來(lái)的授課中,他對(duì)大語(yǔ)言模型的基礎(chǔ)框架及優(yōu)化方法進(jìn)行了闡述,并在最后樂(lè)觀地表達(dá)了對(duì)大語(yǔ)言模型的憧憬和為中文互聯(lián)網(wǎng)大語(yǔ)言模型做貢獻(xiàn)的決心。
王炳寧老師
授課五:《TableGPT——大模型的漫長(zhǎng)落地之路初探》趙俊博
8月20日上午,趙俊博研究員帶來(lái)了第五節(jié)課——《TableGPT——大模型的漫長(zhǎng)落地之路初探》。在授課前,風(fēng)趣地解釋了他為授課題目加上了“渡劫”二字的原因,做相關(guān)研究過(guò)程非常漫長(zhǎng),也充滿了各種挫折和挑戰(zhàn),他也希望借此激勵(lì)臺(tái)下同處于研究瓶頸期的研究者們。趙俊博研究員隨后簡(jiǎn)單介紹了自己的團(tuán)隊(duì)成員和研究背景,并解釋了他們做剛性LLM而最終選擇了“TableGPT”等一系列問(wèn)題。趙研究員在后續(xù)授課過(guò)程中介紹了“TableGPT”的功能、落地過(guò)程及方案等,并在最后無(wú)不幽默地總結(jié)道,從一個(gè)通用LLM到領(lǐng)域LLM就好比從一個(gè)文科生到理科生轉(zhuǎn)變,堪比“渡劫”。
趙俊博研究員
授課六:《達(dá)摩院通義mPLUG多模態(tài)大模型技術(shù)與應(yīng)用》嚴(yán)明
8月20日下午,嚴(yán)明老師帶來(lái)了本次講習(xí)班的最后一堂課,《達(dá)摩院通義mPLUG多模態(tài)大模型技術(shù)與應(yīng)用》。他先對(duì)多模態(tài)大模型技術(shù)發(fā)展歷程做了簡(jiǎn)單的歸納,隨后重點(diǎn)介紹了他的團(tuán)隊(duì)研究多模態(tài)的兩條路徑,一條是mPLUG:模塊化多模態(tài)預(yù)訓(xùn)練大模型技術(shù)系列,另外一條則是大小模型協(xié)同的Agent系統(tǒng)。最后,嚴(yán)明老師對(duì)“ModelScope”實(shí)戰(zhàn)應(yīng)用相關(guān)話題展開(kāi)了詳細(xì)的講解與闡述。
嚴(yán)明老師
至此,第3期人工智能創(chuàng)新技術(shù)講習(xí)班“多模態(tài)大模型技術(shù)前沿與應(yīng)用”的6節(jié)課程全部結(jié)束。邱錫鵬教授在線上為此次講習(xí)班做了結(jié)業(yè)總結(jié),他回顧了6位專家學(xué)者精彩的授課內(nèi)容,指出從學(xué)術(shù)介紹到從應(yīng)用落地,這些研究最前沿的成果讓聽(tīng)眾耳目一新。此外,邱錫鵬教授還表示,多模態(tài)大模型的發(fā)展處于起步階段,在未來(lái)發(fā)展的過(guò)程中既充滿了機(jī)遇,也難免會(huì)遇到挑戰(zhàn),而本次講習(xí)班為各位研究者構(gòu)建了一個(gè)交流互動(dòng)的平臺(tái),幫助各位學(xué)者不論在學(xué)術(shù)研究還是落地應(yīng)用層面,都能共同探索、學(xué)習(xí)和進(jìn)步。(中國(guó)人工智能學(xué)會(huì))
邱錫鵬教授
相關(guān)稿件