輕量級的模型亦有其存在的市場空間。
文|《中國企業(yè)家》記者 趙東山
2022年11月底,基于GPT-3.5的ChatGPT剛出來的時候,小米集團AI實驗室主任、自然語言處理(NLP)首席科學家王斌給ChatGPT拋出一個問題:證明一下勾股定理。
最終,ChatGPT給出了一個基于數(shù)學歸納法的證明過程。王斌發(fā)現(xiàn),雖然這個證明過程是錯誤的,但是整個證明的邏輯看上去似乎非常合理。后來才意識到這是大模型的“幻覺”現(xiàn)象,但從某個角度上看ChatGPT的這個證明思路非常新奇。
不斷使用后,ChatGPT的強大能力和奇思妙想超乎王斌的想象。身為一名AI從業(yè)者,他感到一個新的智能時代即將來臨,而自己無法再置身事外。2023年4月,由王斌牽頭負責,小米技術委員會AI實驗室大模型團隊負責人欒劍帶隊,在小米內(nèi)部正式成立了一支自研大模型團隊。而在這之前的數(shù)月,小米就開始做自研的相關準備工作。
小米集團創(chuàng)始人、董事長兼CEO雷軍親自推動了自研大模型團隊的建立,并全程高度參與了小米大模型的自研,他會親自查看團隊的周報、月報甚至日報,關注大模型進展。至于投入,雷軍也表示:“全力支持,投入不設上限?!?/p>
經(jīng)過半年多時間的努力,小米目前已訓練出13億和60億參數(shù)規(guī)模的語言大模型,并在集團內(nèi)開源賦能各業(yè)務。它們在小米澎湃OS系統(tǒng)和人工智能助手小愛同學的部分場景已經(jīng)得到應用,更大參數(shù)規(guī)模的大模型也在緊鑼密鼓地開發(fā)中。
不同于百度的文心一言、科大訊飛星火等通用大模型,小米自研大模型更強調(diào)跟產(chǎn)品的結(jié)合和場景的驅(qū)動。
“我們不會純從技術角度考慮,也不會以比賽為目標。我們不搞軍備競賽,我們做大模型的出發(fā)點并不是成為中國的OpenAI。我們一開始就考慮大模型跟公司的場景怎么結(jié)合?!蓖醣蟾嬖V《中國企業(yè)家》。
小米內(nèi)部認為,輕量級模型亦有其存在的市場空間,且在某些特定任務上相比千億大模型亦能具備一定的優(yōu)勢。這是端側(cè)大模型的特殊要求,也是一家智能設備廠商入局大模型的必經(jīng)之路。
與市面上大多數(shù)自研大模型的公司一樣,小米同樣選擇了從小參數(shù)到大參數(shù)的漸進式開發(fā)過程。通過小參數(shù)模型摸清底層的邏輯,蹚好路上要經(jīng)歷的坑,再加大投入追求更大參數(shù)模型的訓練。
小米為什么要自研大模型?小米如何自研大模型的?又如何將大模型放到智能手機等設備里?小米用大模型來做什么?大模型對小米全球6億多MIUI月活用戶來說意味著什么?跟未來的人車家全生態(tài)又有哪些關聯(lián)?近日,王斌接受了《中國企業(yè)家》的專訪,對此進行了一一解答。
以下為小米集團AI實驗室主任、自然語言處理(NLP)首席科學家王斌自述(在不改變原意下做了刪減):
態(tài)度:不搞軍備競賽
基于GPT-3.5的ChatGPT是2022年11月30日發(fā)布的,其實第二天小米內(nèi)部就有好多人注冊了賬號在用,我們當時就覺得這肯定是一個跨時代的事件,做過多年AI的我們都深刻感受到,ChatGPT的很多結(jié)果超出了我們的預期。
在用的過程中我們也不斷總結(jié)。后來我們覺得這不只是做AI的人關注的事情,可能對所有的行業(yè)、部門都會產(chǎn)生影響。大模型一定是未來的趨勢,它會極大地改變我們的產(chǎn)品和業(yè)務。
當時我們就做了一些內(nèi)部布道的工作,向全公司發(fā)起推廣,在總經(jīng)理例會上以及各種場合去宣傳,呼吁大家都要用大模型,甚至在公司內(nèi)部也建立了大模型的機器人,把ChatGPT接過來,我們在公司內(nèi)部還整理了很多文檔,指導大家怎么使用。
我們內(nèi)部還成立了一個討論組,共享一些使用經(jīng)驗,猜一猜這個技術可能在哪個地方帶來顛覆。但當時還僅限于一個技術層面的探討,剛開始還沒有決定要做。等到春節(jié)左右,有人覺得至少要動手去做了,這個風暴來了,我們做技術的肯定不能置身事外,如果不入局就會在競爭當中處于不利的位置,于是我們也開始做一些準備工作。
等當面跟雷總(雷軍)匯報時,他馬上拍板說,“你們趕緊做?!彼?#xff0c;我們大模型團隊成立正式官宣是4月份,但實際上早就已經(jīng)開始籌備了,隨后我們就全力擁抱深入其中去做相關的研發(fā)。
當真正決定自研的時候,我們是從這幾個方面考慮的。
第一,小米是一個應用場景非常多的公司,在這些場景里怎么通過大模型,提高產(chǎn)品體驗,提高公司內(nèi)部的運營效率,完善從感知到認知再到?jīng)Q策的智能體驗,是我們考慮的事情。小米跟做通用大模型的公司定位不太一樣,他們是做完給別人用,但我們更多要考慮小米的場景。從小愛同學到未來的汽車再到操作系統(tǒng)和機器人,都是能和大模型結(jié)合的重要場景。
第二,正是因為小米有場景的驅(qū)動,所以我們在做大模型的時候不會純技術考量,也不是要去比賽,或做個中國的OpenAI,我們不搞軍備競賽,這不是我們做大模型的出發(fā)點,我們一開始就得考慮大模型跟公司的場景怎么結(jié)合。
第三,小米是一家技術立業(yè)的公司,公司的技術研發(fā)投入很大,有很多自己的技術創(chuàng)新,同時也對業(yè)界出現(xiàn)的新技術保持高度敏感。對于有希望的新技術,你至少要跟上,再想辦法和場景高度融合,做出自己的優(yōu)勢和特色。
雷總對大模型業(yè)務參與非常多,我們團隊有幾個專門討論大模型的群聊,雷總就在群里。有信息及時在群里共享,有問題直接在群里解釋匯報。我們的周報、月報甚至日報他也會直接看。他對技術的敏感度非常高,也非??春么竽P?#xff0c;所以他時刻都在關注我們的進展,這也使我們有些壓力。但關于投入,雷總大力支持,不設上限。
落地:從小到大逐步迭代
確定好自己的定位,我們的路線比較清楚:一邊研發(fā)探索,一邊結(jié)合小米的場景。我們確信,不是要用一個大模型覆蓋所有業(yè)務場景,所以跟業(yè)內(nèi)很多公司一樣,我們采取了從小到大漸進式開發(fā)的過程。
我們的第一個模型是13億的小規(guī)模模型。一開始選擇參數(shù)規(guī)模比較小的模型,是因為想避免大的犯錯,因為越大模型的訓練,其成本也越高。我們選擇先用小規(guī)模模型做一些蹚坑的工作,把其中經(jīng)歷的一些問題都解決了,再做大參數(shù)規(guī)模的模型。其實訓練更大的模型通常都會遇到一些新的問題,但是至少一些老的問題能夠先解決,這是一個比較務實的做法。
自研大模型首要的挑戰(zhàn),就是如何快速找到對的人,又組合成緊密的團隊,大家分工明確地共同為一個目標努力。
小米對人工智能的投入比較早,在2016年AlphaGo出來之后,雷總就開始大力投入AI,最開始是視覺團隊,后來逐漸拓展到AI的各個領域。整個公司我們有3000多人在做AI相關的研發(fā)工作,我們團隊也有非常豐富的AI工程化經(jīng)驗。
我們AI實驗室之前有一個人機對話團隊,做過28億的對話模型,雖然它是只用于對話的專用模型,但內(nèi)部測試的效果非常不錯。另外,我們還有非常專業(yè)的數(shù)據(jù)處理團隊和AI訓練優(yōu)化團隊。我們就直接把這些有基礎的人,抽調(diào)過來直接組成了一支新的團隊,直接上手就開始做自研大模型了。
小米AI實驗室在視覺、聲學語音、NLP、知識圖譜、機器學習等方向,都有技術積累,從算法預研到工程落地具備很強的閉環(huán)能力。比如,手機、汽車、音箱、可穿戴等很多智能硬件上的很多AI算法,我們從頭到尾都做過,所以這支抽調(diào)而成的團隊同時具備算法、數(shù)據(jù)、工程、產(chǎn)品、測試等大模型建設需要的能力,冷啟動時間非常短,很快就能進入快車道。
具體地,我們在組建隊伍的時候,NLP團隊是最直接相關的,原來的對話大模型也出自該團隊。我們還把知識圖譜構(gòu)建的團隊抽調(diào)一部分過來完成大模型的數(shù)據(jù)工作,他們對數(shù)據(jù)的敏感性,對數(shù)據(jù)的理解,對數(shù)據(jù)的工具和算法的掌握,都非常強;大模型的工程組,我們是從機器學習的架構(gòu)團隊調(diào)過來的,此前他們專門做系統(tǒng)優(yōu)化的工作,比如怎么有效調(diào)用GPU,怎么去做分布式機器學習訓練,經(jīng)驗都非常豐富。
13億的模型訓練完了之后,我們會跟開源開放的模型做一些對比,雖然跟千億的模型相比還是有各方面的差距,但是經(jīng)過微調(diào)后在某些任務上還是有一些優(yōu)勢的。我也多次表達過13億的模型有它自己的生存的空間,我們更關注和場景的適配。目前這個模型已經(jīng)在小愛同學中上線了。實際的數(shù)據(jù)表明,在特定場景下,13億的模型不僅效率上優(yōu)于更大的模型,效果上也毫不遜色。
截至目前,小米已經(jīng)有13億、60億兩個參數(shù)規(guī)模的大模型在集團內(nèi)開源。這幾個模型隨著輸入數(shù)據(jù)的不斷更新,也都在不斷迭代。我們還有更大的模型正在緊鑼密鼓地開發(fā)中,希望能給用戶帶來更好的體驗。
挑戰(zhàn):如何把大模型放到設備里?
小米的設備非常多,我們希望把很多功能能做到汽車、手機、智能音箱或其他設備上??偠灾?#xff0c;我們一直以來都有強烈的端側(cè)需求,大模型來了也不例外。當然,把大模型做到端側(cè)挑戰(zhàn)還是非常大的。
第一,這里似乎有個悖論。模型太大了端側(cè)根本就放不進去跑不起來,但是模型太小了可能效果又不行。這就很考驗團隊對模型的理解,包括怎么對大模型做量化、蒸餾、壓縮,還要保證模型的效果,還要滿足硬件的各種約束,甚至包括硬件產(chǎn)品的理解,都要求有很強的認知能力。
第二,對于硬件端包括芯片端,也提出新的要求和挑戰(zhàn)。一方面,現(xiàn)有的硬件框架下可能對大模型的支持并不完善。另一方面,需求的驅(qū)動要求我們在現(xiàn)有條件下就要將大模型在端側(cè)跑通。這里面的挑戰(zhàn)非常大,需要一個綜合的解決方案。
端側(cè)大模型確實有不少好處。一個最顯而易見的好處是可以充分保護用戶的隱私,用戶和大模型的交互數(shù)據(jù)不會上傳。再比如說,一種最極端的情況就是在沒有網(wǎng)絡的情況下,端側(cè)大模型帶來的用戶體驗差異會非常明顯,云上的大模型沒網(wǎng)是無法工作的,但端側(cè)就可以。與此同時,一部分應用如果通過云側(cè)要傳輸?shù)臄?shù)據(jù)量比較大,在實時性上可能就不如在端側(cè)強,端側(cè)響應可能會更及時。此外,如果云側(cè)的需求量特別大之后,要維持成本肯定需要用戶付費,這也是很常見的商業(yè)模式。但是如果集成到端上,用戶的成本可能就沒有那么高,用戶也就更愿意用。
雖然大模型端側(cè)落地的挑戰(zhàn)很大,但是好在我們在端側(cè)落地方面有長時間的積累。比如我們視覺團隊做過很多手機拍照的算法,都是要求在端側(cè)實現(xiàn)的。手機拍照現(xiàn)在分辨率越來越高,要對圖像進行處理,處理效率要高,用戶感覺不到卡頓,而且還不能發(fā)熱,這些都是一系列的嚴格條件,我們有長期的技術落地經(jīng)驗。
此外,在語音和語言處理上,小米也有一些端側(cè)的經(jīng)驗,比如原來在比較小的設備上實現(xiàn)了全離線的機器翻譯,參數(shù)也達到億級了,后來離線的機器翻譯模型也被放到小米旗艦機上。
目前,小米和芯片公司也在合作,共同推動端側(cè)大模型的落地。
未來:多模態(tài)
經(jīng)歷過語言大模型的開發(fā),我們其實已經(jīng)把底層的坑都蹚過了,我們有能力去做更大參數(shù)的模型,但具體要不要做千億或者萬億的大模型,更多還是從投入產(chǎn)出比的角度去考慮,也看跟場景的結(jié)合還有沒有需求,如果我們已經(jīng)把很多場景處理得非常好,我們就不需要投更大的成本去做,我們不以軍備競賽為目標,這個不是我們的目標。
人車家全生態(tài)是小米全新升級的未來戰(zhàn)略,未來的智能生活中包含很多的場景,大模型可能越來越會成為一個基礎設施的東西,來支撐上面的智能服務。大模型對上下文的理解,對情景的理解都更深了,不管它在手機上還是其他設備上,都能夠隨時隨地了解你所在的場景,給用戶提供下一步的可能性。
小米的優(yōu)勢是多設備場景的綜合感知,因此小米大模型輸入的不只是文字,而是它感知到的環(huán)境和場景。我相信未來的多模態(tài)大模型肯定不只是視覺的,聲音的,還會有其他模態(tài),這也正好符合小米人車家萬物互聯(lián)的場景,我們輸入了更多的信息,也會幫用戶更好地理解這個環(huán)境,做后面的事情,比如對機器人的控制,對車的控制,甚至是分布式聯(lián)動,去滿足用戶的想象。
大模型也成為一個數(shù)據(jù)接收中心,它接收的信息遠比現(xiàn)有的學術界的研究還要多,當然這個信息融合還有難度,但是小米可以在各種設備去輸出,它們之間都是相通的。小米澎湃OS已經(jīng)把互聯(lián)互通做好了,我們能夠借用多種設備的聯(lián)動,協(xié)同感知,協(xié)同決策,做一些更有意思的事情,幫用戶生活體驗更好,更方便。
大模型火了,安全隱私問題也成為大家關注的話題。小米剛成立不久,就成立了安全隱私委員會,因為小米是一個手機設備廠商,對安全隱私非常關注,小米所有的項目都要經(jīng)過隱私委員會的審批才能夠立項,在訓練和應用大模型的過程中,我們會嚴格按照安全隱私保護的相關法律法規(guī)來進行處理。
關于未來,小米內(nèi)部相信大模型肯定會不斷向前發(fā)展,在多模態(tài)模型還沒有出來之前,我們就立項了多模態(tài)大模型,在今年年初還通過北京市自然科學基金-小米創(chuàng)新聯(lián)合基金設立了《面向圖文理解和生成的多模態(tài)大模型構(gòu)建與評價》的課題,我們相信這一定是未來重要的發(fā)展方向。
當然,基于大模型,目前還沒有出現(xiàn)殺手級的應用,這需要一個嘗試、探索的過程,接下來一定會出現(xiàn)一系列的應用讓大模型落地。此外,端云結(jié)合的框架也一定是未來的趨勢。小米愿意置身其中,并積極探索。
相關稿件