最新消息，字節(jié)跳動(dòng)在大模型上已有所布局，分別在語言和圖像兩種模態(tài)上發(fā)力。

// 字節(jié)緊急布局 //

據(jù)報(bào)道，語言大模型團(tuán)隊(duì)由字節(jié)搜索部門牽頭，團(tuán)隊(duì)規(guī)模在十?dāng)?shù)人左右。圖片大模型團(tuán)隊(duì)則由產(chǎn)品研發(fā)與工程架構(gòu)部下屬的智能創(chuàng)作團(tuán)隊(duì)牽頭。字節(jié)跳動(dòng)語言大模型團(tuán)隊(duì)在今年組建，探索方向主要為與搜索、廣告等下游業(yè)務(wù)的結(jié)合，“搜索業(yè)務(wù)部門、AI Lab和AML（應(yīng)用機(jī)器學(xué)習(xí)）團(tuán)隊(duì)都調(diào)了一部分人支援語言大模型，團(tuán)隊(duì)目前的預(yù)期是在今年年中推出大模型”。據(jù)悉，語言大模型團(tuán)隊(duì)負(fù)責(zé)人與圖像大模型團(tuán)隊(duì)負(fù)責(zé)人的間接和直接匯報(bào)對(duì)象，均為Tik Tok產(chǎn)品技術(shù)負(fù)責(zé)人朱文佳。

(相關(guān)資料圖)

對(duì)AI領(lǐng)域的布局，字節(jié)的反應(yīng)速度一直較快。據(jù)了解，目前AIGC（AI生成內(nèi)容）技術(shù)也已結(jié)合到頭條的內(nèi)容創(chuàng)作以及抖音的圖文內(nèi)容生成中。比如2021年，抖音上線的可以把人臉卡通畫的“漫畫臉”就小范圍出圈。

ChatGPT模式證明，大模型的訓(xùn)練是入場(chǎng)費(fèi)高昂的長(zhǎng)跑。在算力保障方面，字節(jié)旗下的企業(yè)技術(shù)服務(wù)平臺(tái)火山引擎，在2021年正式進(jìn)軍基礎(chǔ)云市場(chǎng)（IaaS層），為大模型所需的算力奠定了基礎(chǔ)。

// 大廠跑步進(jìn)場(chǎng) //

所謂“大模型”，通常是在無標(biāo)注的大數(shù)據(jù)集上，采用自監(jiān)督學(xué)習(xí)的方法進(jìn)行訓(xùn)練。之后在其他場(chǎng)景的應(yīng)用中，開發(fā)者只需要對(duì)模型進(jìn)行微調(diào)，或采用少量數(shù)據(jù)進(jìn)行二次訓(xùn)練，就可以滿足新應(yīng)用場(chǎng)景的需要。

在大模型的框架下，ChatGPT所使用的GPT模型，每一代參數(shù)量均高速擴(kuò)張，預(yù)訓(xùn)練的數(shù)據(jù)量需求和成本亦快速提升。據(jù)資料，僅GPT-3訓(xùn)練一次的成本約為140萬美元，對(duì)于一些更大的LLM模型，訓(xùn)練成本介于200萬美元至1200萬美元之間。因此說進(jìn)入大模型首先得肯燒錢。另外從參數(shù)數(shù)量上，國(guó)內(nèi)并不缺數(shù)據(jù)，百度、字節(jié)跳動(dòng)這樣的公司都有海量的數(shù)據(jù)積累，不過后續(xù)包括數(shù)據(jù)清洗、標(biāo)注以及模型的結(jié)構(gòu)設(shè)計(jì)，訓(xùn)練、推理等都需要時(shí)間積累。此外想做大模型，不僅是資金，還有人力和基礎(chǔ)模型，對(duì)于互聯(lián)網(wǎng)大廠而言，難度也是不小。

ChatGPT帶動(dòng)了國(guó)內(nèi)互聯(lián)網(wǎng)大廠大模型熱潮。據(jù)悉，目前已經(jīng)有多家互聯(lián)網(wǎng)大廠宣布正開展ChatGPT相關(guān)研發(fā)。此前，百度高調(diào)宣布，已站上ChatGPT競(jìng)賽的跑道。按照百度的規(guī)劃，其將于今年3月推出類ChatGPT產(chǎn)品文心一言，外界猜測(cè)，文心一言要么與百度搜索引擎入口打通，要么推出類似AI畫作平臺(tái)文心一格的獨(dú)立入口。

阿里方面也確認(rèn)，阿里達(dá)摩院正在研發(fā)類 ChatGPT 的對(duì)話機(jī)器人，目前處于內(nèi)測(cè)階段。三六零在互動(dòng)平臺(tái)表示，360 公司也計(jì)劃盡快推出類 ChatGPT 技術(shù)的 demo 版產(chǎn)品。

騰訊方面還沒有確切的消息傳來，不過，2月3日，騰訊申請(qǐng)的“人機(jī)對(duì)話方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”專利獲授權(quán)，該項(xiàng)專利與ChatGPT的原理十分相似。

// 將獲得政策大力支持 //

2月24日，國(guó)新辦舉行“權(quán)威部門話開局”系列主題新聞發(fā)布會(huì)?？萍疾扛咝录夹g(shù)司司長(zhǎng)陳家昌在談到近期引起廣泛關(guān)注的ChatGPT時(shí)表示，科技部將把人工智能作為戰(zhàn)略性新興產(chǎn)業(yè)，作為新增長(zhǎng)引擎，繼續(xù)給予大力支持。將推動(dòng)人工智能與經(jīng)濟(jì)社會(huì)深度融合，在重大應(yīng)用場(chǎng)景中錘煉技術(shù)，升級(jí)迭代，培育市場(chǎng)。

CSR-期貨專題統(tǒng)計(jì)

關(guān)鍵詞： 機(jī)器學(xué)習(xí) 人工智能技術(shù) chatgpt