敲代碼、作詩(shī)還能做數(shù)學(xué)題?史上最大AI模型GPT-3強(qiáng)勢(shì)霸榜Github
最近,GPT-3火了!相信你已經(jīng)在網(wǎng)上看到各種有關(guān)GPT-3的演示。這個(gè)由OpenAI創(chuàng)建的大型機(jī)器學(xué)習(xí)模型,它不僅可以自己寫論文,還會(huì)寫詩(shī)歌,就連你寫的代碼都能幫你寫了。
下面還是先讓你看看GPT-3的威力吧,首先來看看GPT3在問答任務(wù)上的表現(xiàn):
無論你的問題是天馬行空的腦筋急轉(zhuǎn)彎,還是有邏輯性極強(qiáng)的數(shù)學(xué)問題,它都能對(duì)答如流。
開發(fā)者Sharif Shameem用GPT-3做了一個(gè)生成器,你只要輸入你所需的布局,它就能為你生成JSX代碼,如視頻所示。
還有人在 Google 表格里開發(fā)了一個(gè)新的 GPT3 函數(shù),除了簡(jiǎn)單的數(shù)學(xué)運(yùn)算之外,它還可以自動(dòng)查找美國(guó)各州的人口以及創(chuàng)建年份:
除此之外,它還能查到Twitter賬號(hào):
遺憾的是,如果你想試用GPT-3,你得先拿到體驗(yàn)資格才行,但是此模型創(chuàng)建的應(yīng)用程序似乎有無限可能,通過它你可以使用純英語(yǔ)查詢SQL數(shù)據(jù)庫(kù),自動(dòng)注釋代碼,自動(dòng)生成代碼,編寫熱門文章標(biāo)題,甚至幫助猿妹我寫出一篇爆文。
GPT-3是什么?
GPT-3是一種神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的語(yǔ)言模型。與大多數(shù)語(yǔ)言模型一樣,GPT-3在未標(biāo)記的文本數(shù)據(jù)集上進(jìn)行了大量的訓(xùn)練(訓(xùn)練數(shù)據(jù)包括Common Crawl和Wikipedia),從文本中隨機(jī)刪除單詞或短語(yǔ),并且模型必須學(xué)會(huì)僅使用周圍的單詞作為上下文來填充單詞或短語(yǔ)。這是一個(gè)簡(jiǎn)單的培訓(xùn)任務(wù),可以產(chǎn)生功能強(qiáng)大且可推廣的模型。
GPT-3模型架構(gòu)本身就是一個(gè)基于單向transformer語(yǔ)言模型。這種架構(gòu)在2-3年前開始流行,流行的NLP模型BERT和GPT-3的前身GPT-2都是基于transformer構(gòu)建。從架構(gòu)的角度來看,GPT-3實(shí)際上并不是很新穎!
它之所以會(huì)這么火,是因?yàn)镚PT-3的模型尺寸增大到了1750億,并且使用45TB數(shù)據(jù)進(jìn)行訓(xùn)練,是有史以來創(chuàng)建的最大語(yǔ)言模型。源于它的參數(shù)模型巨大,因此可以完成許多其他模型無法完成的事情,就像前面所說的,你可以讓它成為一名翻譯家、作家、詩(shī)人、程序員等。
如果你對(duì)GPT-3的模型參數(shù)1750億感到有些抽象,那么,我舉個(gè)例子,你應(yīng)該就懂了:
BERT模型有3億參數(shù) GPT-3模型的前身GPT-2有15億個(gè)參數(shù) 英偉達(dá)的Megatron-BERT有80億參數(shù) 微軟Turing NLP,有170億參數(shù)
就連排名第二的微軟Turing NLP的數(shù)據(jù)參數(shù)和GPT-3都不是一個(gè)量級(jí)的。
值得一提的是,這次的GPT-3論文作者足足有31位,論文體量更是高達(dá)72頁(yè),網(wǎng)友都驚呼,現(xiàn)在PTM的工作是要開始pk論文頁(yè)數(shù)了嗎?
和往常一樣,GPT-3立即放出了GitHub項(xiàng)目頁(yè)面,你可以在上面找到各種各樣有趣的demo。
2022-01-12 16:50:28
2022-01-12 14:16:53
2022-01-12 09:59:21
2022-01-12 08:30:09
2022-01-12 08:28:09
2022-01-12 08:26:11
2022-01-12 08:24:25
2022-01-12 08:22:56
2022-01-12 08:21:28
2022-01-12 08:19:22
2022-01-12 08:15:03
2022-01-12 08:13:37
2022-01-12 08:12:23 熱門文章
- 1消息稱Win11調(diào)整硬件安裝需求之后可運(yùn)行5.25寸軟盤
- 2蘋果iPad mini 6屏幕刷新率只有60Hz屏幕或不能滿足游戲需求
- 3三星永久關(guān)閉Tizen應(yīng)用商店:目前相關(guān)手機(jī)用戶已經(jīng)無法訪問
- 4三星Galaxy S22 Ultra手寫筆延遲突破2.8毫秒!成品預(yù)計(jì)今年2月推出
- 5Win11照片應(yīng)用迎來更新:重新優(yōu)化調(diào)整圖片編輯功能
- 6Chrome 97正式版預(yù)計(jì)年內(nèi)2月1日轉(zhuǎn)正 修復(fù)數(shù)十個(gè)安全BUG
- 7消息稱iPhone 14 Pro前置攝像頭將采用藥丸屏設(shè)計(jì) FaceID轉(zhuǎn)移到顯示屏下
- 8對(duì)不起,我恐怕不能這么做?用戶發(fā)現(xiàn)蘋果Siri無法為Apple Music歌曲評(píng)分
- 9微信視頻號(hào)直播推出扶持不少于10萬個(gè)優(yōu)質(zhì)商家激勵(lì)計(jì)劃 引導(dǎo)私域用戶直播
- 10微信支持?jǐn)?shù)字人民幣支付:將新增“使用數(shù)字人民幣付款”選項(xiàng)
熱點(diǎn)專題
-
絕版旗艦堅(jiān)果R2獲更新:TNT連...1月7日消息,堅(jiān)果R2用戶在百度貼吧反映,堅(jiān)果R2手機(jī)獲得了SmartisanOS更新,版本號(hào)為8 5 1,新版系統(tǒng)... -
iPhone 13 Pro需求產(chǎn)能供不...富士康鄭州工廠又在招工了,iPhone的產(chǎn)能缺口看來很大。據(jù)悉,iPhone 13 Pro需求旺盛,最大組裝廠富士... -
百度投資生物醫(yī)藥公司瑞順生...企查查APP顯示,1月4日,廣東瑞順生物技術(shù)有限公司發(fā)生工商變更,新增百度關(guān)聯(lián)公司三亞百川致新私募股權(quán)... -
盜版軟件Popcorn Time宣布關(guān)...1月5日 消息:盜版軟件Popcorn Time宣布關(guān)閉了。這個(gè)通過盜版BitTorrent資源向用戶傳遞電影內(nèi)容,并承... -
快手12月份打擊私單交易等詐...1月5日消息,日前,快手發(fā)布了最新一期關(guān)于嚴(yán)厲打擊詐騙類帳號(hào)的公告,該平臺(tái) 12 月份共處罰詐騙類帳... -
再也不怕磁盤占用高了!微軟W...微軟的Office辦公軟件是每個(gè)打工人幾乎都離不開的,它實(shí)際上是包括Word、Excel、PPT等多種軟件在內(nèi)的全... -
黑莓BlackBerry OS停止運(yùn)行...1月4日,黑莓打造的BlackBerry OS停服。官方稱,黑莓不再提供適用于BlackBerry7 1OS及更早版本、Black... -
Intel預(yù)熱12代雞血版i9-12900...今天晚上,Intel將會(huì)發(fā)布12代酷睿桌面版非K系列、移動(dòng)版,應(yīng)該會(huì)有博銳商務(wù)版,以及一個(gè)特殊型號(hào):i9-12... -
曝5G版iPhone SE將于上半年...除了挖孔屏iPhone 14、M2處理器MacBook Air、40核CPU+128核GPU的Mac Pro等產(chǎn)品,蘋果名記Mark Gurma... -
曝iPhone 14有望取消劉海設(shè)...對(duì)于iPhone 14來說,按照蘋果一貫的更新節(jié)奏看,這一代新機(jī)的外形要發(fā)生變化了,而去掉劉海,改用打孔...
Copy 2006-2020 財(cái)訊中國(guó) 版權(quán)所有<豫ICP備17019456號(hào)-9
聯(lián)系網(wǎng)站:52 78 229 @qq.com
營(yíng)業(yè)執(zhí)照公示信息
聲明:本站所有文章、數(shù)據(jù)僅供參考,使用前務(wù)請(qǐng)仔細(xì)閱讀法律聲明,風(fēng)險(xiǎn)自負(fù)。

相關(guān)新聞