顯示廣告
隱藏 ✕
※ 本文為 MindOcean 轉寄自 ptt.cc 更新時間: 2016-09-29 09:06:36
看板 Gossiping
作者 followwar (嫌疑犯X的獻身)
標題 Re: [新聞] Google發布類神經機器翻譯 翻譯品質接近
時間 Wed Sep 28 23:43:16 2016


※ 引述《IN (願自身光明熾然照耀世界)》之銘言:
: Google發布類神經機器翻譯 翻譯品質接近筆譯人員
: Google的類神經機器翻譯(GNMT)對八層長的短時記憶遞歸類神經網路(LSTM-RNNs)依
: 賴性很強。 “通過層間殘留聯繫可以加強梯度流。”Google科學家在論文中寫道。在影
                       ↑residual connection
: 像處理器的幫助下,類神經網路一旦變得足夠成熟,Google就可以靠它尚未發布的張量處
: 理單元進行數據處理。

個人是看好接近人類水準的機器翻譯啦
畢竟GOOGLE現在推出了8層的LSTM來做,那16層應該會更好...那100層呢?
不過這類研究也只有GOOGLE做得起來

難點有:
1.唯有GOOGLE手中握有龐大的訓練資料
  (facebook也有不少,所以深度學習研究者都往這兩家跑)

2.GOOGLE手中有巨量的GPU伺服器
  你自己花一周訓練類神經網路,在GOOGLE的分散式GPU伺服器下可能只要一天

3.GOOGLE有數以百計的標記人員
  他們的工作就是專門標記圖片、聲音等等


讓我們再來看看GOOGLE另一篇驚世之作

Google 的 WaveNet AI 可以產生出更擬真的合成人聲
https://goo.gl/kcQ3JJ
Google 的 WaveNet AI 可以產生出更擬真的合成人聲
[圖]
目前常見的電腦合成人聲,大致上可以分成兩種:一種是利用一個龐大的樣本資料庫來做組合,另一種是用小的樣本資料(各別的音節),但透過電子的方式去修改它的音調和語速。第一種聽起來會比較自然,但需要大量的時間和精力來準備資料庫,而且也很佔空間;第二種則是雖然比較不佔空間,但用合成的去修改音調,聽起來還是比較 ...

 

https://deepmind.com/blog/wavenet-generative-model-raw-audio/
WaveNet: A Generative Model for Raw Audio | DeepMind
[圖]
This post presents WaveNet, a deep generative model of raw audio waveforms. We show that WaveNets are able to generate speech which mimics any human v ...

 
內有DEMO


所以GOOGLE的目標很明顯了
要可以即時的進行口語翻譯
相信再過不久GOOGLE就會推出即時口語翻譯的論文...

-----

順便科普一下
現在類神經網路在2016年一日千里要歸功於一位華人
Kaiming He 何愷明
得過2次CVPR best paper award的神人,也是第一次得獎的華人
他今年的在CVPR的最佳論文獎 Deep Residual Learning for Image Recognition
也就是本篇新聞提到的"殘留聯繫"的來源處

他的論文中對於影像辨識的錯誤率只有       3.57%
          相對於人類對於相同影像的辨識是 5.1%

在residual connection的幫助下
GOOGLE已經在他們的類神經網路中大量使用residual connection了
我相信明年的Alpha Go應該更恐怖..



--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.224.16.136
※ 文章代碼(AID): #1Nw-KTiS (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1475077405.A.B1C.html
Leoreo: 該挖個核彈防空壕了1F 09/28 23:44
amaki: LSTM如果用在政治、金融、戰爭...可能可以決定歷史演進方向2F 09/28 23:45
ray2501: Good3F 09/28 23:45
zzro: 即時口譯...? 目標是做出比人類完美的機器人還差不多4F 09/28 23:45
amaki: 看過電影模仿遊戲就能明白數學模型決定了歷史的方向5F 09/28 23:46
orze04: 不可能 光看自駕車車禍就知道了6F 09/28 23:46
gt069802: 真猛…未來人力需求??7F 09/28 23:46
Tattoo: Google 根本天網。apple吃屎8F 09/28 23:46
orze04: 自駕車AI把其他車輛駕駛都當正常人 結果就是被撞9F 09/28 23:47
自駕車目前使用的類神經網路比起這篇的還算陽春
GOOGLE應該積極在改進了
wl2340167: 聽了一下 中文的還是滿GOOGLE小姐的10F 09/28 23:47
我先猜是中文的訓練資料太少了XD
doggy1985: 還有幾集可以逃?11F 09/28 23:48
JoeyChen: deepmind好強12F 09/28 23:51
storyo11413: 還好偶沒做靜態圖片 科科13F 09/28 23:52
haha98: google不4還有開發TPU 比GPU有效率ㄇ14F 09/28 23:52
hugh509: 微軟這部分怎麼樣??15F 09/28 23:54
amaki: 這類東西的研發需要海量的資料,微軟應該也在偷偷收集了16F 09/28 23:55
Kaiming He今年從微軟跳槽到facebook
ev331: 幹17F 09/28 23:55
Yijhen0525: google其實就是魔鬼終結者二的Cyberdyne吧!18F 09/29 00:04
bj45566: CVPR 兩次最佳論文獎真屌爆了… @@19F 09/29 00:04
根本神人
DWR: 各大軟體商跟社群網路平台資料都很多了,但G跟F最全面20F 09/29 00:05
sheepxo: 推 長知識21F 09/29 00:06
BIGETC: 最終大魔王22F 09/29 00:07
hizerg: 這太恐怖了23F 09/29 00:07
Csy065: 類神經的隱藏層未必越多越好,演算速度,over fitting等24F 09/29 00:08
Csy065: 狀況 不過估狗一堆怪物,應該可以解決
residual connection就是來解決隱藏層越多不會越好的問題
hiimjack: Deep learning真的太神26F 09/29 00:10
hoshi1992: 有很多奇怪的邏輯閘可以用啊27F 09/29 00:12
※ 編輯: followwar (125.224.16.136), 09/29/2016 00:20:09
h73o1012: 要被電腦統治了 人類終於能自由了28F 09/29 00:34
attis: 看來最先受到衝擊的應該是政客29F 09/29 00:36
willion003: 啊發夠,稱霸棋壇30F 09/29 00:37
bj45566: 剛查了一下資料:何愷明,廣東省高考理科狀元,大學就讀31F 09/29 00:46
bj45566: 於北京清華,碩博班就讀於香港中文大學(?)
bj45566: (上行打問號是博班不確定...)現在確定博班也是中文大學
bj45566: 看來台灣和香港的 CS 實力差距越來越大了... @@
bj45566: 香港的高等教育真的很成功,重點項目 e.g. CS 應數 金融
bj45566: 這廿年來向上爬升的速度相當驚人... sigh
yannjiunlin: 可一堆東西都亂翻成視訊~還有根本沒有的詞視頻= =37F 09/29 01:34
XDDDpupu5566: 大神真的強!38F 09/29 01:36
aghgna:39F 09/29 02:47
colin810106: 9.2:美國要被中國趕上了40F 09/29 03:06
qr1348: 幹那我念這麼多年日文系唸爽的唷41F 09/29 05:03
SHIU0315: @@42F 09/29 08:44

--
※ 看板: Gossiping 文章推薦值: 1 目前人氣: 0 累積人氣: 1738 
分享網址: 複製 已複製
( ̄︶ ̄)b vvanan 說讚!
r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇