Jeremy's Blog On PIXNET

11/10(五)是台灣AI年會的第2天，

這一天的議程從中研院院長廖俊智的致詞展開，

他說AI發展速度非常快，

但是台灣在AI的發展有3大困境，

分別是產學之間的鴻溝、人才缺乏、習慣外來技術的導入，

他認為我們台灣應該開發自己的技術，

不要過度仰賴國外引進的技術。

為了克服這些困境，

他打算籌設科技發展生態基金會，

著眼於人才培育，

將學術和產業結合再一起緊密合作，

並且提供一個平台吸引海外人士回台幫忙。

對於AI發展方面他打算成立台灣人工智慧學校，

利用3個月的時間密集培訓AI技術種子，

讓找不到人才不再成為企業或學界發展AI的藉口或障礙，

同時建立「自己的問題自己解決」的文化，

訓練自己的人才解決自身工業獨特的問題。

培訓對象著眼於大學、碩士或博士已畢業的專業人才，

有別於一般大學教育，

希望多吸收已經在業界的從業人員或剛畢業的研究人員，

加以短期的人工智慧訓練，

將學界和業界連在一起。

請第一線的研究者或工作者擔任導師，

並且訓練尋找問題，以及用AI的方式解決問題的能力。

將會由中研院院士同時是哈佛大學電機系的講座教授孔祥重擔任校長，

現在已經開放報名，

並於明年1月28日學期開始。

真羨慕這時候已經在業界的剛好可以搭上台灣人工智慧學校的第一班車啊！

我能做的就是趕快讓自己博士畢業再去好好挑戰了吧！QQ

 

接下來是科技部部長陳良基的致詞，

他說現在政府開始展開一系列推動AI的科技發展和學術研究政策，

在台、清、交、成共設立了4個AI研究中心，

寫程式和編寫演算法，

動手做AI，

應用在電腦、手機、行動裝置。

另外也推動無人載具相關條例，

以及無人車和機器人的相關政策，

同時還計畫要舉辦Grand Challenge的競賽。

 

第一場的主題講座算是整場年會最受矚目的重頭戲，

由黃士傑博士主講的 "AlphaGo－深度學習與強化學習的勝利" 。

黃士傑博士在Google DeepMind擔任研究科學家(Research Scientist)，

他是AlphaGo的重要推手之一。

他的演講內容的主軸是在DeepMind工作的經驗以及創造AlphaGo的心路歷程。

他在台師大資工就讀博士班的期間曾設計了Erica，(就是以他的老婆英文名子命名XD)

奪下了2010年電腦奧林匹亞19路圍棋冠軍，

也因此在畢業後被DeepMind的兩位創辦人Dennis Hassabis和David Silver找去。XD

就在2012年11月正式加入DeepMind。

他說他們在DeepMind之所以會開始發展AlphaGo專案，

靈感來源便是1997年5月由IBM開發專門用以分析西洋棋的超級電腦Deep Blue，

打敗了西洋棋世界冠軍Garry Kasparov，

加上他們團隊成員也都很喜歡玩圍棋，

所以有著想嘗試以AI技術訓練機器玩圍棋的共同目標。

本來是想要再做升級版的 "Erica+" ，

但是就在2014年DeepMind被Google併購後，

才改採利用基於Deep Learning的新圍棋程式專案AlphaGo。

而且被Google併購後也因此獲得了Google提供的重要硬體設備，

尤其TPU(Tensor Processing Unit，張量處理器)帶來極大的幫助，

提升AlphaGo更大的勝率。

原本根據人類下圍棋的直覺採用策略網路(Policy Network)，

然而AlphaGo真正最主要的突破就是後來改採判斷形勢的價值網路 (Value Network)，

強化學習結合深度學習 (神經網路的學習能力)，

才導致其棋力才有了重大的提升。

在研發的過程中他們總是在探討設計的網路多深、用什麼架構、dataset有沒有什麼問題，

並且還要解決overfitting的問題，

日後也成為了後來開發的AlphaGo Zero的主要理論。

 

AlphaGo打敗的第一個職業棋士是中國選手的樊摩 (二段)，

他們把他僱近來幫忙做training，

畢竟科學研究的重要精神之一就是互相分享。

後來他們投稿了一篇關於AlphaGo的論文到《Nature》中被刊登，

之後也隨之進行了引起世界關注的第一場人機大戰，

就是2016年3月跟韓國九段棋士選手李世石的對弈。

結果AlphaGo以4比1打敗李世石，

造就了歷史性的一刻，

並且轟動全世界，

也引爆了全世界的AI熱潮！

 

不過儘管如此他們團隊仍然並不因此完全滿意，

畢竟5盤棋中第4盤棋下得不好，

他們希望把全面性的把AlphaGo出的問題解決。

後來他們又開發了學習能力更強的AlphaGo Master，

裡面的神經網路結構由13層變40層，

並且改採ResNet，

直覺和判斷一起訓練，有一致性。

結果AlphaGo Master獲得了60連勝引起了另一波漣漪，

也進行了第二次的人機大戰：在中國烏鎮與柯潔的對弈。

黃博士說第一次在韓國對弈的時候氣氛較為緊張，

而第二次更多的則是人類與機器共同合作進步的感覺。

他認為未來人類在面對AI時應該有的態度，

就是與AI共同合作，

並從中發現、成長人類所未知的事情。

 

他們團隊最近又開發了AlphaGo Zero，

是採用非監督式學習的方式訓練，

讓他從0開始完全自學，

結果他僅利用3天的時間就研究人類幾千年圍棋的下法的演變，

而且他下棋使用的能量越來越少，

在40天後便成長為歷代最強版本的AlphaGo，

且棋力仍未達到上限。

黃博士藉由AlphaGo Zero的例子跟大家強調，

透過沒有提供人類知識、完全自學的AI，

可以發現人類知識所未能發掘得新領域，

並從中獲得成長，

而透過這種與AI共同合作的方式將會是未來的趨勢，

AI也將在各行各業中扮演著舉足輕重的角色。

他也告訴大家他在DeepMind工作5年得到最重要的心得，

就是人因夢想而偉大，

正是因為有夢想，

所以才會催生出了如今已無人能敵的AlphaGo Zero。

在Google DeepMind的團隊裡，

他們有共同做出General AI的夢想，

有著遠大的目標。

 

這場講座實在非常精彩，

聽了滿滿他在推動AlphaGo專案的心路歷程很有趣，

也真的很佩服他們為夢想而努力的精神！

 

在中間teabreak時一度跟陳良基部長打招呼，

他看到我名牌上知道我也來自成大電機系感到很開心，

畢竟他也是我們系的知名系友之一哩！

他還說最近也會到成大演講，

並且鼓勵我好好投入AI的研究。

 

Teabreak結束後我就到第一會議室，

聽交大應數系李育杰教授主講的 "Smart Sensing and Continuous Monitoring" ，

畢竟蠻好奇自己的母系在AI方面有做什麼樣的研究。

李教授所做的東西基本上就是物聯網(IOT, Internet of Things)的應用，

物聯網可應用在人們衣食住行上，

透過感測器(sensor)蒐集資料(Data)到後台做決定(decision)。

應用到產業的實例包括在農業、環境監控、工業4.0(智慧工業)，

此外Amazon無人商店和中國天貓都是典型實例。

根據環境狀況、使用者需求

Sensing Technology相當重要，

好的IT技術，

對整個system做持續的監控，

可以避免到很多人為的疏失。

他一度還分享了Intel開發的智慧拖鞋的新聞影片給大家看。

在此用多感測器系統時，

還要思考如何將這些information組合在一起。

物聯網在傳統machine learning不能用，

要用分散式運算比較好，

在前端開發新的適用演算法。

接著他分享他們實驗室在做的東西，

他們所做的是屬於工業應用的IIOT(Industry IOT)，

利用加速sensor偵測馬達的運轉狀態，

利用震動資料(vibration data)來識別不同的狀態(status)，

再面對較大的雜訊時做Fault Tolerant的設計。

 

最後他分享了他認為在電腦科學中生存之道：

計算越快越準越好

如果不夠快，就算得準

如果不夠準，就算得快

如果都達不到就要算很大的問題(Large Scale Problem)

到了大數據(或AI)時代

大型機器(GPU)可以幫助你運算快一點

大量的資料可以提升準確度

在你有足夠的資料時，

算得快有時候比算得準重要。

AI這東西無論是Machine Learning和Deep Learning，

背後都用到很多數學理論，

因此如何善用數學的專長是很重要的！

 

接下來我回到主會議廳要聽林軒田教授主講的 "The Interplay of Big Data, Machine Learning, and Artificial Intelligence"  ，

林軒田教授在加州理工學院(CIT)獲得博士學位後就回到台大資工系教書，

後來則加入了新創公司Appier並且擔任首席資料科學家(Chief Data Scientist)，

他開授的機器學習(Machine Learning)課程可以說是國內機器學習的必讀聖經，

在Coursera網站和他的個人YouTube都有課程影片可看，

當初楊育宗推薦我去上他的課，

我最後在暑假花了5個禮拜的時間把他4個學期的機器學習課程給上完，

也就這樣展開了我在Machine Learning和Deep Learning的學習和研究之路。

這次林軒田教授的演講主軸是大數據、機器學習和人工智慧三者的相互作用，

他認為大數據(Big Data)就是資源(Source)，

機器學習(Machine Learning)就是技術(Technique)，

人工智慧(AI)則是用上述的資源和技術做出來得到的結果(Outcome)。

他認為我們做AI必須要知道有那些技能？怎麼用最好？可以應用在哪裡？

以導航為例：最短路徑(Best Path by shortest distance)->Best Path by Current Traffic->Best Path by Predicted Travel Time(預測抵達的時間, KDD Cup 2017)

現在越來越多的資料和各種不同的應用模型，

來找出相關問題和scenario。

接下來他從在台大教書到進入Appier新創公司的經驗，

分享了他心中AI在學業和業界的差別。

學界所做的就是開發model和演算法，

在使用機器學習的package時要往前推一步，

思考可以應用在哪裡，

甚至還要分析所用的package、model、演算法的優缺點，

以及有沒有什麼樣的限制

要想辦法去改善缺點和突破限制，

或者提升performance。

業界應用通常需要大資料，

著重的事情在系統(System)和Procedure，

要怎麼把系統架起來，

穩定地跑來服務使用者。

好好的使用domain knowledge放到機器學習的routine裡！

對於機器學習技術的應用就是只要找出現有的當中可以適用的即可，

但是同時要考慮到資源的限制。

他說AI科學家的價值就是如何在有限的資源下實現目標。

 

林教授分享了Appier的重要目標就是要Making AI Easy，

對於 "Has Big Data Made AI Easier?"

某方面來說對於做AI的人和使用者而言確實如此

但是另一方面來說卻也造就了陷阱(骯髒的資料)

在此用大數據時必須思考 "Easier than what??" ，

要用適當的data來實現目標。

他認為機器學習(Machine Learning)最重要的目標就是一定要make AI easier，

主要有以下這4點：

1. Simple model

2. Feature Processing：怎麼處理資料成為對電腦有用的feature，要妥善的使用domain knowledge。->根據Deep Learning

3. Complexity control：如何駕馭這個工具，適當地去思考對應的complexity是什麼

4. Model Selection：適當的model選擇 subjectively with needs and resource constraints->Properly and systematically

 

最後他也鼓勵我們要能夠掌握自己最喜歡的機器學習工具(toolbox)，

並善用自己的Coding skill和Realizing skill。

 

林軒田教授可以說是我的Machine Learning恩師，

(相信應該也是很多人的恩師啦！XD)

很感謝他讓我開啟了這一切！

當然要利用午休的時間跟他合照一張啦哈哈！

 

午餐時間我依然跟啟豪一起領了便當找座位吃飯聊聊，

他建議我有時間可以多抓資料來跑跑看，

測試看看演算法對於這些資料的辨識的適用性如何，

並且可以調整參數研究看看可以達到什麼效果，

當然還可以多看一些理論和方法並且去嘗試使用。

 

吃完午餐回到會議廳後還跟史旺基聊聊，

彼此分享各自學習Deep Learning的經驗，

史旺基還說他在台師大讀博士班的期間黃士傑博士數度回到他們系並且找過他指導教授幾次哩！

也有跟他們做些交流。

 

下午的第一場演講是台大電機系李宏毅教授主講的GAN(Generative Adversarial Network, 生成式對抗網路)，

我暑假在台大上高速運算暑期學程時就有上過李宏毅教授的Deep Learning課程，

其中就有提到GAN這東西，

這是Deep Learning的一項新技術，

可以讓機器更進一步創造出有結構的複雜物件。

譬如可以根據一段敘述文字，

自己畫出對應的圖案。

基本上就是Generator 學習讓discriminator認證。

他舉出了很多GAN的類型和應用實例，

Conditional GAN 根據輸入文字產生對應圖像，

生成影像、文字、語音。

Chat-bot with GAN

透過Descriminator check Chat-box的輸入和輸出，

並且根據人的對話判斷真偽。

Speech Enhancement

另外還有進階版本 – Unsupervised Conditional GAN

這個需要圖片和對應的文字以及標籤(label)

有Cycle GAN和Disco GAN兩種

Transform an object from one domain to another without paired data。

Abstractive Summarization可以用來產生人寫的摘要，

但是需要大量的文章、語言資料和標籤來做訓練。

Unsupervised Abstractive Summarization則是在沒有資料的情況產生摘要。

李宏毅教授的演講依然不改其幽默風趣的風格，

而且依然拿了一堆動漫人物的圖片進行的實驗成果做例子。XDDD

 

接下來的兩個講題都跟GAN的應用有關，

而且還跟AI應用在手機app的技術有關哩！

台大資工系的陳縕儂教授主講的 "深度學習之智慧型對話機器人(Deep Learning for Intelligent Conversational Bots)"，

她先從現在手機app的眾多智慧型服務開始講起，

無論是任務型功能(鬧鐘、筆記、排行程)還是儲存資料，

都要運用Natural Language(自然語言)，

使用行動裝置的communication app跟別人互動，

這就是所謂的智慧助理(Intelligent Assistant)。

陳教授在CMU取得博士學位後曾在微軟上班，

後來回到台大教書時主要研究ChatBot

她說ChatBot不只是用來聊天，

更重要的是透過對話幫你解決問題、完成事情。

針對特定任務的對話系統(dialogue system)，

根據此更有效率地完成一個task。

可以用來連接不同的電子設備(手機、電視、…等)。

 

此外她比較了網站或app的GUI(傳統介面)和即時通訊內的CUI(Conversational UI)的不同，

CUI的介面操作和呈現是以文字和語音為主，

並且根據使用者明確的指令做搜尋，

可以和即時通訊軟體整合並適時在對話裡提供服務，

無論是資訊精準度和人性化程度都優於GUI。

現在有很多的ChatBot相關新創公司在做平台以及一些相關服務，

針對要幫忙解決事情的bot，

即所謂的任務型導向(Task-Oriented)，

少部分是for fun。

至於微軟(Microsoft)推出Chit-Chat是兩種導向兼具。

任務型導向的對話系統(Task-Oriented Dialogue System)會根據資料庫的狀態、使用者的條件限制

句子如何轉成在資料庫上搜尋的query，

根據domain決定要哪一句話，

條件抽出來，

用sequence labelling來做。

 

譬如使用Movie Bot，

可以根據使用者的條件以及系統本身的資料庫，

選出最佳的電影推薦。

Bot的運作可以藉由connect不同的app做整合來服務使用者，

比方說要排定一場午餐，

就可以整合LINE、Google Map和愛食記。

(希望以後的美食app的例子可以換成 "MENU美食誌" 啊！(茶) XD)

對話系統(Dialogue System)的三大元素包括：

1. 動作(Actions)：傳達系統說的話(What system says)

2. 狀態(States)：根據使用者需求(What user wants)

3. 觀察(Observations)：根據系統聽到的資訊(What system hears)

 

Deep Learning用在語言理解(LU, Language Understanding)上

採用RNN系統來保留語言時間的序列，

Input把每一個字做label給一個concept，

一句話吃進來後判斷他的意圖。

Contextual LU可以模擬一個user的回應方式，

做增強式學習(reinforcement learning)的訓練。

透過了解Domain與domain的關聯，

利用改變的資訊去創造模型，

用Transfer learning達到效果。

另外可以用腦波資訊即時輔助系統錯誤理解的狀態，

運用腦波/video/image/app behavior的資訊來輔助understanding的調整。

 

這樣的ChatBot可以應用在很多的生活相關app中，

我有在當美食部落客，

也經常使用我高中同學攸凱的新創公司 "找活" 開發的美食app "MENU美食誌" ，

還蠻想建議他們也可以考慮引進ChatBot的技術，

當然重點還是要先思考要用來達到什麼目標。

 

接下來是清大資工系吳尚鴻教授主講的 "小 App 背後的大數據與人工智慧​​​​​​" ，

將AI和Big Data的技術導入app。

他的演講內容為他基於研究機器學習以及參與並指導 app 開發團隊的經驗，

帶領大家進行個案探討，

從中一窺 app 成功的要素，

以及如何有效利用巨量資料與深度學習創造競爭優勢。

吳教授本身帶領的團隊所開發的 app 如「Forest」與「Flora」稱霸 174 個國家 App Store 的排行榜並被選為「編輯精選」app，

真是超厲害的啊！XD

其中「Forest(專注森林)」主要的服務對象是需要專注做事不會做到一半就划手機打發時間的人。XDDD

就是在專心做事不用手機時樹會長大，

但是一用手機就會把樹殺死。XD

後來他的一位指導學生又開發了「Flora」是能讓多人一起參與的

就是一起種樹，

只要其中一個人划手機就把樹殺死。XD

他們團隊開發的這兩個app也幫助很多種樹的community有收入哩！

另外他分享了他們預計在明年中或明年底要release的app "You Draw I Draw"。

還有用來產生廣告content的app "Sell It To Me"。

 

大數據管理(Big Data Management)

商業智慧(BI, Business Intelligence)

資料庫管理系統(DBMS, Database Management System)

Relational DMBS

• No worry about data consistency
• Not scalable
• No cross-WAN availability

不同地區之間的latency如何解決？

No-SQL

• Scalability and cross-WAN availability
• Only when your data are partitionable
• Not suitable for social or real-time

New SQL

他們新開發了ElaSQL: Open Source RDMBS for S, A, E

著重於彈性(Elasticity)

 

"You Draw I Draw" 這個app可用到Judge CNN以及RNN for single-players

How to deal with disruptive players? Strong-weak collaborative GANs

用了兩個Generator一起collaborate，

故意讓Weak的變得更弱 (給noise)，

讓Strong Learner學習去cover他不好的隊友。

Can Strong be Stronger? -> 把第一個train好的原本的strong變成新的weak，

update一個新的更強大的strong。

他們團隊也研發了SIC(Self Improving Collaborator) GAN: Learns beyond human knowledge

並且投稿到ICLR'18

 

現在app市場是全球性的，

競爭非常激烈，

如何吸引到非常多使用者下載使用是生存之道。

尤其在AI時代的來臨，

app結合AI技術是必走的趨勢，

如何善用AI技術讓app做到智慧化和人性化的服務貼近人們的生活更是重要！

 

在過了下午的teabreak後，

接下來是清大資工系陳宜欣教授主講的 "大數據情緒分析的經驗分享" 。

他專攻人工智慧和音樂治療，

這在長照2.0上有所幫助。

研究內容為訓練機器做文字資料的情緒分析、精神分析，

透過句子的分析(詞彙、句法、語意)來推理

用Crowdsourcing產生label

資料蒐集時也會經過處理和篩選

在她的演講中還可以看到他們也有透過FB蒐集很多貼文裡的句子和表情符號做出的分析成果哩！

很多都蠻有趣的說。XD ""

她認為透過偵測出使用者在社群網站的貼文中的情緒，

將是改善服務以及關懷社會中，

非常重要的一環。

然而他們使用了一種異於傳統的分析方法，

利用潛意識群眾智慧，

不但可以分出更細的情緒，

還可以輕易將方法運用到多國語言的情緒分析上。

甚至還可以分析出一個人是否得到躁鬱症之類的精神疾病。

 

最後一場演講我選擇聽趨勢科技研究開發部的資料科學家張佳彥主講的 " Machine Learning in Cyber Security "

就是將機器學習的技術應用在開發智慧型網路維安或防毒軟體上。

可以偵測出多種潛在電腦病毒威脅。

 

將近晚上6點整台灣人工智慧年會正式閉幕了！

我搭公車回到南港車站後，

先在CITYLINK 10樓的Izumi Curry吃晚餐，

才搭乘捷運回到板橋。

 

從在Coursera和YouTube上林軒田教授開授的機器學習課程，

暑假在台大的高速運算暑期學程中上一些Deep Learning的相關知識理論和程式實作課程，

到後來我做出了放棄原先的微型衛星在行星間軌道最佳化的研究，

並投入了我們Lab的自動車的研究計畫。

後來也有在Coursera上史丹佛大學吳恩達教授開授的Deep Learning專項系列課程。

我很開心能踏上Machine Learning和Deep Learning的學習和研究之路。

在中研院參加了台灣人工智慧年會更是大開眼界，

儘管說本來就知道AI可以應用在很多方面，

但是在這場年會中可以更加瞭解在這些應用中背後的原理，

以及國內這些重量級的AI研究學者的心路歷程和研究甘苦，

真是想向他們致敬和看齊！

參加的人數如此多更讓我感受到大家對AI是如此重視，

有這麼多人對於AI的學習和研究很有熱忱。

 

然而正因為AI如此熱門，

面臨的競爭和挑戰勢必更加嚴峻。

我們指導教授曾經說了一句危言聳聽的話，

就是台灣這麼多人做AI，

就很像曾經很多人想開葡式蛋塔店般，

最後結果幾乎倒光光。

他說只要做不出先進的技術和優越性，

或者做不出特色，

就是死路一條了。QQ

我不免很後悔太晚更換跑道了，

更何況當初做微衛星的研究漸失熱忱。

 

不過我的兩位碩士班時的同學Summit和啟豪認為我投入AI並不算晚，

就是要趁早好好把握機會，

學習更多知識，

閱讀更多paper，

嘗試更多的coding和跑更多data，

就是要認分地讓自己更強就對了！

真的很開心在這場年會中再次跟這兩位同學相遇，

也很感謝他們對我的支持和鼓勵！

很期盼未來仍能跟他們多多交流！

 

總之在這場年會可以說是滿滿收穫！

非常值得！

接下來就繼續好好加油吧！