講師：劉峻誠 美國加州大學(UCLA)電子工程博士於2015年在美國聖地牙哥創辦耐能。是諸多國際知名學術期刊的技術審稿人，也是清大助理教授，交大與成大客座副教授，其出版有《深度學習-硬體設計》與《認識人工智慧 第四波工業革命》二書，在國內外受眾多知名大專院校採用，並於2020年榮獲第58屆十大傑出青年與傑出資訊人才獎、2021 電機電子工程師學會達靈頓獎、2022潘文淵物聯網創新應用獎、2023 電機電子工程師學會CTSoC發明領導獎。 前言 生成式AI的出現為人類的生活帶來了相當大的改變，我們可以隨時打開ChatGPT問它任何的問題；也可以利用Midjourney生成自己想要的圖片。然而，我們現在所看到的生成式AI都是在雲端上，也因此會給我們帶來隱私的問題。另外，目前大部分開發生成式AI的公司所使用的晶片「圖形處理器」（Graphic Processing Unit, GPU），其實也會對我們的環境造成負面的影響。本次課程將從三個面向，與大家探討AI晶片的發展，以及「神經網絡處理器」（Neural Processing Unit, NPU）將會為生成式AI的發展帶來什麼樣的改變。 一、能源消耗（energy consumption） 近期NVIDIA執行長黃仁勳來台，讓全國開始討論AI議題。今天我們所看到的生成式AI基本上都是使用像是NVIDIA所生產的GPU，不過GPU的使用再加上AI的快速發展，其實為我們的環境帶來了相當大的負擔。舉例而言，根據台積電的數據，OpenAI使用GPU做為其所開發的生成式AI的伺服器，一年就虛耗電50億度，相當於台灣核電廠一年可以產生的電量。即便如此，由於生成式AI的快速崛起，愈來愈多公司也想要開發自己的GPT。因此，未來這些公司若皆持續使用GPU做為生成式AI的晶片，那麼無庸置疑地將會為全球的能源帶來巨大的挑戰。而未來如果我們想將ChatGPT等生成式AI導入家電或者自動駕駛，電費也會相當驚人。 可見目前被許多大廠使用的GPU晶片會對已經發燒中的地球帶來更多的負擔，而NPU就能夠用來幫助我們解決GPU大量耗電的問題。NPU最早的開發者便是劉峻誠執行長的耐能（Kneron）公司。耐能於2015年便開始開發NPU，並已於2017年開始量產。GPU當時之所以可以取代CPU，便是因為它的耗能比CPU少，又能處理更多的訊息。而相較於GPU，NPU也能夠花更少的電量處理更多的訊息，也因此對環境更為友善，也使得NPU在生成式AI的發展上能佔有更大的優勢。 二、隱私與安全（Privacy and Security） 當ChatGPT在今年初問世時，包含三星的許多公司都相當歡迎員工使用ChatGPT，認為ChatGPT可以幫助員工在工作上表現更優異。然而，三星後來發現，若員工使用ChatGPT協助程式設計時，其實也等同於將自己公司的資訊提供給OpenAI或微軟這些開發生成式AI的公司，導致公司機密外洩。若今天生成式AI的使用者為政府，那麼就很可能有國家安全方面的疑慮。因此，隱私與安全便是目前生成式AI的使用者，尤其是大公司或政府機關相當顧慮的面向。 而生成式AI所產生的隱私與安全疑慮，主要是因為它們是連接到雲端的緣故。因此在隱私方面，如果我們可以利用客製化AI晶片，將我們公司內部的電腦或者我們個人的手機、筆電和平板等工具的功能提升，讓我們個人的電子設備也具有與雲上的AI同樣的能力，那麼我們就能夠克服目前生成式AI的隱私問題。目前耐能公司已經利用NPU將AI客製化，在公司內部設置一個自己的ChatGPT引擎，並將公司的發展歷程與資訊做為訓練AI的素材，讓AI知道公司的歷史和產品型錄，又沒有機密外洩的疑慮。如此一來便可以將這個引擎用於新進員工的員工訓練中，真正將AI客製化。 在安全方面，耐能則是致力於提供更安全和聰明的人工智慧引擎。我們都知道，ChatGPT之所以聰明是有賴於Transformer模型。Transformer模型之所以強大的其中一個原因是因為它能夠處理具有時序的資訊，得以將上個時刻的資訊與下個時刻的資訊進行綜合判斷，因此當我們的監視器具備Transformer模型，它就可以判斷我們的身體動作。另外，Transformer模型也可以將我們周遭的環境做全局的判斷。所以當我們的電動車有了Transformer模型後，就可以有效避免自動駕駛誤判路障導致車禍的狀況發生。然而，如同前述所提，目前要能夠擁有自己的AI必須付出極高的成本，因此要能夠讓監視器或者個人的自動車配有Transformer模型的AI費用相當昂貴，而未來若能靠著日新月異的NPU技術，將AI嵌入我們的日常生活中，將會為我們的生活帶來重大的變革。 三、產業應用（Workforce Adoptability） 耐能之所以專注於開發NPU，主要是為了提供更安全的人工智慧，同時也希望將AI技術普及於各項產業之中。在教育方面，劉峻誠執行長致力於將AI知識普及於學校，讓生長於AI世代的孩子能夠從小了解AI，並舉辦各項活動與獎學金，提升孩子學習AI的動力，也希望能夠讓台灣在未來AI的發展潮流中不缺席。除此之外，耐能也希望能夠推動產業AI化。為了可以讓資源不足的中小企業也能夠將產業AI化，耐能在其網站上也架設了AI App Store，提供各式功能的AI應用程式供使用者下載。另外，各公司也能夠從網站中下載AI模型使用，甚至可以將自己所開發的AI工具上傳至該網站販售。此目的就是希望能夠讓中小企業能夠利用可負擔的AI模型，將AI引入不同的產業中，實現產業AI化。最後，耐能也曾與台中榮總合作，利用NPU將AI客製化，開發出能夠監測病人姿勢的監視器，只要病人有跌下床的危險，就可以立即通知醫生或護士，確保病人安全。 四、結語 生成式AI的出現確實為人類的生活帶來許多便利性，且有愈來愈多的公司也嘗試著開發出屬於自己的ChatGPT。然而，由於目前生成式AI多是利用GPU晶片進行研發，所以也衍生出了像是環境汙染、隱私與安全的疑慮等問題。而耗能相對較低且能夠客製化的NPU就可能為晶片的發展帶來新的趨勢，未來NPU若能夠更加進步且普及，那麼AI就更有可能走入我們的日常生活中，讓我們的生活因為AI而更加安全便利。 【若想回顧完整版課程影音，請點選此連結；有任何問題或分享，也歡迎在本文底下留言。】
