【學長姊帶路】智齡科技 AI/DS PM 實習心得

原標《面試心得分享(台泥/中華化學/欣興 /兆凌/台塑/遠東新世紀/台星科/艾克爾/台積電)》

文/Felice Hsiao

關於 Jubo

  • 公司理念:We Connect Care.
  • 公司規模:約 80 人,總部位於台北新店,在台南、嘉義、新加坡、北美也設有辦公室。
  • 公司產品:Vital Link、NIS、SPACE、智齡照顧網…等多項醫療、長照領域產品。
台北總部有好幾間電話亭供2人以下開會使用,我很喜歡!

Jubo AI/DS Team 的 PM Intern 在做什麼?

我是 Jubo 第一位 PM Intern,所以我想日後工作內容可能會再調整,但可以就我的經驗簡單分享:

#將 AI Model 商品化
#資料探索與簡單的數據分析
#規劃雛型、使用者訪談
#制定產品路線圖與指標
#跨部門溝通、資源協調

將 AI Model 商品化

到職後,我首先收到兩個看似簡單的任務:

  1. 一般傷口分析模型推上線
  2. 失智症評測模型推上線

這兩個模型是先前暑期實習生的專案結果,到了我(秋季實習生),就是要負責將模型推上線,看是要放進NIS(護理資訊系統)或是與外部專案合作都可以,給了我無限的發揮空間。

附帶一提,若對 2022 暑期實習生成果有興趣,可自行參閱下方連結

資料探索與簡單的數據分析

公司有專業的 Data Analyst、Data Scientist,較專業的數據分析會是由他們進行,例如客戶健康度分析、機構住民退房分析…等,因此 PM 的資料探索與數據分析主要是用於探索潛在需求、制定產品策略使用。我們會自行到資料庫撈取數據,自行進行較基礎的數據分析。

這邊可以簡單分享我的經驗。實習期間接到的任務之一,是「將失智症評測的 AI Model 推上線」。當時模型已訓練完成、也已佈署上線,使用方法也很簡單,只要給定一住民 id ,模型就可以評估該住民罹患失智症的風險。

OK,AI Model 已經好了,那上線還能有什麼問題?

我們不知道該怎麼將它變成可用的功能。模型以外的所有事情都還非常模糊--我們不確定誰需要這個 AI Model,也不知道該怎麼讓使用者和它互動,更不確定這個模型適合什麼樣的商業模式。因此,在執行期間,我就有去撈取資料,分析機構內住民失智症的人數、佔比、分佈…等,藉由數據評估需求,再決定以什麼角度切入才能讓該 AI Model 順利商品化、上線,同時也評估專案是否值得繼續投入資源。

不過除了數據分析這樣量化的分析,我們也會透過使用者訪談、收集二手資料…等質化方式來評估,畢竟 UX 就是 Jubo 的靈魂。

規劃雛型、使用者訪談

承上,除了數據外,我們也會透過使用者訪談了解需求。以長照成本分析為例,我與 UX Designer 就訪談了超過 4 位的潛在使用者,了解照護者的痛點,以及他們對於該AI產品的想法。

透過使用者訪談,甚至透過觀察他們與產品雛形互動的過程,PM 多少就能藉此評估目前產品的狀況,並決定是否要改變產品的進行方向。

在過去的實習中,我很少有訪談的經驗,但在智齡短短的三個月中,我就進行了7次的使用者訪談,從一開始的不熟悉,到後來也漸漸掌握了訪談的節奏與技巧。

制定產品路線圖與指標

圖片來源:Product Plan

上面提到 UX 是 Jubo 的靈魂,那資料科學就是 Jubo 的血肉。因此每樣產品在上線前,都會制定對應的產品指標,供未來追蹤以評定產品成敗。以護理實務會使用到的 Kardex 為例,它最重要的指標應是「交班記錄完整率」,越高就代表產品越成功。如果是生命徵象異常偵測的功能模組,最重要的指標就可能是「住民突發狀況事件數」,越低代表該模組成功替機構及早捕捉了住民的異常狀況。

指標又可依重要程度、關連程度分成數個類型、層次,常見的有:

  1. North Star Metric:整個產品中大家最關注的指標,與產品成敗有相當直接的關係,例如Spotify的North Star Metric就是用戶收聽時間(Time Spent Listening)。
  2. Primary Metric:產品如何改變使用者行為,例如常見的活躍用戶數、轉換率
  3. Supporting Metric:用來旁敲側擊的指標。例如交班記錄完整率無法量化,那麼我們就可以用「字數」、「閱讀時間」等指標來推論交班記錄完整率的變化(當然,這非常仰賴 domain knowledge)
  4. Guardrail Metrics:追蹤對產品負面影響的程度,例如我們希望AI模型上線後可以減少使用者的操作時間,但並不希望使用頻率下降,這就可以是一種 Guardrail metrics。

值得一提的是,指標是會隨著產品所處的階段而調整,並非一成不變。指標除了可用於判斷成品成效,A/B測試時也可用來評估實驗的成敗。指標對於產品經理來說,可說是相當重要。不過從零開始制定指標對新手(我)來說有一定的難度,實習期間也非常感謝資料科學總監 Peter、產品經理 Jack 的指導,協助我建立指標的概念,也針對我制定的指標給予回饋。

跨部門溝通、資源協調

最後一個,就是跨部門溝通與資源協調。聽起來簡單,身在其中就會知道有關人的事永遠是最複雜困難的。在 Jubo,工程團隊與資料科學團隊算是分開的兩個部門,所以當我們需要前後端資源時,就需要和工程團隊花更多時間在溝通與協調。Business Team 也會因為和客戶的承諾,而必須不斷 push 我們產出 demo、安排工作坊等等,因此我們的資源與排定好的優先級就也會面臨不斷變動的風險。

簡單來說,每個部門資源都有限,且都有各自的優先順序,該如何順利的跨部門溝通,甚至必要時進行協商,以及最後的資源協調,都是我在 Jubo 實習時經常碰到的議題。雖然困難,但也相當有趣。

PM Intern 的一天

我一週上三天班,因此我將這三天濃縮為一天,來展示 PM Intern 的一天給大家~

🕰️ 09:00~12:00

  • 盤點工作:首先規劃今天要做的事情,並把 todo list key 到 Google Calendar 上。
  • 產品研究:觀察產業新聞、了解市場動態、研讀文獻。
  • 大會議:參與每週的公司大會議。會議上各部門會輪流進行月報,其他人則可藉此機會了解其他部門業務。
  • 組內例會:每週我們 Team 都會開一場例會,讓大家 sync up 彼此進度。
  • 專案例會:每個專案視情況展開週會或是雙週會,會議上大家會匯報進度,同時也會進行討論與發想。

🕰️ 12:00~13:00

  • 午休:和同事到公司附近買便當回來吃XD 香菜雞肉飯是我的愛!

🕰️ 13:00~15:00

  • 寫規格書:視階段而異,通常是維護規格書的內容,並告知相關人員異動。
  • 與工程師溝通:當專案已經進到開發階段,就會需要非常頻繁地與工程人員溝通,例如前端工程師串接有問題、Data Scientist 不確定 API 格式怎麼樣才符合使用需求…等,都是需要協助溝通釐清的地方。

🕰️ 15:00~17:00

  • 與主管、產品經理 1 on 1:每週都會和主管、產品經理進行至少一次 1 on 1,我們會聊聊彼此的近況,我也會表達我遇到的困難,尋求相關建議,有時也會詢問職涯。
  • 使用者訪談:前面提到使用者訪談對 Jubo 相當重要,因為我們希望打造「真正好用的產品」,因此我便會和 UX 設計師一起進行使用者訪談,從目的出發,了解使用者內心真正的想法,並藉此給予產品 insight。

🕰️ 17:00~18:00

  • 工作收尾:我會把今天經歷的事情再盤點一遍,同時記下我的 lesson-learned (我是用Notion來記錄),為下個工作天準備。

我的收獲

在寫這篇文章時,我偶然拜讀了 Weber 在 MoBagel 的實習心得。可能因為碰到的都是AI的產品,因此在收穫方面,有不少心有戚戚焉的地方。有興趣的人也可以參考 Weber 的這篇文章:B2B 新創公司 AI 產品經理實習分享 — MoBagel 實習心得#1

  • AI 醫療的獨特與難處:如 Weber 在文內所言:「(AI)產品化很不容易」,以我經歷的失智症評測專案為例,原先提案是讓機構可以一鍵評估院內住民失智風險,但訪談後才發現機構沒有很需要這個功能,因為「失智」是件稀鬆平常的事,且失智症不能根治,延緩也需要費相當大的功夫(呼應到 Weber 文內提到的預測到決策還有一段距離)也就是說,儘管預測出高風險,機構也無能為力,頂多只能建議就醫。可是要是聽從AI建議去就醫,卻發現沒有失智症怎麼辦?是否會像放羊的小孩一樣,大家對這個AI 產品就失去信任了?
  • 不同成效的AI,有各自適合的呈現方式:這是我從設計團隊學到的事情。當今天 AI 成效非常精準,那麼設計團隊就可以用比較強烈、主導的方式來建議使用者下一步的操作,但若模型還有優化空間,亦或是礙於資料量不足,成效不夠好時,設計團隊就會用比較委婉、隱晦的方式呈現。
  • 使用者訪談的價值:我曾聽過一句話:”You are almost always wrong”,言下之意,是身為產品經理,要時刻提醒自己「你所做的每個決定都可能總是錯的」,因此我們會需要訪談來知道使用者真正的想法,不致於做過於錯誤的決定。
  • 時辰進展的拿捏:產品上線前做非常多的研究當然很棒,可是時間有限,要是投入太多時間在評估,可能就會錯過大好時機。因此在完成一定程度的研究後,就可以趕快把產品推上線,這樣才能收集到最正確的市場回饋,再繼續迭代出下個版本。很多大公司也是採用這樣的態度,所以你會看到大公司有很多失敗的產品,例如 Google 眼鏡、Google 模組化手機 Project Ara。儘管失敗了,但要知道學習失敗也是一件很重要的事情。At least they know it doesn’t work.
  • 應該擁有一份入職計畫:我是 AI/DS Team 的第一位 PM Intern,同時也是第一位 PM(我10月到職,正職產品經理11月到職),以往實習都有同職位的 mentor,這次來到 Jubo 一開始是沒有的,所以這對我來說是個很大的挑戰。
    剛入職時我便面臨不知如何開始的窘境,因此前面一個月我可以說是懵懵懂懂、跌跌撞撞走過來的。11月正職產品經理 Jack 加入後,我便觀察他是如何 on board 的。觀察了一陣子後,我便把我的觀察、看到的文章以及個人的想法整合起來,變成一套我之後可以執行的「到職計畫」。這是我最意想不到,卻也是最棒的收穫之一。
    若你對未來 Jubo PM Intern 有興趣的話,現在 AI/DS Team 已經有 PM 了,你到職後會有 mentor,且也會有一系列規劃好的進度,不用擔心。

關於入職計畫,有興趣的人可以參閱下面的文章:
產品經理加入團隊的正確姿勢 (Peter Su)
進入新公司:6件產品經理在入職30天內一定要完成的事情 (產品經理喬)
產品經理出海 1000 天:在大型軟體公司的三大觀察與學習 (Peter Su)

總結

在這份實習前,我有過 2 份 PM 實習經驗,因此我原先設想這份實習應該會比較得心應手,沒想到實際上在 Jubo 受到的磨練比先前還要多。這不禁讓我想到達克效應,我以為自己的表現可能算中上,但實際被丟入職場,才發現還有一大截需要努力。

幻想破滅讓人難堪,但認知到這點是好的,因為只有自知愚昧的人才願意持續精進。

關於達克效應,有興趣的人可以參閱下面的文章:
達克效應(DK Effect)的美麗錯誤 — — 對無知的無法認知:愚昧之巔、絕望之谷(George Chan)

先前的實習心得,有興趣的人可以參閱下面我的文章:
實習心得記錄 — PressLogic Assistant Project Management Intern (Felice Hsiao)

過去的一年的實習時光裡(PressLogic、3drens、Jubo),從專案做到產品,達到了自己的預想,心理很滿足。在產品經理這條路上也遇到很多同好,一起談論職涯與心法的時光也讓我很快樂。

產品經理聽起來光鮮亮麗,但事實上是辛苦的工作,但我還是很喜歡這份工作。我喜歡破除未知,把需求落地,成功解決使用者痛點的成就感,我想這就是產品經理浪漫的地方吧(笑)

最後,非常感謝 AI/DS Team 總監 Peter 讓我有機會到 Jubo 實習,甚至交付專案讓我獨立探索、執行,這樣的授權和發揮空間是我未曾經歷過的,這也讓我的實習更充實、有更多成長!

也非常感謝 Jack,每天都不厭其煩的給我建議,明明很忙卻還任憑我加開 1:1 場次(笑)真的是我生命中的貴人。

最後也要謝謝所有與我共事過的同仁,一起執行成本分析的 Lucy、一起完成疾病風險評估的凱文、不吝給我建議的老爸、丹、Roy 跟Harvey,工程團隊的Liz和凱元、設計團隊的Alu、Sophie 與 Paul、B Team 的 Derek、DTC 的 Lulu、CS Team 的 CN…要謝謝的人真的太多了,希望我的金魚腦沒有漏掉任何一位QQ 最後謝謝你們豐富了我在 Jubo 實習的時光 🤎

本文由 Felice Hsiao 授權轉載, 原文:《實習經驗分享:長照新創 Jubo AI/DS Product Manager Intern》

___________

你也有經驗想分享嗎?快來投稿賺稿費吧!

瀏覽 375 次

覺得不錯的話就分享出去吧!

發佈留言

Back to top button