懂台灣口音的AI有多厲害？這間專做台灣人生意的新創Seasalt.ai（海研科技）很特殊，總部位在美國西雅圖，創辦人來自中國大陸，在地化程度要求頗高的語音模型是其核心技術。雖然應用場景是競爭最為激烈的AI客服和會議紀錄，但Seasalt.ai卻讓客戶愛上，成為投資人，甚至進一步轉為經銷商。他們究竟如何做到？
談及企業如何應用生成式AI，語音轉文字（text-to-speech）時常被Google台灣前董事總經理簡立峰提起。「光只是『音轉字』對組織的影響有多大？轉完字之後可以翻譯、摘要、分類、提示問答、搜尋。」簡立峰強調，這些轉錄結果，都是企業知識管理的根基。
對公司來說，好的會議能夠推進決策，好的會議紀錄則是形成決策的背景。只是，紀錄本身也是成本。「它是必備的，但一做就是一天。」談起尋覓AI逐字稿工具的契機，采照策略顧問董事長張向昕記憶猶新。
他坦承說，整理會議記錄無法直接貢獻產值，但又有其必要性。因為AI風潮正熱，他試圖尋找解方，在市場上繞了一圈以後，選中由Seasalt.ai開發的AI會議紀錄助理SeaMeet。
SeaMeet的運作不難，它專門鎖定Google Meet，只要召開會議、邀請機器人加入，它便會隱身背後默默紀錄。待會議結束，它會提供摘要和代辦事項，並且從發言者互動、主導地位等角度分析對話，試圖提供參與者洞察。
「檢視這些會議紀錄，能夠看出公司架構的潛規則。」Seasalt.ai商務發展經理陳姿伃分享，除了細分會議屬於多邊交流、單向輸出，例如總是主管單方面訓話以外，還能觀察到有些部門很少與其他人交流，對跨國組織管理尤其有幫助。
不過，SeaMeet的概念並不新。科技巨頭在自家服務內建轉錄功能，新創也多有投入。雖然競品不知凡幾，但Seasalt.ai的產品，仍讓張向昕一試成主顧。不只是他，公務單位、大專院校學生、中小企業，也都成為Seasalt.ai的客戶，而且，大部分使用者都是台灣人。
「台灣很喜歡用Facebook，⋯⋯（企業）聯繫最多是用messenger和LINE。」在西雅圖的上海餐館裡碰面，接受專訪前，Seasalt.ai共同創辦人姚旭晨熱情地與記者寒暄。他時不時地迸出一句對台灣市場的觀察，例如部分階層中英夾雜的說話慣習，還有熱門社群平台的演替，Threads的走紅也被他記在心裡。
2020年，姚旭晨和現任技術長的陳果果共同創辦Seasalt.ai，核心技術就是人工智慧驅動的語音模型，「我們能夠做得很道地，（台灣人）說話經常有的晶晶體，也能處理得很好，」他驕傲地說。
在西雅圖長居14年，平時工作都在美國，姚旭晨的北京話仍說得標準。讓人好奇的是，為什麼兩位來自中國大陸的創辦人，那麼懂台灣？
語音模型技術競爭，還要因語言制宜
打開Seasalt.ai的官網，旗下產品除了AI會議助手以外，還有24小時提供回覆的AI客服，以及能夠被動接電話、主動向外撥電話的AI助理。每一個領域，都有AI大廠和新創搶進。投資人關注技術和在地化，但科技巨頭順手進場，無意間便消滅一批不具進入門檻、沒有銷售通路的先行者，更是AI新創的深層恐懼。
單看會議結合語音轉文字的AI服務，視訊會議軟體Zoom已經內建逐字稿轉錄功能，微軟也替Teams的進階用戶配置智慧回顧（Intelligent Recap）；台灣有AI Lab的雅婷逐字稿、犀動智能的Vocol.AI，海外更有新進玩家磨刀霍霍。
台灣IBM技術長莊士逸分析，市面上有許多廠商投入語音轉文字服務，而且技術相對成熟。如果想要勝出，關鍵在於準確度和差異化。
「想做逐字稿，就要確保文字解析能力，能不能真的原音重現？再來，收進資料之後，能不能延伸出其他功能？」他觀察，不少廠商正在訓練語音模型（voice model），若沒有用心鑽研底層的語音技術，只會是沒有競爭力的「Me Too」產品。
就語音模型來說，不只需要打磨演算法，還需要因地制宜。
Google實驗室編輯總監總監強生（Steven Johnson）舉例，Google自家語音模型已能精細解析英文。「不過，並非所有語言都像英文那樣，通過特定的語調變化來表達猶豫或懷疑。」他向《遠見》記者解釋，不管是傳達情感，還是對話時的語氣，每種語言在表達上都有獨特性。因此，處理不同語言時不能直接代換詞彙，必須回頭調整模型。
對姚旭晨來說，不管是迎合台灣人的說話方式，還是投入研發語音技術，恰巧都不是問題。
「我們第一次創業就有台灣客戶，現在他們還是（Seasalt.ai）客戶。」姚旭晨口中的創業，指的是2014年他和陳果果初試啼聲便一鳴驚人的Kitt.ai。
台灣市場有空間，靠在地化搶客
兩人都在中國大陸成長、求學，接著前往美國約翰霍普金斯大學攻讀博士。姚旭晨在資工系研究自然語言處理，陳果果則在電子系專攻語音，他們不只同樣進入語言和語音處理中心實驗室（CLSP），還同時到Google實習。
臭味相投的兩人約定，畢業後不要繼續待在大公司，應該出來闖蕩，Kitt.ai便是他們合力譜寫出的首部作品。
早在Transformer框架尚未問世之際，以自然語言和語音技術為核心的Kitt.ai，便開發出多輪對話引擎和多國自然語言理解引擎等產品，實際運用在手機、喇叭、家電等場景之中。Kitt.ai曾入選CB Insights的人工智慧新創百強榜單，更得到亞馬遜以及微軟共同創辦人艾倫（Paul Allen）成立的艾倫人工智慧研究所（Al2）投資。最後Kitt.ai被百度收購，讓兩人賺到第一桶金。
姚旭晨回憶，Kitt.ai時期有台灣的銀行想建置聊天機器人，到海外尋求技術後，找上能用中文溝通的兩人，當時便數度飛越太平洋來到台灣。現在二度創業，這間銀行仍持續合作，成為Seasalt.ai擴大台灣市場的根基。
「通過第一家公司對台灣有更多了解，我們認為台灣市場沒有被充分代表（underrepresented），也沒有被充分投資（underinvested ）。」看見市場潛力，再加上人才品質穩定，Seasalt.ai決定把重心放在台灣。
對於技術與在地化，姚旭晨並不擔心。
就技術來說，他的信心來源，有一部分來自Seasalt.ai自研的語音模型，背後有陳果果坐鎮。就讀博士班時，陳果果師承語音辨識領域泰斗、小米語音首席科學家波維（Daniel Povey），曾參與世界上最受歡迎的開源語音辨識工具Kaldi的開發；在Google實習時，陳果果還打造出與Google助理互動時喚醒詞「Ok Google」的原型。
至於針對台灣人講的中文和英文，姚旭晨強調，Seasalt.ai很認真在地化，「如果localization（在地化）做不好的話，大家會覺得你就是一個外國公司，可能不太信任你。」他解釋，除了借助公開資料訓練以外，服務客戶時也能從中學習，進而改善模型。
此外，不僅姚旭晨和陳果果經常來訪，Seasalt.ai還有半數團隊分布在全台。「我們RD是台灣的、產品營銷是台灣的、BD是台灣的，連我們的設計師都是台灣本土的，」姚旭晨笑著說。目前，Seasalt.ai已經累積國泰、麥當勞和雄獅旅遊等客戶，協助自費新藥患者參與藥廠計畫或財務支持的采照，也是其中之一。
接電話、打電話，AI Agent現身
張向昕回憶，原先導入AI會議助手是想節省工時，但後來找到新的應用場景。
因為平時要聯繫病人，溝通醫師處方、申請進度等事項，「我們一個月就要撥一萬通電話出去。」本來有專人旁聽通話以便檢核品質，有了AI技術後，就能透過語音辨識找出異常。另外，考慮到潛在客戶可能透過不同管道上門，因此部署AI客服在官網與LINE官方帳號，隨時回答問題。
簡立峰分析，現有AI客服應用場景是「人機協作」，機器分析客服人員聽到的句子後提供指引，或者生成內容後讓真人檢核，「經過一段時間之後，連approve都不一定，大部分都可以不用。」目前，客服和行銷、寫程式等領域並列為生成式AI已經收效的領域。
AI在客服與知識管理領域率先展現價值，對新創公司而言是機遇也是挑戰。雖然降低客戶教育成本，但也導致競爭升溫，隨時可能面臨新進者或大企業的威脅。以Seasalt.ai鎖定的Google Meet來說，說不定哪一天，Google就加進繁中語音模型支援的繁中Copilot。
「這一開始就是一個bet，我們認為Gemini不會針對台灣口音專門優化。」姚旭晨認為，操持台灣口音、繁體中文，就是2300萬人的利基市場，最後他賭對了。原先觀望的合作經銷商展開合作，Google Cloud台灣業務經理王運翔也表示，Seasalt.ai能夠貼近在地用戶的需求，「在處理中英文夾雜的會議場景時表現出色。」
旗下產品從洞察（insights）、回覆（response）到拓展（outreach），姚旭晨強調，語音和自然語言處理技術，能落地到不同情境裡。「我們有一個宏大的目標，就是讓使用者一週七天、每天24小時，用文字、通話都能與客戶互動。」
張向昕也分享，采照正在測試利用AI取代自助互動語音問答（IVR），改成讓AI接電話，甚至主動撥電話給客戶。背後概念，其實就是AI Agent（AI代理）的實現。
「我們的Voice AI接起電話之後，可以將對方提的內容記筆記，或者想約會議都可以，」姚旭晨指出，若當事人不忙，AI也能提示使用者接起電話，通話後還能分析。
實際體驗技術以後，也看好醫療領域的AI應用，采照決定投資Seasalt.ai，同時讓旗下業務協助拓展Seasalt.ai的業務，希望彼此互補。目前，雙方已經合力推出醫務AI客服。
展望未來，姚旭晨的野心勃勃，「在台灣我們希望能夠打遍天下無敵手。」他把短期目標設定在將客服與會議紀錄產品做到台灣市占第一，長期則是推向美國，挑戰這個軟體即服務（SaaS）的兵家必爭之地。
從技術、在地化再到應對競爭，Seasalt.ai都嘗試交出答案卷，最後成績如何，還是得交給市場檢驗，看他們能走多遠。
