大數據：透過人工智慧驅動的洞見分析，了解消費者真實的需求
有關 大數據股份有限公司
有關大數據 (Big Data) 大數據股份有限公司是一家專精於透過數據分析與人工智慧以了解消費者意見和市場趨勢的公司，曾獲得許多獎項肯定。公司目標是成為華語地區數據應用的領導品牌，目前已經推出了許多高品質的數據分析應用，包含：一個基於人工智慧的社群媒體意見分析引擎、一個粉絲專頁經營分析工具、一個意見領袖搜尋工具、一個受眾分析工具等產品，並與台灣知名的網路大數據網站網路溫度計合作讓線上數據能被廣為認識。成立於 2015 年，大數據目前擁有近 50 名員工，並在台灣和香港有超過 500 個客戶。公司的擴張速度十分迅速，客戶遍佈行銷公關、公部門、餐飲業、金融業和電信業、零售業。
請告訴我們您遇到的挑戰，我們在此提供您協助。
聯絡我們
有關 Cloud Ace
Cloud Ace在2016年成立於日本，18年開始在台灣、新加坡、印尼、越南和泰國設立據點，協助各地企業加速上線GCP。我們擁有國際的視野、有如Google自由的環境，並能為台灣企業提供在地化的服務。Cloud Ace提供GCP的導入、設計、維護以及運用的全方位服務，協助企業提高業務效率，促進各行各業的產業發展，並協助TBS、Wowow、每日新聞等多家日本大型企業導入與運用GCP。Cloud Ace擁有超過300項Google認證，連續3年榮獲 Google Cloud Partners Award ，同時在2017年取得Google Cloud的Premier Partner認證，並在2020年成為Google Cloud MSP Partner。
大數據透過人工智慧驅動的數據分析技術，生成更深入的洞見，以協助客戶了解其顧客的需求和意見。
Google Cloud 結果
- 利用 Google Cloud 機器學習平台，以深度學習技術建立語意分析模型與圖像辨識，精準理解網友意見。
- 應對不斷擴大的海量數據，大量擴充不同的數據來源，兼顧海外應用的擴展，同時降低 30% 單位營運成本。
- 提升聊天機器人的開發效率與反應時間達 78%，能更快回覆客戶詢問，提升使用體驗。
- 全年數據服務可用性達 99.99% 以上。
只要 3 秒鐘即可產出 4 年期網路意見數據洞見
透過數據了解消費者的意見和市場趨勢，這就是大數據股份有限公司的服務內容。這家位於台灣的公司為企業和機構開發了易於使用的產品，可以準確且快速地生成實時的大數據分析。「我們開發的產品讓行銷人員能以比過去更快的速度進行市場調查，」大數據技術長陳詳翰博士說。「我們的系統可以在 2-3 秒內將 4 年間的數據與見解呈現在用戶面前。」
到目前為止，大數據已經推出了許多不同的產品，包括即時洞察社群媒體的 KEYPO大數據關鍵引擎、提供行動社群數據分析的聊天機器人 KEYPO BOT、網路意見領袖搜尋引擎 KEYDERS、檢視社群粉專績效的工具 FANSDO、受眾分析工具 Fanti，以及時事網路數據分析平台Big Data網路溫度計。「我們的系統從不同平台蒐集海量的數據，以進行實時的意見分析，」陳詳翰解釋。「大範圍蒐集外部數據，可以協助我們的客戶洞見產業競爭局勢與自身的狀態表現，為客戶提供更廣大的視野。」
遷移到更穩定且安全的基礎架構上
大數據決定遷移到雲端的其中一個理由是需要處理的數據規模乘載量的倍增。大數據的客戶數量每年翻倍成長，資料數量也不斷增長。2019 年，大數據每天處理不到 1000 萬筆的數據量。現在，這個數字變成 4 倍，每日處理的資料量達到 4000 萬。
儘管在市場上越來越受到歡迎，大數據也意識到應對成長不確定性的需要。因此，公司開始尋找彈性更高的平台。大數據的團隊不想要購買太多伺服器，因為如果用不到會造成浪費。另一方面，購買太少伺服器，也可能無法滿足成長的需求。為了解決這個難題，大數據決定將業務遷移到彈性更高的雲端平台。
由於有來自金融業和公部門的客戶，數據安全和合規性對大數據來說是關鍵優先事項，而 Google Cloud 讓大數據得以向這些產業的客戶提供符合高安全標準的服務。「有了 Google Cloud，我們可以自信地向客戶保証我們的系統符合最高數據安全標準，」陳詳翰說。「這點在自建機房是很難達成的，因為要取得所有不同安全認證的過程複雜且費時。」
大數據遷移到 Google Cloud 的第一階段花了一個月。公司團隊將大數據的系統分成網路、後端 API、數據庫、人工智慧辨識服務和網路爬蟲，隨後平行無痛轉移到 Google Cloud 上。
「在遷移到 Google Kubernetes Engine 之前，每次部署新版本的時候，都需要 15 分鐘左右的停機時間。現在，我們平台的全年可用性高達 99.99%，不只提升了使用者的體驗，也增加了我們的工作效率。」
—大數據股份有限公司技術長 陳詳翰博士用 Google Kubernetes Engine 創立零停機的平台
目前，大數據用 Compute Engine 和 Google Kubernetes Engine（GKE）作為 KEYPO 的底層基礎架構，因此再也不需要因為更新而停機。「在遷移到 Google Kubernetes Engine 之前，每次部署新版本的時候，都需要 15 分鐘左右的停機時間，」陳詳翰說。「現在，我們平台的全年可用性高達 99.99%，不只提升了使用者的體驗，也增加了我們的工作效率。」大數據備有數 10 個分散的服務節點平行運作，Rolling Update讓版本更新可以一個接一個節點進行，而不需要中斷整個服務。「這就像銀行開設許多櫃臺同時提供顧客服務」陳詳翰解釋。「就算碰到交接班的時間，客戶總是可以找到可以服務的櫃臺。」
除了提供節省時間和高可用性的特點之外，GKE 也協助大數據降低了 30% 的營運成本。「透過將我們的服務細分為微服務，我們的開發人員得以輕鬆地重複調用公司成熟穩定的底層服務，像是關鍵詞抽取、情緒識別、電子郵件發送、消息推送等等，而不需要重新開發相同的服務，」陳詳翰表示。 在聊天機器人應用方面，基於 KEYPO，大數據也推出了透過LINE存取的社群分析的聊天機器人 KEYPO BOT，KEYPO BOT是一個高效的輿情機器人，用戶只需要簡單的設置即可調用即時情報。除了輿情機器人外，大數據也協助部分客戶客製一些專屬特定應用的對答式聊天機器人；利用屬於 Contact Center AI 一部分的 Dialogflow 來打造高用戶互動的聊天機器人，Dialogflow能夠訓練機器人的自然語言處理（NLP），了解用戶輸入的文字背後的意圖與目的，大幅縮短聊天機器人開發的時間並提升維護能量。
作為一家數據公司，大數據也蒐集並管理著許多記錄檔。大數據使用 Cloud Logging 來追蹤 GKE 和 Compute Engine 上的記錄檔，以快速辨識並分析程式錯誤的原因。「以前我們需要一個小時來掃描所有記錄檔，但現在只需要幾分鐘，」陳詳翰說。能夠快速地修正錯誤，讓大數據的團隊得以敏捷的打造高品質的服務。另外，公司營運團隊也利用 Data Studio 來呈現產品的洞見儀表板。這讓回覆客戶系統內詢問與產品體驗的反應時間大幅縮短。
「有了Google Cloud，建立一個虛擬機器（VM）只需要 3-5 分鐘，節省了很多時間。過去機房擴充硬體需要花費 1-3 個月。這讓我們能專注於提升我們的產品。」
—大數據股份有限公司技術長 陳詳翰博士Google Cloud 協助節省了運維時間
由於大數據 70% 的產品都是軟體即服務（SaaS）的應用，因此擁有可靠且可用性高的平台，對大數據的業務來說非常重要。以往，公司需要投入數小時的人力和營運資源在運維上。尤其大數據的機房原先設在桃園，離公司在台北的總部有 40 公里遠，需要花費很多運維的時間和人力。
陳詳翰解釋「有了Google Cloud，建立一個虛擬機器（VM）只需要 3-5 分鐘，節省了很多時間。過去機房擴充硬體需要花費 1-3 個月。這讓我們能專注於提升我們的產品，」。
大數據智能核心研發經理蔡協哲表示，每次開發運維人員將新功能加到產品上時，都需要改變設定檔。這以往透過使用 subdomain SSL 來完成，需要大約一個小時。現在，大數據使用 Cloud Load Balancing 修改設定檔，幾秒鐘內就能完成。「Cloud Load Balancing 讓修改設定檔的過程從一小時縮減到幾秒鐘，差別很大，在擴充上對我們很有幫助」。
大數據目前採用微服務的架構，在數據庫和分析上採用分散的架構，使其更有彈性。Google Cloud 的高伸縮性，讓這個架構設計成為可能。「如果使用量提高，我們可以快速水平擴增資源，並在使用量下降的時候減少投入的資源。如果我們使用機房營運，這絕對不可能實現，因為光是買設備、建立架構就需要 3 個月」陳詳翰說。他補充解釋，Google Cloud 的託管服務架構，也能幫助降低維運的精神與管理的成本。
辨識圖片和語意分析
陳詳翰發現，最近越來越多人傾向在 Facebook 和 Instagram 等網路平台上分享圖片。今日，社群內容中出現有文字的圖片能見度越來越高：例如資訊型懶人包、對話式貼文，這些都是值得分析的內容。大數據基於 Vision AI 做為底層技術進行圖片辨識。Vision AI 的光學文字辨識（OCR）技術可以精確地辨識圖片中的文字，協助分析資訊型懶人包、對話式貼文等圖片內容。
而文本分類方面，大數據的團隊也使用 TensorFlow 來訓練用於語意分析的深度學習模型。
「在 Google Cloud 上工作的好處是可以根據我們的需求使用資源。一旦特定的資源不再需要，就可以被釋出，不需要付費。這讓我們的研發過程增加了很多彈性。」
—大數據股份有限公司技術長 陳詳翰博士用 Workspace 加速內部溝通
在大數據團隊內部，分享檔案和文件是日常運營很大的一部分。在遷移到 Google Cloud 之前，大數據團隊就已經開始使用 G Suite，讓研究人員可以輕易地上傳檔案，並實時與其他數據科學家分享檔案。
G Suite 讓大數據不同部門的員工能隨時隨地存取分享的檔案。這節省了很多時間，因為他們可以減少發送的電子郵件數量，並合作編輯文件。能夠實時將日曆同步化，也幫助大數據的員工輕鬆規劃會議，並配合正在進行中的工作計畫的時程表。
用 Google Cloud 有彈性且安全地擴大業務規模
2019 年年底，大數據開始打造日本市場版本的 KEYPO。團隊必須爬日本的新聞網站和討論區並要對不同的語言建立語意模型，這都需要很多計算資源。「我們需要對日文的數據進行大量的分析實驗，但又不能使用手邊的機器，影響現有的服務」陳詳翰說。
除了投資新的主機之外，大數據也在 Google Cloud 上開了新的機器，用 Compute Engine來搭建進行資料取和語義分析的測試環境。「這些為了實驗開設的新環境，讓我們的現有平台可以不受影響，也能迅速建立一個實驗所需的資源」陳詳翰補充說。「在 Google Cloud 上工作的好處是可以根據我們的需求使用資源。一旦特定的資源不再需要，就可以被釋出，不需要付費。這讓我們的研發過程增加了很多彈性。」
大數據的目標是用 Vision AI 和 TensorFlow Enterprise 來進一步發展人工智慧服務。公司也計畫使用 BigQuery 和 CloudSQL 來提升數據分析與處理的能力。「我認為減少成本和人力都是很有幫助的，但使用 Google Cloud 更大的價值在於擴張我們處理資料數量的能力，以及資料安全和備份」陳詳翰總結。「使用 Google CloudSQL 可以幫助我們保證產品的安全，同時也讓產品更有彈性。這就是我們想要達到的目標。」
''作為大數據的合作夥伴，Cloud Ace 雲一有限公司除了協助大數據團隊執行效能調校、資訊安全、優化費用等技術問題，也提供許多實踐的建議；除了安排教育訓練，也會配合我們業務上的需要，提供各式Google Cloud服務介紹。陳詳翰技術長表示：「感謝Google團隊與Cloud Ace 專業的支援，讓我們快速了解如何有效應用Google Cloud，充分發揮價值。特別是雲端資安與系統可靠性架構，我們十分滿意合作夥伴提供的專業服務。''
請告訴我們您遇到的挑戰，我們在此提供您協助。
聯絡我們
有關 大數據股份有限公司
有關大數據 (Big Data) 大數據股份有限公司是一家專精於透過數據分析與人工智慧以了解消費者意見和市場趨勢的公司，曾獲得許多獎項肯定。公司目標是成為華語地區數據應用的領導品牌，目前已經推出了許多高品質的數據分析應用，包含：一個基於人工智慧的社群媒體意見分析引擎、一個粉絲專頁經營分析工具、一個意見領袖搜尋工具、一個受眾分析工具等產品，並與台灣知名的網路大數據網站網路溫度計合作讓線上數據能被廣為認識。成立於 2015 年，大數據目前擁有近 50 名員工，並在台灣和香港有超過 500 個客戶。公司的擴張速度十分迅速，客戶遍佈行銷公關、公部門、餐飲業、金融業和電信業、零售業。
有關 Cloud Ace
Cloud Ace在2016年成立於日本，18年開始在台灣、新加坡、印尼、越南和泰國設立據點，協助各地企業加速上線GCP。我們擁有國際的視野、有如Google自由的環境，並能為台灣企業提供在地化的服務。Cloud Ace提供GCP的導入、設計、維護以及運用的全方位服務，協助企業提高業務效率，促進各行各業的產業發展，並協助TBS、Wowow、每日新聞等多家日本大型企業導入與運用GCP。Cloud Ace擁有超過300項Google認證，連續3年榮獲 Google Cloud Partners Award ，同時在2017年取得Google Cloud的Premier Partner認證，並在2020年成為Google Cloud MSP Partner。