版本資訊

以下為 Cloud Dataprep by Trifacta 的版本資訊。您可定期查看本頁面的聲明內容,瞭解各種新型或更新功能、錯誤修正、已知問題及已淘汰的功能。

如要接收產品最新消息,請將這個頁面的網址加入您的動態饋給閱讀器

2019 年 3 月 20 日

  • TD-39411:如果來源是由 Google Suite 提供,則無法匯入 BigQuery 資料表或視圖。

    • Cloud Dataprep by TRIFACTA 僅支援原生 BigQuery 資料表和視圖。BigQuery 來源如果參照了像是 Google 試算表這類儲存在 Google Suite 內的資料,Cloud Dataprep by TRIFACTA 並不支援。
    • 解決方法:建立連結至 BigQuery 內部 Google Suite 來源的 BigQuery 資料表副本,然後再使用「Import Dataset」(匯入資料集) 頁面,在 Cloud Dataprep by TRIFACTA 中將原生 BigQuery 資料表匯入為資料集。
  • TD-39386:部分使用者無法編輯具有參數的資料集,試圖使用應可存取的來源卻收到 HTTP 403 錯誤 (權限遭拒)。

    • 解決方法:自行重建具有參數的替代資料集,並改以使用這個具有參數的新建資料集,捨棄舊資料集。
  • TD-39296:針對從 Parquet 檔案取得且具有參數的資料集,無法執行 Cloud Dataflow 工作。

    • 解決方法:使用其他支援的檔案格式產生來源,或是在第一個步驟中合併所有自 Parquet 取得的資料集。
  • TD-39295:如果資料集包含 INT96 資料類型的資料欄,則 Parquet 工作在 Cloud Dataflow 上會發生錯誤。

    • 解決方法:在用於轉換 Parquet 資料的資料庫中,淘汰 INT96 資料類型,不再使用。請將來源變更為其他資料類型並重新匯入。詳情請參閱 GitHub 上的 PARQUET-1480
  • TD-39173:如果來源為 Avro 檔案,則無法預覽已匯入的資料集。

    • 解決方法:檔案仍然可供匯入和疊加。
  • TD-38869:Parquet 檔案上傳不支援巢狀結構值,其在「轉換器」頁面中會顯示為空值。

    • 解決方法:請拆分巢狀結構值,然後再匯入至平台。
  • TD-37688: 新的「Selection Details Panel」(選擇詳細資料面板) 文件未更新。

    • 「Selection Details」(選擇詳細資料) 面板會替代並延伸「Suggestion Cards Panel」(建議資訊卡面板) 的功能。 這是最新功能,因此尚未更新舊版文件。
    • 在下個版本中將提供更新版文件。
    • 解決方法:您可在這裡取得全新「Selection Details」(選擇詳細資料) 面板的文件:Selection Details Panel (選擇詳細資料面板)。
  • TD-37683:傳送副本並不會在新流程建立一組獨立的方案和資料集。如果在來源流程中移除已匯入的資料集,這些資料集同樣也會從已傳送的版本消失。

    • 解決方法:在已傳送流程中,建立已匯入資料集的新版本。
  • TD-36332:如果已收集樣本並將資料集聯集,則資料網格可能顯示錯誤結果。
  • TD-36192:如果在方案面板中取消步驟,可能會導致資料網格未顯示資料欄選單。
  • TD-31252:透過「資料欄瀏覽器」指派目標結構定義時未重新整理頁面。
  • DP-98:BigQuery 不支援讀取在 US 或 EU 以外地區所儲存的資料表。

2018 年 11 月 19 日

  • 變數覆寫:
    • 針對流程執行,您可將覆寫值套用至多個變數。 請參閱流程檢視頁面
    • 將變數覆寫套用至已排程的工作執行。請參閱新增時間表對話方塊
    • 您現可將變數覆寫,套用至透過具參數之資料集所取得的樣本。請參閱樣本面板
  • 新轉換:
    • 特徵分塊資料欄:將數字值放置於同等或自訂數值範圍大小的特徵分塊
    • 縮放資料欄:將資料欄的值縮放至固定範圍或零均值及單位變異數分佈。
    • One-hot 編碼:根據對應資料列中是否具有值,將值從某一資料欄編碼至內含 01 的獨立資料欄。
    • 分組依據:透過套用至一或多個資料欄中分組值的匯總函式,產生新資料欄或替代資料表。
  • CSV 發佈選項:將報價新增為 CSV 檔案發佈選項。請參閱執行工作頁面一文。
  • 檢閱與選取模式:模式可在內容面板中供做檢閱與選擇,以及提示建議用途。請參閱模式詳細資料面板
  • 替換動態資料集:在「Flow View」(流程檢視) 中,將靜態的已匯入資料集替換為具有參數的資料集。請參閱流程檢視頁面
  • 命名樣本:您可為產生的樣本命名。請參閱樣本面板
  • 彙整面板:在內容面板中,新的「Join」(彙整) 面板已取代「Join」(彙整) 頁面。請參閱彙整面板
  • 巢狀運算式:您可在 Wrangle 的運算式中,建立巢狀運算式。請參閱 Wrangle 語言
  • TD-34840:從具有眾多金鑰的物件選取金鑰時,平台無法提供轉換建議。
  • TD-34822:建立具有參數的資料集時,日期範圍值中區分大小寫的變體項目不相符。
    • 附註:日期範圍參數現區分大小寫。
  • DP-98:BigQuery 不支援讀取在 US 或 EU 以外地區所儲存的資料表。
  • TD-34574:無法匯入具有 NUMERIC 資料類型的 BigQuery 資料表和視圖。
  • TD-33428:在剖析過程中發生「Java 空指標錯誤」,因此在執行分割轉換時針對方案的工作執行具有高度限制。
    • 附註:請勿建立規模超過 2500 個資料欄的資料集。如果資料集的規模太大,系統的效能可能會大幅降低。
  • TD-30857:在大型目錄中比對檔案路徑模式時,執行速度可能非常緩慢,特別是在具有參數的單一資料集中使用多重模式時,尤其如此。
    • 附註:如要提高比對速度,請避免在頂層目錄中使用萬用字元,並盡可能提供明確的萬用字元和模式。

2018 年 9 月 21 日

宣佈推出 Cloud Dataprep正式發行版 (GA)下列是此版本中最新版功能、異動、淘汰項目、問題和修正項目的清單:

  • 在同個專案中共用流程:透過同個 GCP 專案中的共用流程,與其他使用者展開協同合作。或是向這些使用者傳送專用副本。詳情請參閱共用總覽
  • 附註:如果您嘗試與 Cloud Dataprep by TRIFACTA 的已知使用者共用流程,但卻顯示 That is not a valid email 錯誤,請要求該使用者在同個 GCP 專案中重新登入 Cloud Dataprep。
  • TD-34574:無法匯入具有 NUMERIC 資料類型的 BigQuery 資料表和視圖。
    • 解決方法:將 NUMERIC 類型投放至 FLOAT,即可成功匯入。
    • 附註:在 2018 年 8 月 20 日已開始支援適用於 BigQuery 的 NUMERIC 資料類型。詳情請參閱 BigQuery 版本資訊
    • 預計將針對未來版本支援 NUMERIC 資料類型。
  • TD-34061:如資料集是從超過 6000 個檔案取得,則在該資料集上執行工作時可能會發生錯誤。

    附註:由於 Cloud Dataflow 設有的限制,如果您對含有超過 1000 個檔案的參數化資料集執行工作,輸入路徑資料就必須經過壓縮,這會造成 Cloud Dataflow 工作詳細資料中出現無法讀取的位置值。

    解決方法:基於此原因以及其他效能原因,請嘗試將參數化資料集限制為不超過 5000 個來源檔案。

  • TD-33428:在剖析過程中發生「Java 空指標錯誤」,因此在執行分割轉換時針對方案的工作執行具有高度限制。

    附註:請勿建立規模超過 2500 個資料欄的資料集。如果資料集的規模太大,系統的效能可能會大幅降低。

  • TD-33901:在「Flows」(流程) 頁面中無法依名稱排序流程。
  • TD-33900:如果標頭使用受保護的名稱,則可能會重新命名資料欄。
  • TD-33888:開啟具有 Case 轉換的方案時,顯示「無法載入已疊加的資料集,指令碼格式錯誤 (無法讀取未定義的「push」屬性)」錯誤。
  • TD-33798:從 Cloud Storage 匯入 Avro 資料集時,顯示「無法建立資料集」錯誤。
  • TD-33797:當您移動滑鼠時,「Jobs」(工作) 頁面中的作用中工作狀態圖示會閃爍。
  • TD-33108:「Flow View」(流程檢視) 中,參照物件名稱的文字方塊看起來拉長變形。
  • TD-32123:視窗轉換未依遞減順序處理順序參數。

2018 年 7 月 18 日

  • 新首頁與左側導覽列:新的首頁與左側導覽列,可讓您更順暢地存取最近的流程和工作,以及各項學習資源。請參閱首頁
  • 更新的新手上路教學課程:擴展新手上路教學課程內容並延伸至現有的工作流程,以包含匯入與工作結果指南。
  • 新資料庫頁面:透過全新的「Library」(資料庫) 頁面,管理您的資料集和參考資料。請參閱資料庫頁面
  • 重新設計的工作頁面:在全新的「Jobs」(工作) 頁面中,您可更輕鬆地尋找和檢閱具存取權的所有工作。請參閱工作頁面
  • 推出適用於一般工作的預先定義轉換:您可透過內容面板,搜尋豐富眾多的各種預先定義轉換。只要選取其中一個預先定義轉換,即會根據資料網格或資料欄瀏覽器中的目前內容,預先填入「轉換製作工具」。
  • 新轉換器工具列: 全新工具列可讓您更快速地存取一般轉換和作業。請參閱轉換器工具列
  • 比對方案與目標:為您的方案指派新目標,以在執行疊加時提供比對指南。請參閱目標比對總覽
    • 指派至方案的目標會顯示於資料欄標頭重疊項目,以協助您校正資料集來比對資料集結構定義和目標結構定義。請參閱資料格線面板
  • 取消取樣工作:取消進行中的取樣工作。請參閱樣本面板
  • 增進資料欄比對:執行聯集作業時,可更智慧地進行資料欄比對。請參閱聯集頁面
  • 增進彙整頁面:針對「Join」(彙整) 頁面改進眾多功能。請參閱彙整頁面
  • 更靈活的資料欄名稱:支援在資料欄名稱中使用更廣泛豐富的字元選擇。請參閱重新命名資料欄
  • 共用流程:透過同個 GCP 專案中的已共用流程,與其他使用者展開協同合作。或是向這些使用者傳送專用副本。
    附註:這項功能可能不會立即在您的使用者帳戶或協作者帳戶中提供。請靜待數日後再回來查看。詳情請參閱共用總覽
  • 匯入/匯出流程:針對使用 Cloud Dataprep by TRIFACTA® 建立的流程,將流程匯出並匯入至 GCP 專案。
    • 請參閱匯出流程
    • 請參閱匯入流程
    • 您也可以將已執行工作的依附元件匯出為個別流程。請參閱流程檢視頁面
    • 您僅可匯入從同個版本之 Cloud Dataprep by TRIFACTA® 匯出的流程。
  • 推出具參數的動態資料集:在已匯入的動態資料集中,使用參數化規則允許已排程的工作自動選擇正確的輸入資料。請參閱參數化總覽
  • 資料集頁面:「Datasets」(資料集) 頁面已由全新的「Library」(資料庫) 頁面取代。請參閱資料庫頁面
  • Aggregate 轉換:Aggregate 轉換已自平台中移除。
    • Aggregate 功能已整合至 Pivot,因此您可執行相同的工作。

      附註:使用 Pivot 轉換的新版本,支援先前所有的 Aggregate 轉換功能。

    • 在「Search」(搜尋) 面板中,輸入 pivot。請參閱搜尋面板
  • TD-31305:複製流程時會撤銷新副本中的樣本。如在流程當中複製或移動節點,則會撤銷節點的樣本。
    • 這項問題適用於從先前版本升級的流程。
    • 解決方法:完成移動或複製後,重新建立樣本。
  • TD-31252:透過「Column Browser」(資料欄瀏覽器) 指派目標結構定義時不會重新整理頁面。
    • 解決方法:如要更新頁面,請透過瀏覽器重新載入頁面。
  • TD-31165:收集樣本時工作結果有誤,且隨後會復原上一次的轉換步驟。
    • 解決方法:復原轉換步驟後請重新收集樣本。
  • TD-30857:在大型目錄中比對檔案路徑模式時,執行速度非常緩慢,特別是在具有參數之單一資料集中使用多重模式時尤其如此。
    • 解決方法:若要提高比對速度,請避免在頂層目錄中使用萬用字元,並儘可能明確使用萬用字元和模式。
  • TD-28807:您瀏覽至內含資料的 BigQuery 專案時,可能會顯示「找不到任何資訊」的訊息。請和您的 BigQuery 管理員一同確認使用中的服務帳戶是否設定正確且具適當權限,如此您才能使用此專案。
  • TD-31339:如果暫時輸出作業產生超過 32 個檔案,則將單一檔案寫入於頂層目錄時可能會發生錯誤。
  • TD-29149:資料欄包含具有前置空格的「字串」值,而系統誤將該資料欄投放為「整數」資料類型。
  • TD-28930:刪除其他資料欄會導致遺漏資料欄歷程,且會重新排序資料欄。
  • TD-26069:Photon 會將 date(yr, month, 0) 評估為上個月的第一個日期。因此應該會傳回一個空值。

2018 年 5 月 23 日

  • 產品名稱變更:此版本起,本產品稱為 Cloud Dataprep by TRIFACTA®
  • GDPR:現在本產品符合歐盟 GDPR 法規。此法規強化了對使用者資料隱私權的規定。如需更多資訊,請參閱 https://www.eugdpr.org/

    為遵循此法規,Cloud Dataprep by TRIFACTA 已更新所有使用者的服務條款和隱私權政策,且立即生效:

TD-28807:您瀏覽至前往內有資料的 BigQuery 專案時,可能會收到「找不到任何資訊」的訊息。請和您的 BigQuery 管理員一同確認使用中的服務帳戶是否設定正確且具適當權限,如此您才能使用此專案。

2018 年 4 月 25 日

當使用者停用 Cloud Dataprep 時,所有與 Cloud Dataprep 相關聯的中繼資料會被刪除,這項作業無法復原 (請參閱 停用 Cloud Dataprep 的影響)。

2018 年 1 月 23 日

公告 Cloud Dataprep Beta 5 版本。下列為發佈版的功能、變更、淘汰功能、問題和修正內容的清單:

  • 新流程檢視頁面:「Flow View」(流程檢視) 中有新物件,且新物件的組織方式也比以往好。請參閱流程檢視頁面
  • BigQuery 跨專案讀取/寫入存取權:
    • 從與 GCP 專案相關聯的 BigQuery 表格中讀取,而非在 Cloud Dataprep 啟動位置所用的目前專案中讀取。
    • 將結果寫入與其他專案相關聯的 BigQuery 表格。
    • 您必須設定 Cloud Dataprep 和 Cloud Dataflow 服務帳戶,才能在目前的 GCP 專案之外讀取或寫入至 BigQuery 資料集和表格。
  • 在 Cloud Dataflow 上重新執行工作:
    • 您在 Cloud Dataprep 中執行工作後,也可以直接從 Cloud Dataflow 介面重新執行工作。
    • 輸入和輸出是您可以修改的參數。
    • 使用第三方排程工具操作工作。
    • 請參閱在 Dataflow 上執行工作一文。
  • 交叉聯結:在資料集之間執行交叉聯結。請參閱彙整頁面
  • 啟用或停用檔案和資料表上的類型推測:啟用 (預設) 或停用適用於 BigQuery 表格或是使用的 Avro 檔案做為個別資料集來源的初始類型推測。請參閱匯入資料頁面一文。
  • 重新命名批次資料欄:在單一轉換步驟中重新命名多個資料欄。請參閱重新命名資料欄一文。
  • 重新使用您的一般模式:瀏覽與選取模式,以便從您最新的記錄中重新使用。請參閱模式記錄面板一文。
  • 轉換電話和日期模式:
    • 在「資料欄詳細資料」中,您可以選取一種電話號碼或日期模式以便產生建議,並用於將資料欄中的值標準化為單一格式。
    • 請參閱資料欄詳細資料面板一文。
  • 新字串比較函數:
  • 新的 SUBSTITUTE 函式:可使用新文字或資料欄值取代字串文字或模式。請參閱 SUBSTITUTE 函式一文。
  • 新流程物件:流程中的物件已修改和擴大,以便讓您在流程定義和重新使用中的彈性更大:
    • 參考資料:建立參考資料至您方案中的輸出,並用其做為其他方案的輸入。
    • 輸出物件:在方案相關聯的單獨物件中指定個別的發佈輸出。發佈選項包含格式、位置和資料類型。
    • 詳情請參閱物件總覽一文。
  • Wrangle 資料集:Wrangle 資料集不再是 Cloud Dataprep 中的物件,這些資料集的功能已經移至其他物件和新物件。詳情請參閱物件總覽一文。
  • TD-28155:在 Cloud Dataflow 上的 Avro 檔案中取樣一律會掃描整個檔案。因此可能會產生其他處理成本。
  • TD-26069:Photon 會將 date(yr, month, 0) 值評估為上個月的第一個日期,因此應該會傳回一個空值。
  • TD-27568:無法選取空白資料集中的 BigQuery 發佈目的地。
  • TD-25733:嘗試 12 個資料集的聯集會使 UI 當機。
  • TD-24793:系統誤將 BigQueryNotFoundException 回報給使用者已移動或刪除的輸出資料表。
  • TD-24130:無法讀取在 Cloud Dataflow 中的資料夾路徑下,位於不同層級檔案的遞迴目錄結構。

2017 年 11 月 2 日

公告 Cloud Dataprep 版本,其中的功能焦點為 UI 修改、排程、改善採樣及其他幾項次要功能。下列為發佈版的功能、變更、淘汰功能、問題及修正內容的清單:

  • 適用於新使用者的互動式入門教學課程:Cloud Dataprep 新使用者可以透過產品預先載入的資料,檢視「入門指南 101」教學課程。
  • 排程:在流程內所排定執行的一個或多個 Wrangle 資料集,而排程工作須從流程檢視中設定。請參閱流程檢視頁面一文。
  • 新轉換頁面:適用於轉換頁面的新導覽和版面配置,可簡化資料處理並增加資料格線的區域。請參閱轉換頁面一文。
  • 現在轉換建議會顯示在右側面板中,而非位於頁面底部。只有在您將滑鼠游標移至建議上方時,才會顯示轉換建議的預覽。
  • 取樣改善:加強取樣方法可提供存取您資料中自訂、工作導向的子集。請參閱取樣面板一文。
  • 為了保留初始樣本而改善的轉換載入。 如需更多關於新取樣方法的資訊,請參閱取樣總覽一文。
  • 流程檢視改善:改善使用流程的使用者體驗。請參閱流程檢視頁面一文。
  • 停用步驟:在您的方案中停用個別步驟。請參閱方案面板一文。
  • 在匯入期間設定編碼設定:您可以定義每個檔案的匯入設定,包含檔案編碼類型和自動結構偵測。請參閱匯入資料集頁面一文。
  • Snappy 壓縮:適用於 Snappy 壓縮的讀取/寫入支援。請參閱支援的檔案格式一文。
  • 資料欄歷程:醒目提示方案步驟中已參照的特定資料欄位置。請參閱資料欄選單一文。
  • 搜尋資料欄:依照名稱搜尋資料欄。請參閱資料格線面板一文。
  • CASE 函式:使用單一 CASE 陳述式建立多個條件的運算式。請參閱 CASE 函式一文。
  • BigQuery 日期時間支援:依據資料而定,發佈 Cloud Dataprep 日期時間值至 BigQuery 做為日期時間或時間戳記的值。請參閱 BigQuery 資料類型轉換一文。
  • 支援所需的瀏覽器版本:您無法使用不支援的 Google Chrome 版本登入此應用程式。
  • 支援編碼類型:支援編碼類型的清單現已變更。
  • 依附元件瀏覽器:依附元件瀏覽器已被資料集導覽工具所取代。
  • 轉換編輯器:已移除用來輸入原始文字 Wrangle 步驟的轉換編輯器。請使用轉換指令製作工具來建立轉換步驟。
  • TD-27568:無法選取空白資料集中的 BigQuery 發佈目的地。
  • TD-24312:改善 Google 使用者的錯誤訊息,以便識別工作前的執行失敗。 如果在工作執行前的工作啟動期間發生錯誤,您現在可以在工作失敗資訊卡中檢視造成原因的詳細錯誤訊息。 在啟動工作期間發生的常見錯誤包含下列項目:
    • Cloud Dataflow 暫存位置為不可寫入
    • Cloud Dataflow 無法從不同區域讀取和寫入
    • Cloud Dataflow 的工作站不足,請檢查您的配額
  • TD-24273:Avro 檔案結構定義中的循環參考資料導致 Cloud Dataflow 中的工作失敗。
  • TD-23635:唯讀 BigQuery 資料集列為發佈目的地,發佈失敗。
  • TD-26177:Dataflow 因大型的 Avro 工作而失敗。 在此版本之前匯入的 Avro 資料集可能仍會在 Dataflow 工作執行期間發生失敗,如要修正這些失敗項目,您必須重新匯入資料集。
  • TD-25438:刪除上游參考資料節點不會正確地將結果傳播至轉換頁面。
  • TD-25419:當資料透視轉換套用時,部分資料欄長方圖可能不會更新。
  • TD-23787:當發佈位置不可用時,只有出現不停轉動的轉輪,未出現任何錯誤訊息。
  • TD-22467:上一個有效樣本未在多個資料集作業預覽中顯示。
  • TD-22128:如果資料大於 500 KB,則無法讀取多檔案 Avro 上游。
  • TD-19865:您無法設定尚未存在的發佈目的地作為目錄。請參閱執行工作頁面一文。
  • TD-17657:即使 Splitrows 轉換所需的參數設定為空白值仍允許拆分。
  • TD-24464:使用大量資料欄和一個巢狀結構開啟方案時所發生的「Python 錯誤」
  • TD-24322:Nest 轉換建立具有複製金鑰的對應。
  • TD-23920:在輸出路徑中支援等於符號 (=)。
  • TD-23646:新增特定評論看來像是先前所撤銷的編輯。
  • TD-23111:載入複雜流程檢視時的延遲時間過長
  • TD-23099:雖然已啟用剖析,但是沒有出現工作資訊卡上的檢視結果按鈕
  • TD-22889:部分動作的 UI 效能過於緩慢

2017 年 9 月 21 日

公告 Cloud Dataprep 公開測試版。請參閱 Cloud Dataprep 說明文件

2017 年 5 月 17 日

  • Cloud Dataprep 應用程式目前僅與 Chrome 瀏覽器相容。更精確地說,它需依賴 PNaCl 外掛程式,使用者可以透過存取 PNaCl 示範模式,確認他們的 Chrome 環境是否支援 PNaCl。 如果示範模式無法運作,使用者可能需要調整 Chrome 環境。
  • Cloud Dataflow 上的 Cloud Dataprep 工作僅可從 Cloud Dataprep UI 上執行,日後推出的版本預期可支援程式輔助執行。
  • Cloud Dataflow 上的 Cloud Dataprep 工作只能在專案範圍之內存取資料。
  • 使用者可能會看見他們可存取的來源,但是卻不在所選專案範圍之內。Cloud Dataflow 嘗試使用這些來源的工作可能在無預警下失敗。
  • Cloud Dataprep 流程/資料集僅可被每個使用者/專案所檢視。 日後推出的版本預期可供流程/資料集共享。
  • 資料類型發佈至 BigQuery 時,相應的資料類型有所限制。例如,日期/時間和陣列類型會以字串寫入。我們將在日後的新版本中修正這個錯誤。
本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Google Cloud Dataprep 說明文件
需要協助嗎?請前往我們的支援網頁