那個網(wǎng)站做外貿(mào)谷歌廣告代理公司
導讀 | 我們很高興向您介紹 Beam 的新版本 2.50.0。該版本包括改進功能和新功能。請查看此版本的下載頁面。 |
亮點
- Spark 3.2.2 被用作 Spark 運行程序的默認版本(#23804)。
- Go SDK 新增默認本地運行程序,名為 Prism(#24789)。
- 所有 Beam 發(fā)布的容器鏡像現(xiàn)在都是多架構(gòu)鏡像,同時支持 x86 和 ARM CPU 架構(gòu)。
輸入/輸出
- Java KafkaIO 現(xiàn)在支持通過 topicPattern 提取主題(#26948)
- 支持從 Cosmos DB Core SQL API 讀取數(shù)據(jù)(#23604)
- HBaseIO 升級至 HBase 2.5.5。(Java)(#27711)
- 增加了對 GoogleAdsIO 源的支持(Java)(#27681)。
新功能/改進
- Go SDK 現(xiàn)在需要 Go 1.20 才能構(gòu)建。(#27558)
- Go SDK 新增默認本地運行程序 Prism。(#24789).
- Prism 是一種可移植的運行程序,能獨立執(zhí)行每個轉(zhuǎn)換,確保編碼人員的安全。
- 目前,它在功能上取代了 Go 直接運行程序。Go 直接運行程序現(xiàn)已棄用。
- 有關(guān) Prism 的目標和功能,請參見 https://github.com/apache/beam/blob/master/sdks/go/pkg/beam/runners/prism/README.md。
- 在 Python SDK 中添加了用于 RunInference 的抱臉模型處理程序。(#26632)
- 在 Python SDK 中添加了 RunInference 的 Hugging Face Pipelines 支持。(#27399)
- RunInference 的頂點 AI 模型處理程序現(xiàn)在支持私有端點 (#27696)
- 添加了 MLTransform 變換,支持常見的 ML 預/后處理操作 (#26795)
- 將 Java SDK 的 Kryo 擴展升級至 Kryo 5.5.0。這帶來了錯誤修復、性能改進以及 Java 14 記錄的序列化。(#27635)
- 所有 Beam 發(fā)布的容器鏡像現(xiàn)在都是支持 x86 和 ARM CPU 架構(gòu)的多架構(gòu)鏡像。(#27674).多架構(gòu)容器鏡像包括:所有版本的 Go、Python、Java 和 Typescript SDK 容器;所有版本的 Flink 作業(yè)服務器容器;Java 和 Python 擴展服務容器;Transform 服務控制器容器;Spark3 作業(yè)服務器容器.
- 添加了對 AWS SQS 批量寫入的支持,以提高吞吐量(Java、AWS 2)。
破壞性變更
- Python SDK:從 Dataflow 中移除傳統(tǒng)運行程序支持,所有管道都必須使用運行程序 v2。
- Python SDK:在管道提交時,Dataflow Runner 不會再將來自 PyPI 的 Beam SDK 放在 –staging_location 中。非基于 Beam 默認鏡像的自定義容器鏡像必須包含 Apache Beam 安裝。