數據集成

1. 圖形化操作界面

數據集成提供全流程編排可視化操作，基于BS架構兼容多種設備和瀏覽器訪問，提供基于SWT的數據抽取、數據處理、數據加載工具，開發人員只需要在圖形化界面中通過托拉拽的方式就可以輕松實現復雜的任務配置，不需做任何編碼，業務人員即可輕松掌控數據流向，系統提供超過70個數據處理組件，應對各種負責數據處理，降低數據集成難度及使用門檻。

2. 海量數據源

對諸如數據庫連接，ETL過程，大數據集群相關配置項等常用的資源做到一次配置，多地多次使用，支持數據源如下：

• 支持讀取、解析半結構化如Excel、CSV、XML、JSON等文件并集成；

• 支持通用關系型數據庫接口，如DB2、SAP HANA、Oracle、SQLServer、MySQL、PostgreSQL、MongoDB、Redis、達夢等數據庫等；

• 支持MPP數據庫接口，如Teradata、Greenplum、Vertica、BDP等；

• 支持Hadoop，滿足HDFS、Hive、HBase、Kafka、ElasticSearch等類型數據的適配；

• 支持FTP、SFTP文件數據的抽取；

• 支持WebService、Restful、MQTT；

• 支持JDBC和ODBC數據庫連接標準API等。

3. 強化數據處理

支持批量(離線)同步、實時同步、增量同步、全庫遷移能力。基于分布式數據流的數據處理模型，更大程度的發揮各步驟的處理能力；同時支持多實例并行執行。提供超過七十種數據處理轉換組件集合，支持數據多樣化性能處理，簡化大批量數據集成中的人工操作。

4. 作業統一調度

作業調度支持多時間維度(天、小時、分鐘)的任務定時調度，只需要簡單幾步便可完成數據增量抽取，配置簡單、靈活、易用，支持靈活的、多角度的模型作業調度機制，包括實時調度、定時調度、時間間隔循環調度等，通過系統整合優化最終實現All-in-One的統一自動化調度管理。

5. 全面的運行監控

系統提供了可視化的多維度作業運行監控，使得極佳的易用性獲得更大限度的推廣，提供運行環境多個執行器的資源監控，包括CPU占用、內存使用、磁盤空間等，通過統一監控，可合理分配任務的調度，提高數據處理效率。同時，當任務出現錯誤、執行器負載過高等場景時，數據集成支持通過預定義的方式告知用戶實時告警信息。

6. 異常容忍機制

無論是服務端還是客戶端的異常終止，都不影響到非異常部分的正常工作。例如，服務端異常終止后，執行器作為作業（任務鏈）執行容器將繼續執行已下發的作業，并在服務啟動后，將執行結果等信息反饋給服務端。

消息集成

1. 安全可靠的消息傳輸機制

兼容原生的Kafka特性，具備原生Kafka所有消息處理特性，支持安全的消息傳輸，通過Sasl認證，消息存儲加密等措施加強網絡訪問控制，支持消息數據高可靠，支持消息持久化，多副本存儲機制。

2. 高性能準實時消息處理

消息集成作為數據存儲的中間環節，提供高吞吐量的消息處理服務，延遲可縮小到毫秒ms級別。Kafka原生客戶端沒有提供查看Topic消息內容的機制，消息集成為用戶提供了Web頁面，可實時查看所有Topic中所有分區的任意偏移量的消息正文。消息查詢主要提供毫秒級、可視化的Kafka集群中的消息查詢能力，支持按照分區和生產時間進行過濾。

3. 消費進度

對于較大數據量的Topic的消費進程，用戶可以通過消息集成提供的Web頁面實時查看消費者組消費的所有Topic的具體分區的消費進度。

4. Topic重分配

在Kafka集群資源使用已超出系統配置的資源時，需要通過擴容Kafka節點來實現Kafka集群的資源擴容。新增的Kafka節點，只有在創建新的Topic才會參與工作，對于之前其他Broker節點上的分區是不會自動均衡的，不能達到負載的效果。當Kafka集群擴容以后，為了減輕原Broker節點的負載壓力，通過消息集成的Topic重分配功能將Topic的所有分區重新分配到擴容后的所有節點完成負載均衡。消息集成可以自動生成重分配建議，同時也支持用戶手工調整。

5. 全方位消息指標監控

消息集成提供Kafka集群的各種監控指標，包括Topic堆積量，消息數量，消息容量，生產/消費請求失敗數，被拒絕的字節數，消息轉換數量，生產/消費請求數量等。

服務集成

1. 零編碼生成API

平臺提供了向導式API注冊發布，零編碼生成服務，操作方便快捷，易用性強。

2. 跨網接口發布

平臺提供的API網關可以接入不同網絡的接口，支持跨網、跨系統的API開放，幫助企業快速實現多網絡協作。

3. 服務編排

將已經接入的API通過畫布方式進行托拉拽串并聯關系編排，提供了過濾組件、合并組件以解決特定業務場景。

編排流程處理：支持將多個API的執行順序，包括先后關系、并列關系，進行依賴關系處理

編排參數解析：將多個API的返回結果進行解析，以實現前面API的返回結果作為后面API的輸入或者整個編排后的API的輸出

編排流程控制：根據某個API的返回結果（可以處理的類型包括：數值、字符串、日期、數組）決定后續執行流程分支。

編排結果組合：將兩個API返回結果（List類型）按照某兩個字段的值進行組合

編排結果選擇：從某些API中挑選編排后的API的返回值，可以從API組件、合并組件中選擇

4. 南向認證

平臺支持接入第三方帶動態認證的接口，可以通過界面配置的方式，快速的解決認證問題，在用戶訪問API時，只需要通過平臺的API網關認證，對第三方接口的認證無感知。

5. 容器化運維管理

平臺采用容器化集群部署，靈活的容器編排、自動化構建部署，提升了開發運維效率和資源利用率，提供彈性伸縮、資源隔離、容災恢復、負載均衡等多元化、全方位服務，幫助企業構建復雜業務場景下的服務高可用和安全可控機制。