CData Software Blog

クラウド連携のCData Software の技術ブログです。

CData Sync のTips 集

CData Sync は、Salesforce やkintone などのSaaSRDB データを各種DB にレプリケーション(複製)できるデータパイプラインツールです。

f:id:cdatasoftware:20210924200327p:plain

CData Sync 概要

データソースとして対応するSaaS、DB は400種類以上

SalesforceSharePoint、Dynamics365、NetSuite、ServiceNow、kintone、スマレジなどCData Drivers ラインアップとして対応する250種類以上のSaaSf:id:cdatasoftware:20210924194819p:plain

さらにAPI Driver で対応する新興のSaaS 150種類上。日本の多くのSaaS にも対応しています。 f:id:cdatasoftware:20210924195007p:plain

データの同期先もMySQL, SQL Server などのRDB やBigQuery、Redshift、Snowflake に対応

主要なRDB への対応だけでなく、S3、Azure Synapse、Google BigQuery、Redshift、Snowflake など多様なクラウドデータストアにも対応しています。 f:id:cdatasoftware:20210924195127p:plain

操作はノーコードでシンプル

CData Sync は、データソースと同期先を接続して、コーディング不要でデータを丸ごとレプリケーションf:id:cdatasoftware:20210924195325p:plain

CData Sync のチュートリアル記事

Sync とCData の他の製品の違いは?

・まるわかりCData Sync

CDataまるわかりシリーズ 第四弾 CData Sync - まるっとSaaSデータをDBに複製!? - CData Software Blog

・CData Sync ハンズオン Salesforce -> RDB

CData Sync ハンズオン - CData Software Blog

・CData Sync ハンズオン BigQuery 軸

【CData Sync ハンズオン】Google BigQuery を軸にしたデータ分析基盤をCDataSyncで構築してみよう! - CData Software Blog

CData Sync を使うべき理由

・CData Sync 強み

エンタープライズETL にちょうど良いデータ統合基盤「CData Sync」の強み - CData Software Blog

CData Sync の技術Tips 記事集

データソースの注目機能

CSV Source Load Folder

CDataSync の CSV/TSV データソースに「ロードフォルダー機能」が追加されました - CData Software Blog

CSV Source S-JIS

CDataSync のデータソースとして S-JIS形式の CSV ファイルを読み取る方法 - CData Software Blog

・Box 内のExcel ファイルデータのSync

BoxにあるExcelファイルのデータをノーコードでMySQLに同期する - CData Software Blog

同期先の注目機能

・Sync でのOracle 接続方法

API Server, Sync でのOracle接続利用方法まとめ (V20対応) - CData Software Blog

GCP BigQuery アクセススコープ制限

GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる:CData Sync - CData Software Blog

・S3 Destination Parquet format

CData Sync Amazon S3 Destination が Parquet フォーマットをサポート - CData Software Blog

・S3 Destination 相対パス

CData Sync Amazon S3 Destination が相対パスによるレプリケーションをサポートしました - CData Software Blog

・RDS PostgreSQL Destination SSH

CData Syncから踏み台のSSHサーバー経由でRDS for PostgreSQL に連携する方法 - CData Software Blog

・202102 update(クラウドストレージのファイル出力の列名出力)

CData Sync アップデート情報 2021年2月 - CData Software Blog

ジョブの注目機能

・同期先テーブルのカスタマイズ

CData Sync 2019:同期テーブルのカスタマイズ - CData Software Blog

・既存テーブルへのマッピング

既存テーブルへのマッピング:CData Sync - CData Software Blog

・差分更新未対応ソースの差分更新

差分更新未対応のデータソースでもCDataSyncで差分更新させる方法 - CData Software Blog

・202003 update プレビューなど

ジョブ実行前のデータプレビューなどのTips:CData Sync - CData Software Blog

・差分更新:Oracle Flashback

OracleのFlashback機能による差分更新をサポートしました:CData Sync - CData Software Blog

・差分更新:SQL Server ChangeTracking

SQLServerのChangeTracking 機能による差分更新をサポートしました:CData Sync - CData Software Blog

・動機データの不一致解消 CHECHCACHE

連携データの不一致をCHECKCACHEコマンドで解消:CData Sync - CData Software Blog

・ジョブの並列処理

CData Sync でジョブの並列処理がサポートされました - CData Software Blog

・ジョブのワークフロー

ジョブ同士をつなげて、前のジョブ結果で別ジョブの実行有無を制御する方法:CData Sync - CData Software Blog

・Post job イベントでSlack のWebhook を実行する

CData Sync の処理結果を Slack に通知する - CData Software Blog

Salesforce の削除レコードの連携

Salesforceで削除したレコードの連携方法について:CData Sync - CData Software Blog

・同期先DB のTransformation 操作

CDataSyncに変換機能が追加 - ELTのT(Transformetion)が大幅に強化 - CData Software Blog

管理機能、その他

・ユーザー管理(ロール管理)

CDataSync のユーザー管理にロール機能(Role-Based access Control)が追加されました - CData Software Blog

・100万件のkintone データのSync

100万件のkintone アプリデータをGoogle BigQuery に連携して集計・分析を行う:CDataSync - CData Software Blog

・Starter(無償)の利用範囲

CData Sync の無償版ライセンスで、Salesforce やkintone を含む全データソースの利用が可能に! - CData Software Blog

環境・ホスティング、その他の便利機能

AWS EC2 Linux でのSync 構築

AWS EC2 Amazon Linux で簡単にCData Sync Java エディションを構成する方法 - CData Software Blog

GCP VM でのSync 構築

.NET版のCDataSync をGCPのVMインスタンスで使用してみる - CData Software Blog

IIJ GIO でのSync 構築

IIJ GIO に CDataSync を構築:Salesforce データをMySQLにレプリケーション - CData Software Blog

・さくらクラウドでのSync 構築

さくらクラウドで CData Sync を構築する - CData Software Blog

IIS でのSync のホスティング

IIS でCData Syncをホストする方法 - CData Software Blog

・管理機能の強化(設定情報のエクスポート/インポート)

管理機能の強化:CData Sync - CData Software Blog

・Sync のマシン移行(Windows

CData Syncの起動マシンを変更する方法について(Windowsスタンドアロン版) - CData Software Blog

・V21 アップデート方法

CDataSync V21 へのアップデート方法と初期設定 - CData Software Blog

・Sync (.NET、Java、AMI)のアップデート方法

CData Sync .NET 版・Java 版・AMI 版 でのアップデート方法について - CData Software Blog

・AMI 版Sync のRoute53 ドメイン取得

AMI版CDataSyncにRoute53で取得したドメインを設定してみる - CData Software Blog

・CDP でHTTPSSSL)化してSync をホスト

CDataSyncをGoogle Cloud PlatformでHTTPS化(SSL化)してホスティングする方法 - CData Software Blog