CData Software Blog

クラウド連携のCData Software の技術ブログです。

CDataSyncを使ってBusiness b-ridge のアプリデータをBigQueryにレプリケート

f:id:sennanvolar44:20200521175346p:plain こんにちは、CData の宮本です。

今回は ノーコードで簡単にシステムを構築することできる Business b-ridge 内にあるデータを、データレプリケートツールの CData Sync を使って BigQuery に連携する内容を紹介いたします。

Business b-ridgeとは

ノーコードで「誰もが、簡単に」システム構築できるアプリケーションプラットフォームです。GUI 上でそれぞれのケースにあったシステムを簡単に構築できることから、さまざまな変化にもすぐに対応できるというのが魅力です。

https://www.businessbridge.jp/

f:id:sennanvolar44:20200521171601p:plain

CData Sync とは?

f:id:sennanvolar44:20200420213536p:plain Salesforce や Marketo などのクラウドSaaS)データ を DB およびデータウェアハウスに同期するレプリケーションツールです。複雑な設定等は特になく、高度な同期ジョブを作成、運用することができます。また SQL を設定することができるので、柔軟にデータを抽出してデータベースへ連携することができます。

https://www.cdata.com/jp/sync/

構成

f:id:sennanvolar44:20200521180751p:plain Business b-ridge から受け取るデータを CData Sync を介して BigQuery にロードします。CData Sync の配置場所はクラウド上でも、オンプレでも構いません。また、BigQuery 以外にも接続設定だけ済ませれば、簡単に RedShift や SQLServer など他の連携先にもデータを連携することが可能です。
データソース、同期先のラインナップは以下のリンクより確認できます。
https://www.cdata.com/jp/sync/connections/

準備

本構成で必要なものは以下の通りです。

  • CDataSync
    (後述するインストール手順でダウンロードリンクを載せています)
  • eセールスマネージャのアカウント
  • BigQuery

CData Sync インストール

まずは以下のリンクより CData Sync をダウンロードします。

https://www.cdata.com/jp/sync/

なお、CData Sync はWindows版、Java版、AMI版と3種類存在しますので、実行環境に合ったものを選択ください。今回は Windows 版を使っていきます。
f:id:sennanvolar44:20200503013133p:plain

ダウンロードしたインストーラーを実行します。基本的にデフォルトのまま次へと進んでしまって構いません。
f:id:sennanvolar44:20200503013558p:plain

以上で準備が完了しました。

手順

では、これより Business b-ridge から BigQuery への連携ジョブを作成していきます。

Business b-ridge への接続設定

CData Sync をインストールした状態では Business b-ridge のコネクタは表示されていないので、まずはコネクタのインストールを行います。
CData Sync を起動後、ヘッダーメニューの「接続」から接続画面を表示し、中段にあるデータソースタブをクリックして、「+Add More」アイコンをクリックします。 f:id:sennanvolar44:20200513110322p:plain

上の赤枠部分に「Business」や「b-ridge」と入力すると、Business b-ridge が表示されますので、クリックします。

f:id:sennanvolar44:20200616173600p:plain

「ダウンロード&インストール」ボタンをクリックすると、自動的に Business b-ridge コネクタがインストールされます。
f:id:sennanvolar44:20200616173633p:plain

コネクタ追加後、接続タブから再度コネクタ一覧を参照すると、Business b-ridge コネクタが表示されていますのでクリックします。
f:id:sennanvolar44:20200616174121p:plain

各種キー情報を入力し、接続のテストを行います。問題なく接続できたならば、変更を保存で接続設定情報を保存します。
f:id:sennanvolar44:20200616174413p:plain
これで、Business b-ridge 側の接続設定が完了しました。

BigQuerey への接続設定

次は、BigQuery への接続設定を行います。今度は中断の「同期先」タブにある BigQuery をクリックします。
f:id:sennanvolar44:20200513113755p:plain

任意の名前に加え、プロジェクトIDとデータセットIDを入力し、右下の「Reset Connection」をクリックします。そうすると、CData Sync から BigQuery へのアクセス許可の画面が表示されるので許可します。
※BigQuery のデータセットは事前に作成しておいてください。
f:id:sennanvolar44:20200513113416p:plain

以上で接続設定が完了です。

連携ジョブの作成

CData Sync のトップ画面に戻り、「ジョブを追加」ボタンをクリックし、先ほど作成した Business b-ridge と BigQuery をそれぞれソースと同期先で選択し、作成ボタンをクリックします。
f:id:sennanvolar44:20200616175256p:plain

次に連携対象のデータをここで設定します。テーブルを追加をクリックすると、 Business b-ridge のアプリがテーブル名として表示されるようになっています。今回は購買発注と購買発注明細アプリのデータを BigQuery にレプリケートしたいと思います。
f:id:sennanvolar44:20200616184734p:plain

そうすると、このように選択したテーブルが自動的に設定されました。作成されたクエリは Where句で条件をつけたり、join したりすることも可能です。また、ジョブ自体にオプションをつけることも可能です。詳しくは以下のヘルプを参照ください。

http://cdn.cdata.com/help/ASE/jp/sync/Advanced-Job-Options.html

クエリ部分にある Replicate 構文は、例えば Replicate [購買発注] である場合、Business b-ridge の購買発注アプリを、購買発注 テーブルという名前で BigQuery に連携するという意味になります。
f:id:sennanvolar44:20200616185132p:plain

次に BigQuery ではテーブル名やカラム名に日本語名を使用することができないので、作成したクエリをクリックし、以下の画面でテーブル名を変更します。
f:id:sennanvolar44:20200616185357p:plain

カラム名については、カラムマッピングタブより変更します。
f:id:sennanvolar44:20200616185708p:plain

連携ジョブの実行

作成したクエリの左側にあるチェックボックスにチェックを入れ、実行ボタンをクリックします。正常に終了すると画面上部にメッセージが表示されます。また、クエリの右側には実行した日時と連携件数が表示されます。 f:id:sennanvolar44:20200616190616p:plain

BigQuery の中を確認すると、確かにCData Sync で指定したテーブル名で BigQuery 上に作成されています。レコード自体も正しく連携できています。 f:id:sennanvolar44:20200616190902p:plain

おわりに

いかがでしたでしょうか。CData Sync ではSQL で抽出条件を指定できるので、各ユーザのケースにあった条件で Business b-ridge のデータを連携することができます。 また、スケジューリングの設定も可能ですので、一度ジョブを作成してしまえば、自動的に日々連携するようになります。 CData Sync は 30 日間無料でご利用できますので、是非お試しください!