CData Software Blog

クラウド連携のCData Software の技術ブログです。

Google Cloud Storage(GCS)へのレプリケーション方法について:CData Sync

こんにちは、テクニカルサポートエンジニアの宮本です。 最近、S3やGCSへのレプリケーションはサポートしていますか?という問合せをいくつか受けました。 よく弊社技術ブログでは、RDB 系か BigQuery へのレプリケーションする構成が多めではありますが、ち…

ログベースによる変更データキャプチャ(CDC)で PostgreSQL → BigQuery のレプリケーションをやってみた:CData Sync

こんにちは、テクニカルサポートの宮本です! 最近、Debezium などの変更データキャプチャに特化した SaaS がいくつか提供されていたりと、Change Data Capture(CDC)というワードを見かける機会が増えてきたなと個人的に感じています。 Change Data Captur…

インフルエンサーのTwitterフォロワー数の推移をデータポータルで可視化!Twitter×CDataSync×BigQuery×データポータル

こんにちは、テクニカルサポートエンジニアの宮本です! 1日1回は何かしらの SNS でインフルエンサーが発信している情報を見る機会はないでしょうか?最近はインフルエンサーを使ったインフルエンサーマーケティングというのもあるようで、マーケティング手…

STORES予約で管理している予約情報をBigQuery に同期してみる:CData Sync

こんにちは、テクニカルサポートエンジニアの宮本です! 今回は STORES予約で管理している予約情報を、ETL/ELT ツールの CData Sync を使って Cloud データウェアハウスの BigQuery に同期する方法をご紹介します。 STORES予約とは stores.jp STORES予約は 2…

CData Sync から LINE WORKS API 2.0 に接続してカレンダーに登録している予定情報をDBに同期してみた

こんにちは、テクニカルサポートの宮本です。 本記事では LINE WORKS の API 2.0 に CData Sync を使用して、自分のカレンダーに登録した予定情報を DB に連携する方法をご紹介します。 LINE WORKS とは LINE WORKS は 皆さんおなじみのLINEと同じ使い勝手で…

CData Sync のクラスタリング機能でSalesforceとMarketoのデータを同時にBigQueryに取り込んでみた

こんにちは、テクニカルサポートエンジニアの宮本です。 今回は CData Sync のクラスタリング機能について紹介したいと思います。 CData Sync のクラスタリング機能 CData Sync に去年追加されたこの機能ですが、名前の通り複数インスタンスでCData Sync を…

変更データキャプチャ(CDC)を使ったデータレプリケーションを SQL Server → Redshift でやってみた:CData Sync

こんにちは、テクニカルサポートエンジニアの宮本です。 少し前に CData Sync で変更データキャプチャ(CDC)を使ったレプリケーション機能がリリースされました。 www.cdata.com これにより、RDB をデータソースとしたジョブでも簡単に差分データの抽出が可…

コラボフローで申請中のドキュメントの中身を定期的に抽出してDB に同期する:CData Sync

こんにちは、テクニカルサポートエンジニアの宮本です。 今回は先日対応した全メンバーの申請書を取得する機能を使って、ドキュメントに入力した内容を定期的に DB に同期する方法をご紹介します。 シナリオ コラボフロー上では注文書や請求書、経費精算書、…

ログファイルをS3などにアーカイブできる機能が追加されました:CData Sync

こんにちは、テクニカルサポートエンジニアの宮本です。 前回はログ手動削除機能についてご紹介しましたが、今回もログ関連でログアーカイブ機能についてご紹介します。 ※ログ手動削除機能について www.cdatablog.jp ログアーカイブ機能とは 前回ご紹介した…

画面上から保存期間を過ぎたログファイルをアドホックに削除できるようになりました:CData Sync

こんにちは、テクニカルサポートの宮本です。 今回は CData Sync にひっそり追加されていたログ削除機能なんですが、画面上から保存期間を過ぎたログファイルをアドホックに削除することができるようになりましたのでご紹介します。 今回の機能によりできる…

Salesforce のリードデータをDWHのYellowbrick Dataにレプリケート:CDataSync

こんにちは!テクニカルサポートエンジニアの宮本です! 皆さんは Yellowbrick Data というサービスをご存知でしょうか? この Yellowbrick Data は次世代のフラッシュストレージに最適化されたデータウェアハウスということで、USの記事などを見るとこれま…

コラボフローの全ユーザー分の申請書情報やステータスを取得できるようになりました!

こんにちは、テクニカルサポートの宮本です。 API Profile という形でコラボフローからデータを取得できるコネクタを提供していますが、ETL/ELT ツールの CDataSync でコラボフローコネクタを利用されているユーザーさまから「全ユーザーの申請書情報やステ…

Yahoo! 広告のデータを BigQuery にスナップショットとして定期的にレプリケート:CData Sync

こんにちは、テクニカルサポートエンジニアの宮本です。 今回は Yahoo! 広告のデータを定期的に BigQuery にレプリケートして、ジョブ実行時のデータをスナップショットとして保持する方法をご紹介します。 Yahoo! 広告とは? Yahoo! Japanが提供するWeb広告…

Azure Web Apps で CData API Server V21 をホスティングしてみる

こんにちは。 CData Software Japan エンジニアの宮本です。 この記事はQiita CData Software Advent Calendar 2021 17日目の記事になります。 qiita.com 今日はたまにお問合せをいただく Azure WebApps で CData API Server をデプロイして使う手順なんです…

デフォルト指定されたデータ型を変更して同期先DBにレプリケートする方法:CDataSync

こんにちは、テクニカルサポートエンジニアの宮本です。 今回はCDataSync のちょっとした Tips をご紹介します。 「CDataSync上で決め打ちされたデータ型を変更することはできないのか?」と、たまに受けるのですが、これ実はできます。 基本的には CData Sy…

ロードバランサー(ALB)を使ってAMI版 API Serverを冗長化

こんにちは、テクニカルサポートエンジニアの宮本です。 最近 API Server をダウンロードされた方々から、「冗長化構成する場合の手順はありますか?」、「API ServerとALBを使った構成方法は?」など API Server を AWS のALB を用いた構成で検討されている…

ジョブ同士をつなげて、前のジョブ結果で別ジョブの実行有無を制御する方法:CData Sync

こんにちは!テクニカルサポートエンジニアの宮本です! 今回は CData Sync のジョブ同士をシリアルにつなげる方法を試していきます。 というのも、Sync のジョブはそれぞれが独立されているため、他のジョブ結果を待たずにスケジュールされた時間で実行され…

Docker コンテナ(Tomcat)上のAPIServer にコネクタを追加する: バインドマウント利用偏

こんにちは、テクニカルサポートの宮本です! 前回は管理DB利用時のコネクタ追加方法をご紹介しましたが、今回はバインドマウント先で CData APIServer を起動している構成で実際にコネクタ追加を行ってきます。 ※管理DBへのコネクタ追加方法はこちら www.cd…

バインドマウントでDocker コンテナ(Tomcat)から APIServer を利用する方法

こんにちは、テクニカルサポートの宮本です! 今回は Docker コンテナ(Tomcat) 上の APIServer を、Docker ホスト側のディレクトリで利用するバインドマウントの方法をご紹介します。 バインドマウントとは 手順 APIServer ダウンロード Docker ホスト側に…

Docker コンテナ(Tomcat)上のAPIServer にコネクタを追加する: 管理用DB利用偏

こんにちは、テクニカルサポートの宮本です! 今回は Docker コンテナ上の Tomcat で CData APIServer を動かしている構成に対して、コネクタを追加する方法をご紹介いたします。 使用する環境 コネクタ追加方法 手順 APIServer のwarファイル展開 DynamoDB …

APIServer AMI の設定情報を管理用DBに保持する方法

こんにちは、テクニカルサポートの宮本です! CData APIServer や CData Sync などのアプリケーション製品では、各種設定情報を内部で保持している Java DB(Derby) で保持しています。ただ、「同じ設定でオートスケールさせたい」、「コンテナサービスで利用…

金蝶コネクタの利用手順:CDataSync

本記事では金蝶コネクタをCDataSyncへ追加する手順と、利用方法について解説します。 対応エンドポイントについて CDataSync での利用手順 金蝶コネクタの追加 金蝶コネクタの追加方法 金蝶コネクタの追加方法(アップロード偏) 金蝶への接続設定 ジョブの…

BigQuery に Google アナリティクス(ユニバーサル アナリティクス)のデータを連携する

こんにちは、テクニカルサポートエンジニアの宮本です! 最近 G4という次世代のGoogle アナリティクスがリリースされ、徐々に使用されている方も増えてきているのではないでしょうか? G4のトピックの一つとして、無償で BigQuery にデータを連携できる機…

AmazonLinux 上の Golangで CData Salesforce ODBC Driver を使う方法

こんにちは、テクニカルサポートの宮本です。 今回は Amazon Linux 上の Go から、 CData Salesforce ODBC Driver を使って、Salesforce からデータを取得する方法をご紹介します。 手順 CData Salesforce ODBC Driver ダウンロード Amazon Linux に Go をイ…

GCE の CentOS上で CData Connect Cross-Platform 版をホスティングする方法

こんにちは、テクニカルサポートエンジニアの宮本です。 データハブサービスの CData Connect には、クラウド版のほかにセルフホスティング型のオンプレ版が用意されているのはご存知でしょうか? 今回はこのオンプレ版の CData Connect を GCE の CentOS で…

CDataSync V21 へのアップデート方法と初期設定

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 今回はCData Sync V20 から CData Sync V21 へのアップデート方法をご紹介します。 アップデート前に設定情報のバックアップ .NET 版のインストール Java 版のインストール ①内包されてい…

SQLServerのChangeTracking 機能による差分更新をサポートしました:CData Sync

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 CData Sync の2021年バージョンでは大きな機能追加がいくつかあり、今回は SQLServer の Change Tracking 機能による差分更新方法についてご紹介していきます。 www.cdata.com Change Tra…

CData Syncから踏み台のSSHサーバー経由でRDS for PostgreSQL に連携する方法

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 今回は VPC 内の SSH サーバーからのみアクセス可能な AWS RDS for PostgreSQL に 、外部ネットワークにある ETL/ELT ツールの CData Sync から接続してSaaS データをレプリケートしてみ…

QuickBooks の取引先情報を Excel に反映して更新する方法:Excel Add-In for QuickBooks

こんにちは、テクニカルサポートエンジニア の宮本です。 今回は QuickBooks デスクトップ版を CData Excel Add-In for QuickBooks を使って、 Excel と QuickBooks の双方向での連携を行う方法をご紹介します。 QuickBooks とは CData Excel Add-In for Qui…

Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視化してみた

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 昨日、こちらの JAWSUG TOHOKU のオンラインイベントに参加してきました! jaws-tohoku.doorkeeper.jp エモい話やこれまでの JAWSDAYS 振り返り、 Elastic Beanstalk 利用時のポイント、 …