CData Software Blog

クラウド連携のCData Software の技術ブログです。

CData Sync

CData Sync Amazon S3 Destination が相対パスによるレプリケーションをサポートしました

こんにちは。CData Software Japan リードエンジニアの杉本です。 この前このBlogで紹介したCData Sync の Amazon S3 Destination 連携ですが、今回新しい機能が追加されたので紹介したいと思います。 www.cdatablog.jp 通常Amazon S3 Destination は「Bucke…

CData Sync Amazon S3 Destination の使い方

こんにちは。CData Software Japan リードエンジニアの杉本です。 今回は CDataSync の連携先の一つとしてよくご相談をいただく、Amaozn S3 Destination の使い方を解説したいと思います。 Amazon S3 Destination とは? 利用手順 CData Sync のセットアップ…

あなたの業務にピッタリな、ベストETL ツールの選び方

こんにちは、CData Software Japan ローカライザの加藤です。ビッグデータの時代には、日々さまざまなソースから取得する大量のデータを効率よく一カ所に集約して、業務や分析に活かすETL ツールが欠かせません。でもETL ツールは本当に数が多くて、どれをど…

ジョブカン経費精算 の API をドライバー化:各種ツールから接続してみた

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、ジョブカン経費精算 の API を各種ツールから接続する方…

V21 CData Marketo Driver・Sync で30種類を超えるテーブル・ビューを追加サポート

こんにちは。CData Software Japanリードエンジニアの杉本です。 今回はV21 で大幅にアップデートされたMarketo Driver の新機能を紹介したいと思います! www.cdata.com テーブル・ビューを新しく32種類追加 V21では、なんとCustomActivitiesやSmartLists、…

ナレッジ共有ツール NotePM の API をドライバー化:各種ツールから接続してみた

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、ナレッジ共有ツール NotePM の API を各種ツールから接…

CDataSync V21 へのアップデート方法と初期設定

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 今回はCData Sync V20 から CData Sync V21 へのアップデート方法をご紹介します。 アップデート前に設定情報のバックアップ .NET 版のインストール Java 版のインストール ①内包されてい…

OracleのFlashback機能による差分更新をサポートしました:CData Sync

ついにOracle OCI データソースで差分更新が可能になりました! CData Sync の差分更新とは、データの同期時にデータソースで変更があったレコードのみをコピーする機能です。 同期するデータ量が膨大だと一度の同期に長い時間がかかりますが、差分更新機能…

SQLServerのChangeTracking 機能による差分更新をサポートしました:CData Sync

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 CData Sync の2021年バージョンでは大きな機能追加がいくつかあり、今回は SQLServer の Change Tracking 機能による差分更新方法についてご紹介していきます。 www.cdata.com Change Tra…

Garoon の予定データをユーザー指定・横断で取得する機能が追加されました:CData Garoon Driver

こんにちは。CData Software Japanリードエンジニアの杉本です。 今回はCData Garoon Driverで新しく追加された機能である「予定」データのユーザー指定、ユーザー横断で取得する機能を紹介したいと思います。 www.cdata.com なお、この機能はすべてのテクノ…

CDataSync のデータソースとして S-JIS形式の CSV ファイルを読み取る方法

こんにちは。CData Software Japanリードエンジニアの杉本です。 今回はCDataSyncでCSVデータの取り込みを行う場合によく質問を頂く、S-JIS形式ファイルへの対応の方法について解説したいと思います。 www.cdata.com 対象のファイル 対象のファイルは内閣府…

CData Syncから踏み台のSSHサーバー経由でRDS for PostgreSQL に連携する方法

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 今回は VPC 内の SSH サーバーからのみアクセス可能な AWS RDS for PostgreSQL に 、外部ネットワークにある ETL/ELT ツールの CData Sync から接続してSaaS データをレプリケートしてみ…

esa API を各種ツールから連携可能なコネクタ・ドライバー化:CData API Driver

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、esa の API を各種ツールから接続する方法を紹介します…

顧客データ基盤(CDP)ソリューションでのCData 製品の利用

CData は、エンドユーザーに高機能データ連携ツールを提供するだけでなく、ソフトウェア業界のリーディングプレーヤーにOEM としてSaaS 連携コネクタを提供してきました。BI、ETL、AI にわたりグローバルのトッププレーヤーたちがCData のデータ連携部品を使…

無料のデータレプリケーション・ELTツールを使って、 SaaSのデータをDBに複製してみる:CData Sync

こんにちは。CData Software Japanリードエンジニアの杉本です。 以下の記事でも紹介されている通り、データレプリケーション・ELTツール「CDataSync」の Starter ライセンスで全データソース(現在約200種類以上)の利用が可能になりました! www.cdatablog…

CData Sync の無償版ライセンスで、Salesforce やkintone を含む全データソースの利用が可能に!

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 CData Sync 無料版 の Starter ライセンスではこれまで対象となるコネクタがかなり限定されていましたが、なんと全データソースをご利用いただけるようになりました! 全データソースなの…

請求管理ロボ API を各種ツールから連携可能なコネクタ・ドライバー化:CData API Driver

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、請求管理ロボ の API を各種ツールから接続する方法を紹…

CData Sync .NET 版・Java 版・AMI 版 でのアップデート方法について

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 今回は CData Sync 本体(.NET版、Java版、AMI版)のアップデート方法についてご紹介していきます。 .NET 版 前バージョンからの引継ぎインストール(メジャーアップデート) 新規イン…

Salesforceで削除したレコードの連携方法について:CData Sync

こんにちは、CData Software Japan エンジニアの宮本です。 CData Sync では Salesforce の削除レコードについて、「物理削除」、「論理削除」、「スキップ」という3つの方法で連携先に反映させることができます。 今回はこちらの3つの方法で Salesforce …

CDataSync からOAuth認証でJIRAに接続する方法

こんにちは、CData Software Japan エンジニアの宮本です。 今回は CData Sync から JIRA への接続方法として OAuth 認証をサポートしましたので、実際に接続する方法をご紹介したいと思います。 JIRA Cloud でのパスワードを使用したベーシック認証が廃止 C…

Backlogで管理している課題をBigQueryに連携してみる:CData Sync

こんにちは!CData Software Japanの宮本です! 今回はプロジェクト管理ツールの Backlog で管理している課題を、ELT ツールのCData Sync を使って外部DBにレプリケートする方法をご紹介します。 backlog とは? 開発からマーケティング、人事・総務まで様々…

CData Sync アップデート情報 2021年2月

こんにちは、CData Software Japan エンジニアの宮本です。 今回は 2021年2月の CData Sync アップデート情報をご紹介します。 1.Google Cloud Storage が同期先に追加 2.AWS AMI および AzureMarketplace 管理用のドキュメントを追加 3.クラウドスト…

BigQueryへのリクエストでエラー:Request payload size exceeds the limit: 10485760

こんにちは!CData Software エンジニアの宮本です。 今回はよくお問合せいただくこの BigQuery のエラーについて触れていきます。 Request payload size exceeds the limit: 10485760 Request payload size exceeds the limit: 10485760 冒頭に載せたエラー…

AMI版CDataSyncにRoute53で取得したドメインを設定してみる

こんにちは!CData Software Japan エンジニアの宮本です。 CData Sync では.NET版、Java版のインストーラーでセットアップする以外に、AWS Marketplace でAMI 版CData Sync を利用することができます。 Marketplace の画面でポチポチっとするだけですぐにCD…

GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる:CData Sync

こんにちは、CData Software Japan エンジニアの宮本です。 GCE のVMインスタンスでは、インスタンスごとにアクセススコープを設定できるのはご存知でしょうか。以下のようにインスタンスからGCP 上のサービスにアクセスできる範囲を設定することができるよ…

製造業向けMAツール - MRC(マーケライズクラウド) の顧客データを Google BigQuery へ定期的に連携する:CData Sync

こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、MRCのデータを Google BigQuery に連携し、分析する方法を紹介したいと思います。 MRC(マーケライズクラウド…

GCP内で完結!BigQuery にSaaS データをローディングする構成について

本記事はBigQuery Advent Calendar 2020 22日目の記事です。 qiita.com こんにちは!CData Software Japan エンジニアの宮本です。 2020年もあっという間に終わろうとしていますが、この1年を思い返してみると、感覚的に去年に比べてBigQuery を軸にした相…

CDataSync に新しく追加された同期先:Azure Synapse の使い方

こんにちは。CData Software Japan リードエンジニアの杉本です。 今回は先週新しくリリースされたばかりのCDataSync新機能、Azure Synapseへのデータ同期を紹介したいと思います。 Azure Synapse Analytics とは? 連携シナリオ 必要なもの Azure Synapse A…

CData Syncを用いたAzure SQL Database -> Amazon Redshift へのデータ統合

はじめに CData Syncは、クラウドサービスアプリケーション(SaaS)データをRDBやDWHに高速に同期する自動データレプリケーション製品です。本製品は、SaaSデータだけではなく、RDBMSのテーブルデータも同様にデータレプリケーションのパイプラインを作成す…

ELTツール+Dataform でBigQuery へのデータロード・チェック・マージを自動化してみた:CDataSync

こんにちは、CData Software でエンジニアをしている宮本です。 先日、Google からDataform がGCP の傘下になったとアナウンスがありました。 cloud.google.com 自分自身、Dataform というサービスを知らなかったのですが、Webサイトやドキュメントなどを読…