CData Software Blog

クラウド連携のCData Software の技術ブログです。

CData Sync

CData Sync Amazon S3 Destination が Parquet フォーマットをサポート

こんにちは。CData Software Japan リードエンジニアの杉本です。 以前、CData Sync の Amazon S3 Destination 機能について紹介したのですが、 www.cdatablog.jp www.cdatablog.jp 今回は新しく追加された機能、Parquetフォーマットのサポートを紹介したい…

ジョブ同士をつなげて、前のジョブ結果で別ジョブの実行有無を制御する方法:CData Sync

こんにちは!テクニカルサポートエンジニアの宮本です! 今回は CData Sync のジョブ同士をシリアルにつなげる方法を試していきます。 というのも、Sync のジョブはそれぞれが独立されているため、他のジョブ結果を待たずにスケジュールされた時間で実行され…

Apache Cassandra に Salesforce のデータを取り込む方法:CDataSync

こんにちは。CData Software Japan リードエンジニアの杉本です。 前回の記事で DataStax に構成した Apache Cassandra にCData Driver から接続する方法を紹介しました。 www.cdatablog.jp ただ、Cassandra のユースケースを考えると、以下のユースケースの…

freee 受発注 API をドライバー化:各種ツールから接続してみた

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、freee スマート受発注 の API を各種ツールから接続する…

freee 人事労務 API をドライバー化:各種ツールから接続してみた

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、freee 人事労務 の API を各種ツールから接続する方法を…

クラウド人事労務ソフトSmartHRのデータをCData SyncでSQL Serverに複製する方法

こんにちは。CData Software Japanテクニカルサポートエンジニアの菅原です。 クラウド人事労務ソフトで有名なSmartHRを導入している会社の方は多いのではないでしょうか。 従業員データをSmartHRで一元管理していて、自社内でのカスタムアプリ(業務アプリ…

クラウド会計 freee の API をドライバー化:各種ツールから接続してみた

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、会計 freee の API を各種ツールから接続する方法を紹介…

クラウド勤怠管理システムKING OF TIMEのデータをCData SyncでMySQLに複製またはAmazon S3へCSV出力する方法

こんにちは。CData Software Japanテクニカルサポートエンジニアの菅原です。 今回はCData Syncを使って、クラウド勤怠管理システムKING OF TIMEのデータをMySQLへ複製する方法やAmazon S3へCSV出力する方法を紹介します。 KING OF TIMEとは? 手順(KING OF…

BigQuery に Google アナリティクス(ユニバーサル アナリティクス)のデータを連携する

こんにちは、テクニカルサポートエンジニアの宮本です! 最近 G4という次世代のGoogle アナリティクスがリリースされ、徐々に使用されている方も増えてきているのではないでしょうか? G4のトピックの一つとして、無償で BigQuery にデータを連携できる機…

CData Sync Amazon S3 Destination が相対パスによるレプリケーションをサポートしました

こんにちは。CData Software Japan リードエンジニアの杉本です。 この前このBlogで紹介したCData Sync の Amazon S3 Destination 連携ですが、今回新しい機能が追加されたので紹介したいと思います。 www.cdatablog.jp 通常Amazon S3 Destination は「Bucke…

CData Sync Amazon S3 Destination の使い方

こんにちは。CData Software Japan リードエンジニアの杉本です。 今回は CDataSync の連携先の一つとしてよくご相談をいただく、Amaozn S3 Destination の使い方を解説したいと思います。 Amazon S3 Destination とは? 利用手順 CData Sync のセットアップ…

あなたの業務にピッタリな、ベストETL ツールの選び方

こんにちは、CData Software Japan ローカライザの加藤です。ビッグデータの時代には、日々さまざまなソースから取得する大量のデータを効率よく一カ所に集約して、業務や分析に活かすETL ツールが欠かせません。でもETL ツールは本当に数が多くて、どれをど…

ジョブカン経費精算 の API をドライバー化:各種ツールから接続してみた

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、ジョブカン経費精算 の API を各種ツールから接続する方…

V21 CData Marketo Driver・Sync で30種類を超えるテーブル・ビューを追加サポート

こんにちは。CData Software Japanリードエンジニアの杉本です。 今回はV21 で大幅にアップデートされたMarketo Driver の新機能を紹介したいと思います! www.cdata.com テーブル・ビューを新しく32種類追加 V21では、なんとCustomActivitiesやSmartLists、…

ナレッジ共有ツール NotePM の API をドライバー化:各種ツールから接続してみた

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、ナレッジ共有ツール NotePM の API を各種ツールから接…

CDataSync V21 へのアップデート方法と初期設定

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 今回はCData Sync V20 から CData Sync V21 へのアップデート方法をご紹介します。 アップデート前に設定情報のバックアップ .NET 版のインストール Java 版のインストール ①内包されてい…

OracleのFlashback機能による差分更新をサポートしました:CData Sync

ついにOracle OCI データソースで差分更新が可能になりました! CData Sync の差分更新とは、データの同期時にデータソースで変更があったレコードのみをコピーする機能です。 同期するデータ量が膨大だと一度の同期に長い時間がかかりますが、差分更新機能…

SQLServerのChangeTracking 機能による差分更新をサポートしました:CData Sync

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 CData Sync の2021年バージョンでは大きな機能追加がいくつかあり、今回は SQLServer の Change Tracking 機能による差分更新方法についてご紹介していきます。 www.cdata.com Change Tra…

Garoon の予定データをユーザー指定・横断で取得する機能が追加されました:CData Garoon Driver

こんにちは。CData Software Japanリードエンジニアの杉本です。 今回はCData Garoon Driverで新しく追加された機能である「予定」データのユーザー指定、ユーザー横断で取得する機能を紹介したいと思います。 www.cdata.com なお、この機能はすべてのテクノ…

CDataSync のデータソースとして S-JIS形式の CSV ファイルを読み取る方法

こんにちは。CData Software Japanリードエンジニアの杉本です。 今回はCDataSyncでCSVデータの取り込みを行う場合によく質問を頂く、S-JIS形式ファイルへの対応の方法について解説したいと思います。 www.cdata.com 対象のファイル 対象のファイルは内閣府…

CData Syncから踏み台のSSHサーバー経由でRDS for PostgreSQL に連携する方法

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 今回は VPC 内の SSH サーバーからのみアクセス可能な AWS RDS for PostgreSQL に 、外部ネットワークにある ETL/ELT ツールの CData Sync から接続してSaaS データをレプリケートしてみ…

esa API を各種ツールから連携可能なコネクタ・ドライバー化:CData API Driver

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、esa の API を各種ツールから接続する方法を紹介します…

顧客データ基盤(CDP)ソリューションでのCData 製品の利用

CData は、エンドユーザーに高機能データ連携ツールを提供するだけでなく、ソフトウェア業界のリーディングプレーヤーにOEM としてSaaS 連携コネクタを提供してきました。BI、ETL、AI にわたりグローバルのトッププレーヤーたちがCData のデータ連携部品を使…

請求管理ロボ API を各種ツールから連携可能なコネクタ・ドライバー化:CData API Driver

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、請求管理ロボ の API を各種ツールから接続する方法を紹…

CData Sync .NET 版・Java 版・AMI 版 でのアップデート方法について

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 今回は CData Sync 本体(.NET版、Java版、AMI版)のアップデート方法についてご紹介していきます。 .NET 版 前バージョンからの引継ぎインストール(メジャーアップデート) 新規イン…

Salesforceで削除したレコードの連携方法について:CData Sync

こんにちは、CData Software Japan エンジニアの宮本です。 CData Sync では Salesforce の削除レコードについて、「物理削除」、「論理削除」、「スキップ」という3つの方法で連携先に反映させることができます。 今回はこちらの3つの方法で Salesforce …

CDataSync からOAuth認証でJIRAに接続する方法

こんにちは、CData Software Japan エンジニアの宮本です。 今回は CData Sync から JIRA への接続方法として OAuth 認証をサポートしましたので、実際に接続する方法をご紹介したいと思います。 JIRA Cloud でのパスワードを使用したベーシック認証が廃止 C…

Backlogで管理している課題をBigQueryに連携してみる:CData Sync

こんにちは!CData Software Japanの宮本です! 今回はプロジェクト管理ツールの Backlog で管理している課題を、ELT ツールのCData Sync を使って外部DBにレプリケートする方法をご紹介します。 backlog とは? 開発からマーケティング、人事・総務まで様々…

CData Sync アップデート情報 2021年2月

こんにちは、CData Software Japan エンジニアの宮本です。 今回は 2021年2月の CData Sync アップデート情報をご紹介します。 1.Google Cloud Storage が同期先に追加 2.AWS AMI および AzureMarketplace 管理用のドキュメントを追加 3.クラウドスト…

BigQueryへのリクエストでエラー:Request payload size exceeds the limit: 10485760

こんにちは!CData Software エンジニアの宮本です。 今回はよくお問合せいただくこの BigQuery のエラーについて触れていきます。 Request payload size exceeds the limit: 10485760 Request payload size exceeds the limit: 10485760 冒頭に載せたエラー…