CData Software Blog

クラウド連携のCData Software の技術ブログです。

CData Sync

請求管理ロボ API を各種ツールから連携可能なコネクタ・ドライバー化:CData API Driver

こんにちは。CData Software Japanリードエンジニアの杉本です。 本記事では、各種 Web API を ODBC / JDBC / ADO.NET といった標準のDB接続規格でアクセスできるようにするCData API Driverを用いて、請求管理ロボ の API を各種ツールから接続する方法を紹…

CData Sync .NET 版・Java 版・AMI 版 でのアップデート方法について

こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 今回は CData Sync 本体(.NET版、Java版、AMI版)のアップデート方法についてご紹介していきます。 .NET 版 前バージョンからの引継ぎインストール(メジャーアップデート) 新規イン…

Salesforceで削除したレコードの連携方法について:CData Sync

こんにちは、CData Software Japan エンジニアの宮本です。 CData Sync では Salesforce の削除レコードについて、「物理削除」、「論理削除」、「スキップ」という3つの方法で連携先に反映させることができます。 今回はこちらの3つの方法で Salesforce …

CDataSync からOAuth認証でJIRAに接続する方法

こんにちは、CData Software Japan エンジニアの宮本です。 今回は CData Sync から JIRA への接続方法として OAuth 認証をサポートしましたので、実際に接続する方法をご紹介したいと思います。 JIRA Cloud でのパスワードを使用したベーシック認証が廃止 C…

Backlogで管理している課題をBigQueryに連携してみる:CData Sync

こんにちは!CData Software Japanの宮本です! 今回はプロジェクト管理ツールの Backlog で管理している課題を、ELT ツールのCData Sync を使って外部DBにレプリケートする方法をご紹介します。 backlog とは? 開発からマーケティング、人事・総務まで様々…

CData Sync アップデート情報 2021年2月

こんにちは、CData Software Japan エンジニアの宮本です。 今回は 2021年2月の CData Sync アップデート情報をご紹介します。 1.Google Cloud Storage が同期先に追加 2.AWS AMI および AzureMarketplace 管理用のドキュメントを追加 3.クラウドスト…

BigQueryへのリクエストでエラー:Request payload size exceeds the limit: 10485760

こんにちは!CData Software エンジニアの宮本です。 今回はよくお問合せいただくこの BigQuery のエラーについて触れていきます。 Request payload size exceeds the limit: 10485760 Request payload size exceeds the limit: 10485760 冒頭に載せたエラー…

AMI版CDataSyncにRoute53で取得したドメインを設定してみる

こんにちは!CData Software Japan エンジニアの宮本です。 CData Sync では.NET版、Java版のインストーラーでセットアップする以外に、AWS Marketplace でAMI 版CData Sync を利用することができます。 Marketplace の画面でポチポチっとするだけですぐにCD…

GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる:CData Sync

こんにちは、CData Software Japan エンジニアの宮本です。 GCE のVMインスタンスでは、インスタンスごとにアクセススコープを設定できるのはご存知でしょうか。以下のようにインスタンスからGCP 上のサービスにアクセスできる範囲を設定することができるよ…

製造業向けMAツール - MRC(マーケライズクラウド) の顧客データを Google BigQuery へ定期的に連携する:CData Sync

こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、MRCのデータを Google BigQuery に連携し、分析する方法を紹介したいと思います。 MRC(マーケライズクラウド…

GCP内で完結!BigQuery にSaaS データをローディングする構成について

本記事はBigQuery Advent Calendar 2020 22日目の記事です。 qiita.com こんにちは!CData Software Japan エンジニアの宮本です。 2020年もあっという間に終わろうとしていますが、この1年を思い返してみると、感覚的に去年に比べてBigQuery を軸にした相…

CDataSync に新しく追加された同期先:Azure Synapse の使い方

こんにちは。CData Software Japan リードエンジニアの杉本です。 今回は先週新しくリリースされたばかりのCDataSync新機能、Azure Synapseへのデータ同期を紹介したいと思います。 Azure Synapse Analytics とは? 連携シナリオ 必要なもの Azure Synapse A…

CData Syncを用いたAzure SQL Database -> Amazon Redshift へのデータ統合

はじめに CData Syncは、クラウドサービスアプリケーション(SaaS)データをRDBやDWHに高速に同期する自動データレプリケーション製品です。本製品は、SaaSデータだけではなく、RDBMSのテーブルデータも同様にデータレプリケーションのパイプラインを作成す…

ELTツール+Dataform でBigQuery へのデータロード・チェック・マージを自動化してみた:CDataSync

こんにちは、CData Software でエンジニアをしている宮本です。 先日、Google からDataform がGCP の傘下になったとアナウンスがありました。 cloud.google.com 自分自身、Dataform というサービスを知らなかったのですが、Webサイトやドキュメントなどを読…

ELTツールのCDataSyncでHubSpotからMySQLへのデータ同期をやってみよう

こんにちは、CData Software Japan エンジニアの宮本です。 今回はCData Sync というEL・ELTツールを使って、HubSpot からMySQL に同期する手順をご紹介いたします。 ちなみにこの記事を行っていただければ、CData Sync のメインどころの操作、つまりはDB へ…

PyCaretとPower BI Desktopでトピック分析:CData Sync

皆さんこんにちは。CData Software Japanインサイドセールスの加藤です。 文書データがたくさんあるけど、ここからどうやってインサイトを引き出したらいいんだろう?文書データの特徴をまとめてきれいに可視化したい。こんなお悩みはありませんか?この記事…

Autify のテストデータをGoogle BigQuery に定期連携:CData Sync

本記事はAWS EC2のVMインスタンスにCData Sync を起動させ、Autifyにあるテストデータを定期的にGoogle BigQuery に連携する方法をご紹介します。 Autify とは CDataSync とは 本記事で使うもの Autify のアクセストークン取得 EC2 VM作成~CDataSync Java版…

エンタープライズETL にちょうど良いデータ統合基盤「CData Sync」の強み

こんにちは、CDataでエンジニアをしている宮本です。 少し前になりますが、Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」というイベントに参加したときに、印象に残るセッションがありました。 データ収集の基本と「Japan…

arXivから最新フィードを取得してCSVに同期し、チームでの文献管理や分析に役立てる:CData Sync

皆さんこんにちは。CData インサイドセールスの加藤です。 今回はR&D や研究室向けの記事になります。研究を行う上で基本となる事柄の一つは、最新の研究成果のキャッチアップをすること、つまり論文を読むことですね。しかし日々公開される論文の数は増え続…

AWS EC2 Amazon Linux で簡単にCData Sync Java エディションを構成する方法

こんにちは、CDataの宮本です。 今回はよくお問合せをいただくCData Sync をLinux環境で使用する方法について、AWS EC2 Amazon Linux を使ってご紹介していきたいと思います。 ちなみに、Amazon Linux ではなく CentOS やRedHat などLinux ディストリビュー…

【CData Sync ハンズオン】Google BigQuery を軸にしたデータ分析基盤をCDataSyncで構築してみよう!

はじめに 本資料は、CData Software Japanのハンズオン向けの資料です。本ドキュメントをもとに実機にCData Sync製品をインストールして手順に沿って操作する事で、Salesforce やkintone などのクラウドサービスのデータをBigQuery やRedShift をはじめ、MyS…

Cloud Ace 社のカンファレンス OPEN DX 2020 でお会いしましょう!

9月24日から開催されるクラウドエース株式会社主催、Google Cloud Japan 協力のオンラインカンファレンスOEPN DX 2020 にCData が登場します。 クラウドエースのOPEN DX 2020 CData Japan はイベント初日9月24日の15:00-16:00 にメインセッションとして「Big…

SmartDrive API から取得した車両データを定期的に Azure Data Lake Storage Gen2に連携する:CDataSync

こんにちは。CData Software Japan の杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、SmartDrive のデータを Azure Data Lake Storage Gen2 に連携し、分析する方法を紹介したいと思います。 SmartDrive とは? IOT…

CDataSyncを使ってBusiness b-ridge のアプリデータをBigQueryにレプリケート

こんにちは、CData の宮本です。 今回は ノーコードで簡単にシステムを構築することできる Business b-ridge 内にあるデータを、データレプリケートツールの CData Sync を使って BigQuery に連携する内容を紹介いたします。 Business b-ridgeとは CData Syn…

BoxにあるExcelファイルのデータをノーコードでMySQLに同期する

Boxは主に企業向けのファイル共有クラウドサービスで、セキュアなファイル共有とオンラインアクセスが可能です。 www.box.com 今回はBoxにあるExcelファイルのデータを、CData Syncを使ってノーコードでオンプレミスのMySQLに同期する方法を紹介します。 簡…

Sensesの案件情報とスプレッドシートの目標データを合わせてデータポータルで可視化してみる:CDataSync

こんにちは、CData の宮本です。 今回はSenses のAPI から取得できる案件情報をデータレプリケーションツールのCDataSyncでBigQueryに連携し、連携したBigQueryのデータとスプレッドシートで管理している売上目標データと合わせてデータポータル上で可視化し…

差分更新未対応のデータソースでもCDataSyncで差分更新させる方法

こんにちは、CDataSyncをよく触っている宮本です! 今回は差分更新未対応データソースの場合でも差分更新させる方法をご紹介いたします。 CDataSync の差分更新対象のデータソース CDataSync の差分更新機能について 差分更新未対応のデータソースの場合には…

.NET版のCDataSync をGCPのVMインスタンスで使用してみる

こんにちは、CData の宮本です! 先日、GCP上のCentOS にJava版CData Sync をホスティングする方法をご紹介いたしました。 www.cdatablog.jp そこで、今回はCData Sync の.NET版を使って、Windows OSのGCEインスタンスにCData Sync をインストールする手順を…

CDataSyncをGoogle Cloud PlatformでHTTPS化(SSL化)してホスティングする方法

こんにちは、CDataの宮本です。 今回はGCP のCompute Engine(GCE) 上にCDataSync をホスティングさせて、Salesforce からBigQuery にレプリケートする方法についてご紹介いたします。 必要なもの GCP 上にCDataSync をホスティングする手順 GCE を作成 CData…

QA自動化プラットフォーム Autify のデータを Google BigQuery に連携して分析

こんにちは。CData Software Japanリードエンジニアの杉本です。 今回の記事では QA自動化プラットフォーム Autify のデータをCDataSync経由で Google BigQuery にレプリケーションする方法を紹介したいと思います。 Autify とは? 実現イメージ 必要なもの …