CData Software Blog

クラウド連携のCData Software の技術ブログです。

CData Sync

BigQueryへのリクエストでエラー:Request payload size exceeds the limit: 10485760

こんにちは!CData Software エンジニアの宮本です。 今回はよくお問合せいただくこの BigQuery のエラーについて触れていきます。 Request payload size exceeds the limit: 10485760 Request payload size exceeds the limit: 10485760 冒頭に載せたエラー…

AMI版CDataSyncにRoute53で取得したドメインを設定してみる

こんにちは!CData Software Japan エンジニアの宮本です。 CData Sync では.NET版、Java版のインストーラーでセットアップする以外に、AWS Marketplace でAMI 版CData Sync を利用することができます。 Marketplace の画面でポチポチっとするだけですぐにCD…

GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる:CData Sync

こんにちは、CData Software Japan エンジニアの宮本です。 GCE のVMインスタンスでは、インスタンスごとにアクセススコープを設定できるのはご存知でしょうか。以下のようにインスタンスからGCP 上のサービスにアクセスできる範囲を設定することができるよ…

製造業向けMAツール - MRC(マーケライズクラウド) の顧客データを Google BigQuery へ定期的に連携する:CData Sync

こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、MRCのデータを Google BigQuery に連携し、分析する方法を紹介したいと思います。 MRC(マーケライズクラウド…

GCP内で完結!BigQuery にSaaS データをローディングする構成について

本記事はBigQuery Advent Calendar 2020 22日目の記事です。 qiita.com こんにちは!CData Software Japan エンジニアの宮本です。 2020年もあっという間に終わろうとしていますが、この1年を思い返してみると、感覚的に去年に比べてBigQuery を軸にした相…

CDataSync に新しく追加された同期先:Azure Synapse の使い方

こんにちは。CData Software Japan リードエンジニアの杉本です。 今回は先週新しくリリースされたばかりのCDataSync新機能、Azure Synapseへのデータ同期を紹介したいと思います。 Azure Synapse Analytics とは? 連携シナリオ 必要なもの Azure Synapse A…

CData Syncを用いたAzure SQL Database -> Amazon Redshift へのデータ統合

はじめに CData Syncは、クラウドサービスアプリケーション(SaaS)データをRDBやDWHに高速に同期する自動データレプリケーション製品です。本製品は、SaaSデータだけではなく、RDBMSのテーブルデータも同様にデータレプリケーションのパイプラインを作成す…

ELTツール+Dataform でBigQuery へのデータロード・チェック・マージを自動化してみた:CDataSync

こんにちは、CData Software でエンジニアをしている宮本です。 先日、Google からDataform がGCP の傘下になったとアナウンスがありました。 cloud.google.com 自分自身、Dataform というサービスを知らなかったのですが、Webサイトやドキュメントなどを読…

ELTツールのCDataSyncでHubSpotからMySQLへのデータ同期をやってみよう

こんにちは、CData Software Japan エンジニアの宮本です。 今回はCData Sync というEL・ELTツールを使って、HubSpot からMySQL に同期する手順をご紹介いたします。 ちなみにこの記事を行っていただければ、CData Sync のメインどころの操作、つまりはDB へ…

PyCaretとPower BI Desktopでトピック分析:CData Sync

皆さんこんにちは。CData Software Japanインサイドセールスの加藤です。 文書データがたくさんあるけど、ここからどうやってインサイトを引き出したらいいんだろう?文書データの特徴をまとめてきれいに可視化したい。こんなお悩みはありませんか?この記事…

Autify のテストデータをGoogle BigQuery に定期連携:CData Sync

本記事はAWS EC2のVMインスタンスにCData Sync を起動させ、Autifyにあるテストデータを定期的にGoogle BigQuery に連携する方法をご紹介します。 Autify とは CDataSync とは 本記事で使うもの Autify のアクセストークン取得 EC2 VM作成~CDataSync Java版…

エンタープライズETL にちょうど良いデータ統合基盤「CData Sync」の強み

こんにちは、CDataでエンジニアをしている宮本です。 少し前になりますが、Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」というイベントに参加したときに、印象に残るセッションがありました。 データ収集の基本と「Japan…

arXivから最新フィードを取得してCSVに同期し、チームでの文献管理や分析に役立てる:CData Sync

皆さんこんにちは。CData インサイドセールスの加藤です。 今回はR&D や研究室向けの記事になります。研究を行う上で基本となる事柄の一つは、最新の研究成果のキャッチアップをすること、つまり論文を読むことですね。しかし日々公開される論文の数は増え続…

AWS EC2 Amazon Linux で簡単にCData Sync Java エディションを構成する方法

こんにちは、CDataの宮本です。 今回はよくお問合せをいただくCData Sync をLinux環境で使用する方法について、AWS EC2 Amazon Linux を使ってご紹介していきたいと思います。 ちなみに、Amazon Linux ではなく CentOS やRedHat などLinux ディストリビュー…

【CData Sync ハンズオン】Google BigQuery を軸にしたデータ分析基盤をCDataSyncで構築してみよう!

はじめに 本資料は、CData Software Japanのハンズオン向けの資料です。本ドキュメントをもとに実機にCData Sync製品をインストールして手順に沿って操作する事で、Salesforce やkintone などのクラウドサービスのデータをBigQuery やRedShift をはじめ、MyS…

Cloud Ace 社のカンファレンス OPEN DX 2020 でお会いしましょう!

9月24日から開催されるクラウドエース株式会社主催、Google Cloud Japan 協力のオンラインカンファレンスOEPN DX 2020 にCData が登場します。 クラウドエースのOPEN DX 2020 CData Japan はイベント初日9月24日の15:00-16:00 にメインセッションとして「Big…

SmartDrive API から取得した車両データを定期的に Azure Data Lake Storage Gen2に連携する:CDataSync

こんにちは。CData Software Japan の杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、SmartDrive のデータを Azure Data Lake Storage Gen2 に連携し、分析する方法を紹介したいと思います。 SmartDrive とは? IOT…

CDataSyncを使ってBusiness b-ridge のアプリデータをBigQueryにレプリケート

こんにちは、CData の宮本です。 今回は ノーコードで簡単にシステムを構築することできる Business b-ridge 内にあるデータを、データレプリケートツールの CData Sync を使って BigQuery に連携する内容を紹介いたします。 Business b-ridgeとは CData Syn…

BoxにあるExcelファイルのデータをノーコードでMySQLに同期する

Boxは主に企業向けのファイル共有クラウドサービスで、セキュアなファイル共有とオンラインアクセスが可能です。 www.box.com 今回はBoxにあるExcelファイルのデータを、CData Syncを使ってノーコードでオンプレミスのMySQLに同期する方法を紹介します。 簡…

Sensesの案件情報とスプレッドシートの目標データを合わせてデータポータルで可視化してみる:CDataSync

こんにちは、CData の宮本です。 今回はSenses のAPI から取得できる案件情報をデータレプリケーションツールのCDataSyncでBigQueryに連携し、連携したBigQueryのデータとスプレッドシートで管理している売上目標データと合わせてデータポータル上で可視化し…

差分更新未対応のデータソースでもCDataSyncで差分更新させる方法

こんにちは、CDataSyncをよく触っている宮本です! 今回は差分更新未対応データソースの場合でも差分更新させる方法をご紹介いたします。 CDataSync の差分更新対象のデータソース CDataSync の差分更新機能について 差分更新未対応のデータソースの場合には…

.NET版のCDataSync をGCPのVMインスタンスで使用してみる

こんにちは、CData の宮本です! 先日、GCP上のCentOS にJava版CData Sync をホスティングする方法をご紹介いたしました。 www.cdatablog.jp そこで、今回はCData Sync の.NET版を使って、Windows OSのGCEインスタンスにCData Sync をインストールする手順を…

CDataSyncをGoogle Cloud PlatformでHTTPS化(SSL化)してホスティングする方法

こんにちは、CDataの宮本です。 今回はGCP のCompute Engine(GCE) 上にCDataSync をホスティングさせて、Salesforce からBigQuery にレプリケートする方法についてご紹介いたします。 必要なもの GCP 上にCDataSync をホスティングする手順 GCE を作成 CData…

QA自動化プラットフォーム Autify のデータを Google BigQuery に連携して分析

こんにちは。CData Software Japanリードエンジニアの杉本です。 今回の記事では QA自動化プラットフォーム Autify のデータをCDataSync経由で Google BigQuery にレプリケーションする方法を紹介したいと思います。 Autify とは? 実現イメージ 必要なもの …

IIJ GIO に CDataSync を構築:Salesforce データをMySQLにレプリケーション

こんにちは。CData Software Japanリードエンジニアの杉本です。 前回はIIJが提供するクラウドサービスである IIJ GIO で CData API Server を構成しました。 www.cdatablog.jp 今回は CData Syncを構成する方法を紹介します。 IIJ GIOインフラストラクチャ…

Create!FormからSQLServerへの接続だけでSaaSデータを出力する方法:CData Sync

こんにちは、エンジニアの宮本です。 前回の記事では、Create!Form と CData ODBC Driver を組み合わせて kintone データをPDF出力してみました。 www.cdatablog.jp 上記方法ではデータを保持する必要がない分、都度 kintone に接続するようになります。 今…

さくらクラウドで CData Sync を構築する

こんにちは。CData Software Japan リードエンジニアの杉本です。 前回、さくらクラウドでCData API Serverを構成する方法を紹介しました。 www.cdatablog.jp 今回はそのさくらクラウドにCDataSyncを構成方法も紹介したいと思います。 自動データレプリケー…

kintone データをSQL Server から連携して利用する4つの方法を比較

CData 製品を使って、kintone データとSQL Server を連携させたいというご相談を多く頂きます。 この記事では、SQL Server でkintone データを使うというシナリオにフォーカスして実現方法やメリット&デメリットを解説します。 kintone > SQL Server の4つ…

eセールスマネージャーからBigQueryへノーコードで行うデータ連携

こんにちは、CData の宮本です。 今回は CRM/SFA の eセールスマネージャのデータを、CData Sync を使ってノーコードでさくっと BigQuery に連携する内容を紹介いたします。 eセールスマネージャとは 純国産ということで日本発の CRM/SFA であり、日本特有の…

AWS EC2上のCDataサーバ製品をHTTPS化して公開する方法

はじめに CData技術ディレクター桑島です。本記事では、AWS EC2上のCDataサーバ製品をHTTPS化して公開する方法をご紹介します。 はじめに HTTPS化が必要な理由 本手順でご紹介する方式 手順 Route 53でのドメインを取得 Certificate Managerでのサーバー証明…