CData Software Blog

クラウド連携のCData Software の技術ブログです。

BigQuery

BigQueryへのInsert パターン比較:ストリーミング、DML、バルクロード:CData BigQuery Driver

こんにちは。CData Software Japan エンジニアの宮本です。 今回は BigQuery へデータを登録する際の「ストリーミングインサート、DML、バルクロード」の 3つのインサート方法についてみていきたいと思います。 それぞれのInsert パターンについて ストリー…

BigQueryへのリクエストでエラー:Request payload size exceeds the limit: 10485760

こんにちは!CData Software エンジニアの宮本です。 今回はよくお問合せいただくこの BigQuery のエラーについて触れていきます。 Request payload size exceeds the limit: 10485760 Request payload size exceeds the limit: 10485760 冒頭に載せたエラー…

GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる:CData Sync

こんにちは、CData Software Japan エンジニアの宮本です。 GCE のVMインスタンスでは、インスタンスごとにアクセススコープを設定できるのはご存知でしょうか。以下のようにインスタンスからGCP 上のサービスにアクセスできる範囲を設定することができるよ…

製造業向けMAツール - MRC(マーケライズクラウド) の顧客データを Google BigQuery へ定期的に連携する:CData Sync

こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、MRCのデータを Google BigQuery に連携し、分析する方法を紹介したいと思います。 MRC(マーケライズクラウド…

GCP内で完結!BigQuery にSaaS データをローディングする構成について

本記事はBigQuery Advent Calendar 2020 22日目の記事です。 qiita.com こんにちは!CData Software Japan エンジニアの宮本です。 2020年もあっという間に終わろうとしていますが、この1年を思い返してみると、感覚的に去年に比べてBigQuery を軸にした相…

ELTツール+Dataform でBigQuery へのデータロード・チェック・マージを自動化してみた:CDataSync

こんにちは、CData Software でエンジニアをしている宮本です。 先日、Google からDataform がGCP の傘下になったとアナウンスがありました。 cloud.google.com 自分自身、Dataform というサービスを知らなかったのですが、Webサイトやドキュメントなどを読…

CData Driver・CDataSync BigQuery が サービスアカウント認証のJSONファイルフォーマットをサポート

こんにちは。CData Software Japanリードエンジニアの杉本です。 V20 の少し前のビルドからなのですが、CData Driver・CDataSync で提供しているBigQuery Driver・コネクタがサービスアカウント認証を行う場合のファイルフォーマットとしてJSON形式を正式に…

Autify のテストデータをGoogle BigQuery に定期連携:CData Sync

本記事はAWS EC2のVMインスタンスにCData Sync を起動させ、Autifyにあるテストデータを定期的にGoogle BigQuery に連携する方法をご紹介します。 Autify とは CDataSync とは 本記事で使うもの Autify のアクセストークン取得 EC2 VM作成~CDataSync Java版…

Cloud Dataflow × CData JDBC Driver でMarketo のLeadデータをサーバーレスな環境でBigQuery に連携してみる

こんにちは、CData の宮本です! 今回もCloud Dataflow を使った内容をご紹介します。 前回はというと、①CData Connect というSaaS 型のデータハブにDataflow からアクセスして、そこから更に②CData Connect からデータソースにアクセスする2段階の構成をや…

Google Cloud Dataflow のJDBC テンプレートを使用してSaaS 連携を実現:CData Connect

こんにちは、CDataの宮本です。 前回の記事では、Cloud Data Fusion × CData Connect でSaaS 連携をご紹介しました。 www.cdatablog.jp 今回は同じGCPサービスのCloud Dataflow のJDBC テンプレートを使って、ノーコードでCData Connect 経由でSaaS データを…

【CData Sync ハンズオン】Google BigQuery を軸にしたデータ分析基盤をCDataSyncで構築してみよう!

はじめに 本資料は、CData Software Japanのハンズオン向けの資料です。本ドキュメントをもとに実機にCData Sync製品をインストールして手順に沿って操作する事で、Salesforce やkintone などのクラウドサービスのデータをBigQuery やRedShift をはじめ、MyS…

Cloud Ace 社のカンファレンス OPEN DX 2020 でお会いしましょう!

9月24日から開催されるクラウドエース株式会社主催、Google Cloud Japan 協力のオンラインカンファレンスOEPN DX 2020 にCData が登場します。 クラウドエースのOPEN DX 2020 CData Japan はイベント初日9月24日の15:00-16:00 にメインセッションとして「Big…

CDataSyncを使ってBusiness b-ridge のアプリデータをBigQueryにレプリケート

こんにちは、CData の宮本です。 今回は ノーコードで簡単にシステムを構築することできる Business b-ridge 内にあるデータを、データレプリケートツールの CData Sync を使って BigQuery に連携する内容を紹介いたします。 Business b-ridgeとは CData Syn…

.NET版のCDataSync をGCPのVMインスタンスで使用してみる

こんにちは、CData の宮本です! 先日、GCP上のCentOS にJava版CData Sync をホスティングする方法をご紹介いたしました。 www.cdatablog.jp そこで、今回はCData Sync の.NET版を使って、Windows OSのGCEインスタンスにCData Sync をインストールする手順を…

Salesforce とBigQuery のデータをもとにActionista! でダッシュボードを作成してみた:CData JDBC Driver

こんにちは、CData Software Japanの宮本です。 今回は BI ツールの Actionista! に CData JDBC Driver 組み込んで、Salesforce や BigQuery にあるデータをActionista! 上のダッシュボードで可視化してみたいと思います。 Actionista! とは? CData JDBC Dr…

CDataSyncをGoogle Cloud PlatformでHTTPS化(SSL化)してホスティングする方法

こんにちは、CDataの宮本です。 今回はGCP のCompute Engine(GCE) 上にCDataSync をホスティングさせて、Salesforce からBigQuery にレプリケートする方法についてご紹介いたします。 必要なもの GCP 上にCDataSync をホスティングする手順 GCE を作成 CData…

CData Google BigQuery Driverのサービスアカウント認証をJSONキーで行う方法

こんにちは。CData Software Japan リードエンジニアの杉本です。 以前、CData Driverでサービスアカウント認証を行う方法を紹介しました。 www.cdatablog.jp 上記記事ではP12形式のキーを用いた方法を紹介していますが、GCPではJSON・P12の2種類の方法でサ…

QA自動化プラットフォーム Autify のデータを Google BigQuery に連携して分析

こんにちは。CData Software Japanリードエンジニアの杉本です。 今回の記事では QA自動化プラットフォーム Autify のデータをCDataSync経由で Google BigQuery にレプリケーションする方法を紹介したいと思います。 Autify とは? 実現イメージ 必要なもの …

eセールスマネージャーからBigQueryへノーコードで行うデータ連携

こんにちは、CData の宮本です。 今回は CRM/SFA の eセールスマネージャのデータを、CData Sync を使ってノーコードでさくっと BigQuery に連携する内容を紹介いたします。 eセールスマネージャとは 純国産ということで日本発の CRM/SFA であり、日本特有の…

HRビジネスクラウドのデータを Google BigQuery へ定期的に連携する:CData Sync

こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、HRビジネスクラウド(以降、HRBC) のデータを Google BigQuery に連携し、分析する方法を紹介したいと思いま…

Garoonにある様々なデータをBigQueryに同期してみる:CDataSync

こんにちは、エンジニアの宮本です。 今回は、ノーコードでETL/ELT のジョブを実行することができる CData Sync を使って、Garoon にある予定や申請データを BigQuery に連携していく内容をご紹介していきます。 構成 CData Sync とは? 必要なもの 実施手順…

Bカートの受注データを Google BigQuery へ定期的に連携する:CData Sync

こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、Bカートの受注データを Google BigQuery に連携し、分析する方法を紹介したいと思います。 Bカート とは? Bカ…

SAP S/4 HANA Cloud のデータをBigQueryへ同期

はじめに CData Japan技術ディレクターの桑島です。本記事では、SAP S/4 HANA CloudのデータをCData Syncを使ってBigqueryに同期する手順をご紹介します。 はじめに SAP S/4 HANA Cloud とは Google Bigqeury とは CData Syncとは 前提 手順 SAP S/4 HANA Cl…

Salesforce Pardot の VisitorActivity データをGoogle BigQuery に連携:CDataSync

こんにちは。CData Software Japan リードエンジニアの杉本です。 今日は新しくリリースされた Salesforce Pardot Driver を使って、Google BigQuery にデータを定期的に流し込む方法を紹介したいと思います。 Salesforce Pardot とは? 本記事で実現する内…

Zoho Books 商品マスタデータを Google BigQuery に同期する:CDataSync

こんにちは。CData Software Japan リードエンジニアの杉本です。 今日は Zoho が提供する財務・経理関連サービスである Zoho Books のデータをGoogle BigQuery にコピー・同期する方法を紹介します。 Zoho Books とは? 本記事で実現する内容 実施手順 必要…

100万件のkintone アプリデータをGoogle BigQuery に連携して集計・分析を行う:CDataSync

はじめに 最近 kintone でもかなり大容量なデータを扱っているところが増えてきているように思います。CDataへの問い合わせでも、数十万レコードをkintone アプリに連携させたり、BIツールで分析したいといった問い合わせがよく聞かれるようになりました。 k…

SQLServer・BigQuery・SAP S/4 HANAのデータをArcESBを使ってkintoneに連携する方法

この記事ではノーコードのデータ連携ソフトウェアである ArcESB を利用し、SQLServer・BigQuery・SAP S/4 HANA のデータを定期的に kintone に連携する方法を紹介します。 ArcESB とは? 必要なもの 事前準備 ArcESB でジョブ作成~実行 SQLServer から kint…

スマレジの商品データと取引データを BigQuery に日次で連携

こんにちは、エンジニアの宮本です。 スマレジのデータを CData Sync を使って様々なデータベースへの連携が可能になりました。そのため、スマレジにある取引データなどをデータベースに日々連携することができます。 連携先はローカルのデータベースでも、…

SenseWay Mission Connect REST APIで取得したデータをGoogle BigQueryへ定期的に連携する:CData Sync

こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では データレプリケーションツールのCDataSync を使って、SenseWay Mission Connect のREST APIで取得できるデータを Google BigQuery に連携し、分析する方法を紹介したいと思います…

日々の Google Search キーワード検索結果をBigQueryにレプリケートして検索順位をトラッキング:CData Sync

こんにちは。CData Software Japan リードエンジニアの杉本です。 みなさんは Google Search の順位って気にされていますか? ビジネスユースでは、Google Adによって、特定の検索結果の上位に広告を出すというアプローチを取っている方も多いかと思いますが…