こんにちは、テクニカルサポートの宮本です！ 最近、Debezium などの変更データキャプチャに特化した SaaS がいくつか提供されていたりと、Change Data Capture（CDC）というワードを見かける機会が増えてきたなと個人的に感じています。 Change Data Captur…

こんにちは、テクニカルサポートエンジニアの宮本です！ 1日1回は何かしらの SNS でインフルエンサーが発信している情報を見る機会はないでしょうか？最近はインフルエンサーを使ったインフルエンサーマーケティングというのもあるようで、マーケティング手…

こんにちは、テクニカルサポートエンジニアの宮本です！ 今回は STORES予約で管理している予約情報を、ETL/ELT ツールの CData Sync を使って Cloud データウェアハウスの BigQuery に同期する方法をご紹介します。 STORES予約とは stores.jp STORES予約は 2…

こんにちは、テクニカルサポートエンジニアの宮本です。 今回は CData Sync のクラスタリング機能について紹介したいと思います。 CData Sync のクラスタリング機能 CData Sync に去年追加されたこの機能ですが、名前の通り複数インスタンスでCData Sync を…

こんにちは、CData Software Japanテクニカルサポートエンジニアの大川です。 本記事では、弊社より公開されたfreee会計向けのAPI Profileを使って、CData SyncでGoogle BigQueryとデータを同期する方法をご紹介します。 API Profileとは？ CData Syncとは？…

こんにちは、テクニカルサポートエンジニアの宮本です。 今回は先日対応した全メンバーの申請書を取得する機能を使って、ドキュメントに入力した内容を定期的に DB に同期する方法をご紹介します。 シナリオ コラボフロー上では注文書や請求書、経費精算書、…

こんにちは、テクニカルサポートエンジニアの宮本です。 今回は Yahoo! 広告のデータを定期的に BigQuery にレプリケートして、ジョブ実行時のデータをスナップショットとして保持する方法をご紹介します。 Yahoo! 広告とは？ Yahoo! Japanが提供するWeb広告…

CData Google BigQuery DriverはUpdateをバッチで実行するBulk Update機能をサポートしています。 Bulk Updateは逐次のUpdate処理と比較して複数レコード更新のパフォーマンスが向上します。 本記事ではCData Google BigQuery DriverでBulk Updateを実行する…

こんにちは。CData Software Japan リードエンジニアの杉本です。 今回はガートナーの Magic Quadrant でも取り上げられている Enterprise 向け iPaaS・SnapLogicとCData JDBC Driver を組み合わせて、メール配信サービスの SendGrid を利用する方法を紹介し…

CData Sync は、Salesforce やkintone などのSaaS やRDB データを各種DB にレプリケーション（複製）できるデータパイプラインツールです。 CData Sync 概要 CData Sync 概要 from CData Software Japan データソースとして対応するSaaS、DB は400種類以上 S…

CData Sync とは CData Sync は、各種クラウドサービス（SaaS）データをRDB やクラウドデータストアにレプリケーションできるデータパイプラインツールです。各SaaS のAPI コーディングが不要で400種類を超えるデータソースに対応して、主要なRDB やクラウド…

こんにちは、テクニカルサポートエンジニアの宮本です！ 最近 G４という次世代のGoogle アナリティクスがリリースされ、徐々に使用されている方も増えてきているのではないでしょうか？ Ｇ４のトピックの一つとして、無償で BigQuery にデータを連携できる機…

CData Japan 技術ディレクター桑島です。本記事では、多くのお問い合わせをいただいている Microsoft AccessのリンクテーブルでGoogle BigQueryのデータを利用する方法をご紹介します。 利用製品 利用方法 Google BigQuery側の設定 ODBC Driverのインストー…

こんにちは、CData Japan ローカライザの加藤です。 https://www.cdata.com/jp/drivers/bigquery/powerbi/ ビッグデータがバズワードとなって久しいですが、皆さんの業務では日々蓄積されるデータをうまく扱えていますか？データが増えれば増えるほど、通常…

こんにちは、CData Software Japan エンジニアの宮本です。 つい先日この記事や Twitter 上で AIRBYTE というオープンソースの ELT ツールの存在を知りました。 jp.techcrunch.com ということで早速触ってみましたが、結構簡単に確認できました。 Airbyte 初…

こんにちは！CData Software Japanの宮本です！ 今回はプロジェクト管理ツールの Backlog で管理している課題を、ELT ツールのCData Sync を使って外部DBにレプリケートする方法をご紹介します。 backlog とは？ 開発からマーケティング、人事・総務まで様々…

こんにちは。CData Software Japanリードエンジニアの杉本です。 ここ最近、GCP・BigQuery や Google Contacts などの連携利用でリフレッシュトークンが期限切れになる・使えなくなるという事象に遭遇することがあったので、その対処方法についてお伝えした…

こんにちは。CData Software Japan エンジニアの宮本です。 今回は BigQuery へデータを登録する際の「ストリーミングインサート、DML、バルクロード」の 3つのインサート方法についてみていきたいと思います。 それぞれのInsert パターンについて ストリー…

こんにちは！CData Software エンジニアの宮本です。 今回はよくお問合せいただくこの BigQuery のエラーについて触れていきます。 Request payload size exceeds the limit: 10485760 Request payload size exceeds the limit: 10485760 冒頭に載せたエラー…

こんにちは、CData Software Japan エンジニアの宮本です。 GCE のVMインスタンスでは、インスタンスごとにアクセススコープを設定できるのはご存知でしょうか。以下のようにインスタンスからGCP 上のサービスにアクセスできる範囲を設定することができるよ…

こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、MRCのデータを Google BigQuery に連携し、分析する方法を紹介したいと思います。 MRC（マーケライズクラウド…

本記事はBigQuery Advent Calendar 2020 22日目の記事です。 qiita.com こんにちは！CData Software Japan エンジニアの宮本です。 2020年もあっという間に終わろうとしていますが、この１年を思い返してみると、感覚的に去年に比べてBigQuery を軸にした相…

こんにちは、CData Software でエンジニアをしている宮本です。 先日、Google からDataform がGCP の傘下になったとアナウンスがありました。 cloud.google.com 自分自身、Dataform というサービスを知らなかったのですが、Webサイトやドキュメントなどを読…

こんにちは。CData Software Japanリードエンジニアの杉本です。 V20 の少し前のビルドからなのですが、CData Driver・CDataSync で提供しているBigQuery Driver・コネクタがサービスアカウント認証を行う場合のファイルフォーマットとしてJSON形式を正式に…

本記事はAWS EC2のVMインスタンスにCData Sync を起動させ、Autifyにあるテストデータを定期的にGoogle BigQuery に連携する方法をご紹介します。 Autify とは CDataSync とは 本記事で使うもの Autify のアクセストークン取得 EC2 VM作成～CDataSync Java版…

こんにちは、CData の宮本です！ 今回もCloud Dataflow を使った内容をご紹介します。 前回はというと、①CData Connect というSaaS 型のデータハブにDataflow からアクセスして、そこから更に②CData Connect からデータソースにアクセスする2段階の構成をや…

こんにちは、CDataの宮本です。 前回の記事では、Cloud Data Fusion × CData Connect でSaaS 連携をご紹介しました。 www.cdatablog.jp 今回は同じGCPサービスのCloud Dataflow のJDBC テンプレートを使って、ノーコードでCData Connect 経由でSaaS データを…

はじめに 本資料は、CData Software Japanのハンズオン向けの資料です。本ドキュメントをもとに実機にCData Sync製品をインストールして手順に沿って操作する事で、Salesforce やkintone などのクラウドサービスのデータをBigQuery やRedShift をはじめ、MyS…

9月24日から開催されるクラウドエース株式会社主催、Google Cloud Japan 協力のオンラインカンファレンスOEPN DX 2020 にCData が登場します。 クラウドエースのOPEN DX 2020 CData Japan はイベント初日9月24日の15:00-16:00 にメインセッションとして「Big…

こんにちは、CData の宮本です。 今回は ノーコードで簡単にシステムを構築することできる Business b-ridge 内にあるデータを、データレプリケートツールの CData Sync を使って BigQuery に連携する内容を紹介いたします。 Business b-ridgeとは CData Syn…