CData Software Blog

クラウド連携のCData Software の技術ブログです。

GCP

GCP の OAuth 2.0 grant_type=refresh_token で「Token has been expired or revoked.」が発生する場合の対処方法

こんにちは。CData Software Japanリードエンジニアの杉本です。 ここ最近、GCP・BigQuery や Google Contacts などの連携利用でリフレッシュトークンが期限切れになる・使えなくなるという事象に遭遇することがあったので、その対処方法についてお伝えした…

GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる:CData Sync

こんにちは、CData Software Japan エンジニアの宮本です。 GCE のVMインスタンスでは、インスタンスごとにアクセススコープを設定できるのはご存知でしょうか。以下のようにインスタンスからGCP 上のサービスにアクセスできる範囲を設定することができるよ…

GCP内で完結!BigQuery にSaaS データをローディングする構成について

本記事はBigQuery Advent Calendar 2020 22日目の記事です。 qiita.com こんにちは!CData Software Japan エンジニアの宮本です。 2020年もあっという間に終わろうとしていますが、この1年を思い返してみると、感覚的に去年に比べてBigQuery を軸にした相…

Cloud Dataflow × CData JDBC Driver でMarketo のLeadデータをサーバーレスな環境でBigQuery に連携してみる

こんにちは、CData の宮本です! 今回もCloud Dataflow を使った内容をご紹介します。 前回はというと、①CData Connect というSaaS 型のデータハブにDataflow からアクセスして、そこから更に②CData Connect からデータソースにアクセスする2段階の構成をや…

Google Cloud Dataflow のJDBC テンプレートを使用してSaaS 連携を実現:CData Connect

こんにちは、CDataの宮本です。 前回の記事では、Cloud Data Fusion × CData Connect でSaaS 連携をご紹介しました。 www.cdatablog.jp 今回は同じGCPサービスのCloud Dataflow のJDBC テンプレートを使って、ノーコードでCData Connect 経由でSaaS データを…

Cloud Ace 社のカンファレンス OPEN DX 2020 でお会いしましょう!

9月24日から開催されるクラウドエース株式会社主催、Google Cloud Japan 協力のオンラインカンファレンスOEPN DX 2020 にCData が登場します。 クラウドエースのOPEN DX 2020 CData Japan はイベント初日9月24日の15:00-16:00 にメインセッションとして「Big…

CDataSyncをGoogle Cloud PlatformでHTTPS化(SSL化)してホスティングする方法

こんにちは、CDataの宮本です。 今回はGCP のCompute Engine(GCE) 上にCDataSync をホスティングさせて、Salesforce からBigQuery にレプリケートする方法についてご紹介いたします。 必要なもの GCP 上にCDataSync をホスティングする手順 GCE を作成 CData…

CData Google BigQuery Driverのサービスアカウント認証をJSONキーで行う方法

こんにちは。CData Software Japan リードエンジニアの杉本です。 以前、CData Driverでサービスアカウント認証を行う方法を紹介しました。 www.cdatablog.jp 上記記事ではP12形式のキーを用いた方法を紹介していますが、GCPではJSON・P12の2種類の方法でサ…

CData BigQuery Driver でサービスアカウント認証を利用する方法

こんにちは。CData Software Japan リードエンジニアの杉本です。 今日はCData Google BigQuery Driverに関するTipsをお届けします。 https://www.cdata.com/jp/drivers/bigquery/ CData Google BigQuery Driverはデフォルトで OAuthの認証プロセスを利用し…

オンプレOracle DB にCloudGateway 経由でGoogleAppsScript からWEB APIでアクセスしてみた:CData APIServer

こんにちは、CData の宮本です。 先日、弊社の技術ブログにて「オンプレミスの RDB から REST API を自動生成・API Server Cloud Gateway 経由でインターネットに公開」という記事が投稿されました。 www.cdatablog.jp 特に難しい設定もせず、ローカルのWind…

オンプレOracle DB にSSHサーバ経由でGoogleAppsScript からSQLでアクセスしてみた:SQLGateway

こんにちは、CData の宮本です。 今回は オンプレにあるOracle を CData の製品である SQLGateway を通してGoogleAppScript からデータ抽出や更新を行う方法をご紹介します。 SQLGateway とは? SSH サーバ経由でのオンプレDBへのアクセス 必要なもの SSHサ…

GCP で構築したVMインスタンスに SCP/SFTP でアクセスする方法(WinSCP/FileZilla/CData SFTP Driver)

こんにちは。CData リードエンジニアの杉本です。 GCP の gcloud コマンドライン ツールが優秀なので、あまり使う機会は無いかもですが、GCP VMはデフォルトでSCP/SFTPを使って接続し、ファイルのアップロード・ダウンロードを行うことができるようになって…

Cloud Data Fusion で Salesforce から BigQuery へデータ連携

こんにちは!エンジニアの宮本です! 早速ですが、Google Cloud Next 2019で発表されたばかりである、フルマネージドのデータ統合プラットフォーム「Cloud Data Fusion」はご存知でしょうか? 実はこれ、今までありそうでなかったクラウド版ETLツールなんで…

Google Next Tokyo 2019 のCloud Ace 様のミニセッションに登壇します

Google Cloud Platform (GCP)を活用するビジネス リーダーやエグゼクティブ、開発エキスパートが一堂に会し、AI や機械学習、セキュリティ、インフラストラクチャなど最先端のクラウド テクノロジーを学べるカンファレンス Google Next Tokyo 2019 が7/30-8/…