よしたく blog

ほぼ週刊で記事を書いています

Azure

Azure Data FactoryのFailアクティビティについて調べた

2021年後半にAzure Data FactoryのFailアクティビティが追加されました。10月頃にプレビューで登場していたのは確認していたのですが、いつのまにかGAされていました。Failアクティビティは名前の通りパイプライン上で意図的にエラーを引き起こしたいときに…

Azure Data Factoryを使って、新規・変更済みファイルのみをデータレイク間でコピーする

Azure Data Factoryを使って、新規・変更済みファイルのみをデータレイク間でコピーする。新規・変更済みファイルのみを移動対象とすることで、無駄なデータ移動が発生せず、料金も抑えることができるようになる。 準備 パイプライン パラメーターを2つ用意…

Azure Data Factory でデータレイクから最新日付のファイルを取得する

Azureを使ってデータ分析基盤を構築すると、Azure Data Lake Storage Gen2にデータを溜めていく事が多いです。 この日々溜まっていくデータから最新日付のファイルのみを取り出したいときに使えるテクニックです。 前提条件 前提条件として、XXX_yyyyMMdd.cs…

Azure Data FactoryのGit運用で困ったら取り入れてみること

Azure Data Factoryでは、パイプライン開発をバージョン管理するためにGit連携ができます。 GUIでの開発なのにバージョン管理できるのは、Data Factoryの実態がJSONファイルになっているからです。 Azure Data FactoryとAzure DevOpsなどを連携すると、デフ…

Azure SQL Databaseの監査ログを取得する

Azure SQL Databaseでは監査ログをかんたんに取得することができる。文字通り監査のタイミングで必要になるので、基本的には取得しておいたほうがいいものになる。Azure SQL Databaseではデータベースのイベントを追跡し、Blobストレージに監査ログを書き込…

Azure: DP-201: Designing an Azure Data Solutionに合格した

2021/03/30 に Azure の資格試験、「DP-201: Designing an Azure Data Solution」に合格した。 この試験の受験者は、Azure データ サービスを使用するデータ ソリューションを設計するためのデータ要件を、ビジネス関係者と協力して特定および満たす Microso…

Azure: DP-200: Implementing an Azure Data Solutionに合格した

2021/03/30 に Azure の資格試験、「DP-200: Implementing an Azure Data Solution」に合格した。 この試験の受験者は、Azure データ サービスを使用するデータ ソリューションを実装するためのデータ要件を、ビジネス関係者と協力して特定および満たす Micr…

Azure: Logic AppからTeamsへ通知を送る

Azure上の処理を結果をTeamsに送信したい要件がよくあり、すぐに案内ができるように手順をまとめておく。 Logic Appを作成する Logic App デザイナーで処理を作成する Service BusとLogic Appを接続する Teamsへ通知をする Microsoft Teams HTTP Teamsのメー…

SQL DatabaseにADユーザを登録する前に設定する項目

SQL DatabaseにADユーザを登録する作業を頼まれたときに、ハマったのでメモ。 SQL DatabaseにADユーザを登録する際、登録作業を実施するユーザがサーバのActive Directory管理者である必要がある。 この作業はAzureの画面上からすぐに実施することができる。…

Azure Data Factoryで複数のExcelファイルを結合しCSVにする

今回はAzure Data Factoryを使って、複数のExcelファイルを結合して1つのCSVにする方法について記述する。 前提条件 Azure Data Lake Storage Gen2に「excel2csv」という名称のコンテナを作成する。 また、「excel2csv」コンテナの配下に「input」「output」…

Azureのストレージにおけるデータの冗長性

今回はAzureのストレージにおけるデータの冗長性についてまとめた。 Microsoftのドキュメントはとても丁寧に作られていて、こちらも読んでみてほしい。 このドキュメントは丁寧に作られている反面、普段触りなれていない人には内容として少し難しいかもしれ…

TerraformでAzureDataWarehouseを作成するときにDWUを指定する方法

TerraformでDataWarehouseを作成するときにDWUを指定する方法がドキュメントを見た限りではわからなかったので調査しました。 www.terraform.io docs.microsoft.com ファイル全体像 dataWarehouseを作成するTerraformファイルの全体像を書きました。今回初め…

Node.jsアプリをWeb AppsにAzure Pipelinesからデプロイする

プロジェクトの中でCI/CDを組み入れる作業をおこなった。その時はAzure DevOps内のAzure Pipelinesを使い、Web AppsにNode.jsアプリケーションをデプロイした。この作業をおこなっていた中でつまづいた部分があったのでブログに手順と注意事項として書いてお…

Azure Bastionをさわってみた

現在パブリックプレビューとして公開されている、 「Azure Bastion」 を触ってみた。 「Azure Bastion」 はブラウザ上のAzure Portalから、仮想ネットワーク内の仮想マシンにプライベートIPだけで、リモートデスクトップやSSHでアクセスができる。 つまり、…