Azure
2021年後半にAzure Data FactoryのFailアクティビティが追加されました。10月頃にプレビューで登場していたのは確認していたのですが、いつのまにかGAされていました。Failアクティビティは名前の通りパイプライン上で意図的にエラーを引き起こしたいときに…
Azure Data Factoryを使って、新規・変更済みファイルのみをデータレイク間でコピーする。新規・変更済みファイルのみを移動対象とすることで、無駄なデータ移動が発生せず、料金も抑えることができるようになる。 準備 パイプライン パラメーターを２つ用意…
Azureを使ってデータ分析基盤を構築すると、Azure Data Lake Storage Gen2にデータを溜めていく事が多いです。 この日々溜まっていくデータから最新日付のファイルのみを取り出したいときに使えるテクニックです。 前提条件 前提条件として、XXX_yyyyMMdd.cs…
Azure Data Factoryでは、パイプライン開発をバージョン管理するためにGit連携ができます。 GUIでの開発なのにバージョン管理できるのは、Data Factoryの実態がJSONファイルになっているからです。 Azure Data FactoryとAzure DevOpsなどを連携すると、デフ…
Azure SQL Databaseでは監査ログをかんたんに取得することができる。文字通り監査のタイミングで必要になるので、基本的には取得しておいたほうがいいものになる。Azure SQL Databaseではデータベースのイベントを追跡し、Blobストレージに監査ログを書き込…
2021/03/30 に Azure の資格試験、「DP-201: Designing an Azure Data Solution」に合格した。 この試験の受験者は、Azure データ サービスを使用するデータ ソリューションを設計するためのデータ要件を、ビジネス関係者と協力して特定および満たす Microso…
2021/03/30 に Azure の資格試験、「DP-200: Implementing an Azure Data Solution」に合格した。 この試験の受験者は、Azure データ サービスを使用するデータ ソリューションを実装するためのデータ要件を、ビジネス関係者と協力して特定および満たす Micr…
Azure上の処理を結果をTeamsに送信したい要件がよくあり、すぐに案内ができるように手順をまとめておく。 Logic Appを作成する Logic App デザイナーで処理を作成する Service BusとLogic Appを接続する Teamsへ通知をする Microsoft Teams HTTP Teamsのメー…
SQL DatabaseにADユーザを登録する作業を頼まれたときに、ハマったのでメモ。 SQL DatabaseにADユーザを登録する際、登録作業を実施するユーザがサーバのActive Directory管理者である必要がある。 この作業はAzureの画面上からすぐに実施することができる。…
今回はAzure Data Factoryを使って、複数のExcelファイルを結合して1つのCSVにする方法について記述する。 前提条件 Azure Data Lake Storage Gen2に「excel2csv」という名称のコンテナを作成する。 また、「excel2csv」コンテナの配下に「input」「output」…
今回はAzureのストレージにおけるデータの冗長性についてまとめた。 Microsoftのドキュメントはとても丁寧に作られていて、こちらも読んでみてほしい。 このドキュメントは丁寧に作られている反面、普段触りなれていない人には内容として少し難しいかもしれ…
TerraformでDataWarehouseを作成するときにDWUを指定する方法がドキュメントを見た限りではわからなかったので調査しました。 www.terraform.io docs.microsoft.com ファイル全体像 dataWarehouseを作成するTerraformファイルの全体像を書きました。今回初め…
プロジェクトの中でCI/CDを組み入れる作業をおこなった。その時はAzure DevOps内のAzure Pipelinesを使い、Web AppsにNode.jsアプリケーションをデプロイした。この作業をおこなっていた中でつまづいた部分があったのでブログに手順と注意事項として書いてお…
現在パブリックプレビューとして公開されている、 「Azure Bastion」 を触ってみた。 「Azure Bastion」 はブラウザ上のAzure Portalから、仮想ネットワーク内の仮想マシンにプライベートIPだけで、リモートデスクトップやSSHでアクセスができる。 つまり、…
