よしたく blog

ほぼ週刊で記事を書いています

2021-08-01から1ヶ月間の記事一覧

Azure Data Factory でデータレイクから最新日付のファイルを取得する

Azureを使ってデータ分析基盤を構築すると、Azure Data Lake Storage Gen2にデータを溜めていく事が多いです。 この日々溜まっていくデータから最新日付のファイルのみを取り出したいときに使えるテクニックです。 前提条件 前提条件として、XXX_yyyyMMdd.cs…

Reposでブランチを削除する方法

どこから削除ができるのか探してしまったのでメモ。 まずはReposの「Files」に、現在いるものとする。 左のReposメニューから「Branches」を選択する。 削除したいブランチの右に配置されている点から「Delete branch」を選択する。 確認画面が表示されるの…

Azure Data FactoryのGit運用で困ったら取り入れてみること

Azure Data Factoryでは、パイプライン開発をバージョン管理するためにGit連携ができます。 GUIでの開発なのにバージョン管理できるのは、Data Factoryの実態がJSONファイルになっているからです。 Azure Data FactoryとAzure DevOpsなどを連携すると、デフ…

リレーショナルデータベースにおけるカーディナリティについて

RDB

カーディナリティは、データベースのカラムに入っているデータの種類がどれぐらい存在しているかを表す。 もともとの英単語の訳としては濃度という訳が当てはまる。 例えば、genderカラムが存在していたとする。単純な話としたいので、このカラムに入ってく…

ストレングスファインダーをやってみた

「さあ、才能(じぶん)に目覚めよう 新版 ストレングス・ファインダー2.0」を買って、実践してみた。 さあ、才能(じぶん)に目覚めよう 新版 ストレングス・ファインダー2.0作者:トム・ラス日本経済新聞出版社Amazon この本は自分の才能に気がつき、今後の人生…