この問題をPythonで解いた。 #5 Smallest multiple - Project Euler 日本語の問題文はこちら 2520 は 1 から 10 の数字の全ての整数で割り切れる数字であり, そのような数字の中では最小の値である. では, 1 から 20 までの整数全てで割り切れる数字の中で最…

この問題をPythonで解いた。 #4 Largest palindrome product - Project Euler 日本語の問題文はこちら 左右どちらから読んでも同じ値になる数を回文数という. 2桁の数の積で表される回文数のうち, 最大のものは 9009 = 91 × 99 である. では, 3桁の数の積で…

この問題をPythonで解いた。 #3 Largest prime factor - Project Euler 日本語の問題文はこちら 13195 の素因数は 5, 7, 13, 29 である. 600851475143 の素因数のうち最大のものを求めよ. Problem 3 - PukiWiki N = 600851475143 i = 2 while i * i <= N: wh…

この問題をPythonで解いた。 #2 Even Fibonacci numbers - Project Euler 日本語の問題文はこちら フィボナッチ数列の項は前の2つの項の和である. 最初の2項を 1, 2 とすれば, 最初の10項は以下の通りである. 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, ... 数列の…

この問題をPythonで解いた。 #1 Multiples of 3 or 5 - Project Euler 日本語の問題文はこちら 10未満の自然数のうち, 3 もしくは 5 の倍数になっているものは 3, 5, 6, 9 の4つがあり, これらの合計は 23 になる. 同じようにして, 1000 未満の 3 か 5 の倍…

Azureを使ってデータ分析基盤を構築すると、Azure Data Lake Storage Gen2にデータを溜めていく事が多いです。 この日々溜まっていくデータから最新日付のファイルのみを取り出したいときに使えるテクニックです。 前提条件 前提条件として、XXX_yyyyMMdd.cs…

どこから削除ができるのか探してしまったのでメモ。 まずはReposの「Files」に、現在いるものとする。 左のReposメニューから「Branches」を選択する。 削除したいブランチの右に配置されている点から「Delete branch」を選択する。 確認画面が表示されるの…

Azure Data Factoryでは、パイプライン開発をバージョン管理するためにGit連携ができます。 GUIでの開発なのにバージョン管理できるのは、Data Factoryの実態がJSONファイルになっているからです。 Azure Data FactoryとAzure DevOpsなどを連携すると、デフ…

カーディナリティは、データベースのカラムに入っているデータの種類がどれぐらい存在しているかを表す。 もともとの英単語の訳としては濃度という訳が当てはまる。 例えば、genderカラムが存在していたとする。単純な話としたいので、このカラムに入ってく…

「さあ、才能(じぶん)に目覚めよう 新版 ストレングス・ファインダー2.0」を買って、実践してみた。 さあ、才能(じぶん)に目覚めよう 新版 ストレングス・ファインダー2.0作者:トム・ラス日本経済新聞出版社Amazon この本は自分の才能に気がつき、今後の人生…

Azure SQL Databaseでは監査ログをかんたんに取得することができる。文字通り監査のタイミングで必要になるので、基本的には取得しておいたほうがいいものになる。Azure SQL Databaseではデータベースのイベントを追跡し、Blobストレージに監査ログを書き込…

Apache Airflowで自作ファイルを作成しようとしたが、設定できる項目多く迷うことが多かった。そこでチュートリアルで用意されているものから最低限必要なものを抜き出してみた。 それが以下になる。 from datetime import timedelta from airflow import DA…

Airbnb 社が開発し、今は Apache ソフトウェア財団のトッププロジェクトとなっている Apache Airflow。 今回は業務の中でワークフロー製品を扱っていることもあり、OSS の Airflow の感触を確かめるべく触ってみた。 準備 Airflow の公式ページでインストー…

Pandas のGroupBy.first を使うと、グループの中で一番最初の値を取得できる。 pandas.pydata.org 以前SQLの分析関数であるFIRST_VALUEとの動きを確認した。Pandasでどのように実現していくのか見ていくものになる。 yoshitaku-jp.hatenablog.com 実行環境 …

Pandas のshift を使うと、現在の行の値と前後の行の値を比較できる。 pandas.pydata.org 以前SQLの分析関数であるLAGとLEADの動きを確認したが、Pandasではどのように実現していくのか見ていくものになる。LAG関数とLEAD関数も比較して見てもらえると！ yos…

SQL の分析関数である RANK と DENSE_RANK を使うと、順序が付けられた値のセットの中で何番目の値かを返すことができる。 今回は RANK と DENSE_RANK を使って、動きを確認していく。 RANK (Transact-SQL) - SQL Server | Microsoft Docs DENSE_RANK (Trans…

SQL の分析関数である FIRST_VALUE と LAST_VALUE を使うと、順序が付けられた値のセットの中で最初の値と最後の値を返すことができる。 今回は FIRST_VALUE を使って、動きを確認していく。 FIRST_VALUE は最初の値、LAST_VALUE は最後の値という違いだけで…

SQLのMAX・MIN関数には数値以外にも文字列を指定することが出来ます。 「最大値/ 最小値」と言われると数字しかイメージしてこなかったので、恥ずかしながらとても驚きました。 このあたりの動きをSQL Fiddleを使って確認していきます。 今回もSQL Fiddleを…

SQL の分析関数である LAG と LEAD を使うと、現在の行の値と前後の行の値を比較できる。 今回は LAG を使って、動きを確認していく。 LAG は前の行、LEAD は後ろの行という違いだけで、構文は 同じになるので、LEAD を知りたい場合は適宜置換してもらえると…

Databricksで saveAsTable()関数を使うと、Spark SQL テーブルを作成できる。今回はsaveAsTable()関数を使って作成される「マネージドテーブル」と「アンマネージドテーブル」の違いを見ていく。 データベースとテーブル - Azure Databricks - Workspace | M…

今回は Mac のアプリ「Scroll Reverser」を紹介する。 「Scroll Reverser」を使うと、マウスのスクロールを反転させることができる。 普段の仕事は Windows 機でマウスは「Logicool M575GR」を使っている。 使い慣れたマウスをプライベート機の mac でも使い…

SQL で家計簿のような科目別で集計した表を作成するテクニックを見て驚いたのでブログに残しておく。 環境を用意しないで SQL を試せる場所として SQL Fiddleが良かったので、使ってみてほしい。 画面構成 SQL Fiddleについて説明しておく。 アクセスすると…

以前、「スクラム」をテーマにしている SCRUM BOOT CAMP THE BOOK を読んだところ、ふりかえりにあたる「レトルスペクティブ」に対する言及が少なかったので、この本を手にとった。 yoshitaku-jp.hatenablog.com 内容 これから始める人を対象にしていること…

以前「メルカリ読書法」が話題になったが、自分には合わなかったので図書館にアレンジして実践してみた。 メルカリ読書法の詳細は下記に書いてある。 note.com 要するに実践していくと、メルカリに出品することで本を読み終えるプレッシャーをかけ、積ん読の…

Dockerでsshでログインしようとしたら思ったよりハマったのでメモをしておく。 まずはDockerでdebianを起動する。 docker run --name ssh_sample -it -p 127.0.0.1:2022:2022 debian:stable 設定ファイルなど必要なものをインストールする apt -y update apt…

資格試験を3月末までに合格しなければいけなかったため、どうしても勉強時間を捻出する必要があった。 結論から言うとSNSに滞留する時間を削った。 無事に資格試験にも合格して、その後もいい勉強のサイクルが生まれているので現時点での記録としてメモをし…

社内でアジャイル開発研修を受けたので、そのままいくつか深堀りしたくなり、「スクラム」をテーマにしている SCRUM BOOT CAMP THE BOOK を読んだ。 はじめて「スクラム」をやることになったら読む本 と表紙に書いてあるように、内容がストーリー仕立てで書…

2021/03/30 に Azure の資格試験、「DP-201: Designing an Azure Data Solution」に合格した。 この試験の受験者は、Azure データ サービスを使用するデータ ソリューションを設計するためのデータ要件を、ビジネス関係者と協力して特定および満たす Microso…

2021/03/30 に Azure の資格試験、「DP-200: Implementing an Azure Data Solution」に合格した。 この試験の受験者は、Azure データ サービスを使用するデータ ソリューションを実装するためのデータ要件を、ビジネス関係者と協力して特定および満たす Micr…

Azure上の処理を結果をTeamsに送信したい要件がよくあり、すぐに案内ができるように手順をまとめておく。 Logic Appを作成する Logic App デザイナーで処理を作成する Service BusとLogic Appを接続する Teamsへ通知をする Microsoft Teams HTTP Teamsのメー…