よしたく blog

ITエンジニアとして自分が知らなかったことをまとめています

【Project Euler】Largest prime factorをPythonで解く

この問題をPythonで解いた。 #3 Largest prime factor - Project Euler 日本語の問題文はこちら 13195 の素因数は 5, 7, 13, 29 である. 600851475143 の素因数のうち最大のものを求めよ. Problem 3 - PukiWiki N = 600851475143 i = 2 while i * i <= N: wh…

【Project Euler】Even Fibonacci numbersをPythonで解く

この問題をPythonで解いた。 Problem 2 - Project Euler 日本語の問題文はこちら フィボナッチ数列の項は前の2つの項の和である. 最初の2項を 1, 2 とすれば, 最初の10項は以下の通りである. 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, ... 数列の項の値が400万以…

【Project Euler】Multiples of 3 or 5をPythonで解く

この問題をPythonで解いた。 Problem 1 - Project Euler 日本語の問題文はこちら 10未満の自然数のうち, 3 もしくは 5 の倍数になっているものは 3, 5, 6, 9 の4つがあり, これらの合計は 23 になる. 同じようにして, 1000 未満の 3 か 5 の倍数になっている…

Azure Data Factory でデータレイクから最新日付のファイルを取得する

Azureを使ってデータ分析基盤を構築すると、Azure Data Lake Storage Gen2にデータを溜めていく事が多いです。 この日々溜まっていくデータから最新日付のファイルのみを取り出したいときに使えるテクニックです。 前提条件 前提条件として、XXX_yyyyMMdd.cs…

Reposでブランチを削除する方法

どこから削除ができるのか探してしまったのでメモ。 まずはReposの「Files」に、現在いるものとする。 左のReposメニューから「Branches」を選択する。 削除したいブランチの右に配置されている点から「Delete branch」を選択する。 確認画面が表示されるの…

Azure Data FactoryのGit運用で困ったら取り入れてみること

Azure Data Factoryでは、パイプライン開発をバージョン管理するためにGit連携ができます。 GUIでの開発なのにバージョン管理できるのは、Data Factoryの実態がJSONファイルになっているからです。 Azure Data FactoryとAzure DevOpsなどを連携すると、デフ…

リレーショナルデータベースにおけるカーディナリティについて

RDB

カーディナリティは、データベースのカラムに入っているデータの種類がどれぐらい存在しているかを表す。 もともとの英単語の訳としては濃度という訳が当てはまる。 例えば、genderカラムが存在していたとする。単純な話としたいので、このカラムに入ってく…

ストレングスファインダーをやってみた

「さあ、才能(じぶん)に目覚めよう 新版 ストレングス・ファインダー2.0」を買って、実践してみた。 さあ、才能(じぶん)に目覚めよう 新版 ストレングス・ファインダー2.0作者:トム・ラス日本経済新聞出版社Amazon この本は自分の才能に気がつき、今後の人生…

Azure SQL Databaseの監査ログを取得する

Azure SQL Databaseでは監査ログをかんたんに取得することができる。文字通り監査のタイミングで必要になるので、基本的には取得しておいたほうがいいものになる。Azure SQL Databaseではデータベースのイベントを追跡し、Blobストレージに監査ログを書き込…

Apache AirflowのDAGファイルの最小設定

Apache Airflowで自作ファイルを作成しようとしたが、設定できる項目多く迷うことが多かった。そこでチュートリアルで用意されているものから最低限必要なものを抜き出してみた。 それが以下になる。 from datetime import timedelta from airflow import DA…

Apache Airflowのチュートリアルを実行してみた

Airbnb 社が開発し、今は Apache ソフトウェア財団のトッププロジェクトとなっている Apache Airflow。 今回は業務の中でワークフロー製品を扱っていることもあり、OSS の Airflow の感触を確かめるべく触ってみた。 準備 Airflow の公式ページでインストー…

【Pandas】GroupBy.first関数の動きを確認する

Pandas のGroupBy.first を使うと、グループの中で一番最初の値を取得できる。 pandas.pydata.org 以前SQLの分析関数であるFIRST_VALUEとの動きを確認した。Pandasでどのように実現していくのか見ていくものになる。 yoshitaku-jp.hatenablog.com 実行環境 …

【Pandas】shift関数の動きを確認する

Pandas のshift を使うと、現在の行の値と前後の行の値を比較できる。 pandas.pydata.org 以前SQLの分析関数であるLAGとLEADの動きを確認したが、Pandasではどのように実現していくのか見ていくものになる。LAG関数とLEAD関数も比較して見てもらえると! yos…

【SQL】RANK関数・DENSE_RANK関数の動きを確認する

SQL

SQL の分析関数である RANK と DENSE_RANK を使うと、順序が付けられた値のセットの中で何番目の値かを返すことができる。 今回は RANK と DENSE_RANK を使って、動きを確認していく。 RANK (Transact-SQL) - SQL Server | Microsoft Docs DENSE_RANK (Trans…

【SQL】FIRST_VALUE関数・LAST_VALUE関数の動きを確認する

SQL

SQL の分析関数である FIRST_VALUE と LAST_VALUE を使うと、順序が付けられた値のセットの中で最初の値と最後の値を返すことができる。 今回は FIRST_VALUE を使って、動きを確認していく。 FIRST_VALUE は最初の値、LAST_VALUE は最後の値という違いだけで…

【SQL】MAX・MIN関数に文字列を指定したときの動きを確認する

SQL

SQLのMAX・MIN関数には数値以外にも文字列を指定することが出来ます。 「最大値/ 最小値」と言われると数字しかイメージしてこなかったので、恥ずかしながらとても驚きました。 このあたりの動きをSQL Fiddleを使って確認していきます。 今回もSQL Fiddleを…

【SQL】LAG関数・LEAD関数の動きを確認する

SQL

SQL の分析関数である LAG と LEAD を使うと、現在の行の値と前後の行の値を比較できる。 今回は LAG を使って、動きを確認していく。 LAG は前の行、LEAD は後ろの行という違いだけで、構文は 同じになるので、LEAD を知りたい場合は適宜置換してもらえると…

【Databricks】マネージドテーブルとアンマネージドテーブルの違い

Databricksで saveAsTable()関数を使うと、Spark SQL テーブルを作成できる。今回はsaveAsTable()関数を使って作成される「マネージドテーブル」と「アンマネージドテーブル」の違いを見ていく。 データベースとテーブル - Azure Databricks - Workspace | M…

Scroll Reverserを使ってマウスのスクロール方向を反転させる

今回は Mac のアプリ「Scroll Reverser」を紹介する。 「Scroll Reverser」を使うと、マウスのスクロールを反転させることができる。 普段の仕事は Windows 機でマウスは「Logicool M575GR」を使っている。 使い慣れたマウスをプライベート機の mac でも使い…

SQLで勘定科目内訳書を作成する

SQL

SQL で家計簿のような科目別で集計した表を作成するテクニックを見て驚いたのでブログに残しておく。 環境を用意しないで SQL を試せる場所として SQL Fiddleが良かったので、使ってみてほしい。 画面構成 SQL Fiddleについて説明しておく。 アクセスすると…

アジャイルなチームをつくる ふりかえりガイドブックを読んだ

以前、「スクラム」をテーマにしている SCRUM BOOT CAMP THE BOOK を読んだところ、ふりかえりにあたる「レトルスペクティブ」に対する言及が少なかったので、この本を手にとった。 yoshitaku-jp.hatenablog.com 内容 これから始める人を対象にしていること…

ITエンジニア向け図書館読書法

以前「メルカリ読書法」が話題になったが、自分には合わなかったので図書館にアレンジして実践してみた。 メルカリ読書法の詳細は下記に書いてある。 note.com 要するに実践していくと、メルカリに出品することで本を読み終えるプレッシャーをかけ、積ん読の…

Dockerにssh公開鍵認証でログインする

Dockerでsshでログインしようとしたら思ったよりハマったのでメモをしておく。 まずはDockerでdebianを起動する。 docker run --name ssh_sample -it -p 127.0.0.1:2022:2022 debian:stable 設定ファイルなど必要なものをインストールする apt -y update apt…

自分なり勉強時間捻出法

資格試験を3月末までに合格しなければいけなかったため、どうしても勉強時間を捻出する必要があった。 結論から言うとSNSに滞留する時間を削った。 無事に資格試験にも合格して、その後もいい勉強のサイクルが生まれているので現時点での記録としてメモをし…

SCRUM BOOT CAMP THE BOOKを読んだ

社内でアジャイル開発研修を受けたので、そのままいくつか深堀りしたくなり、「スクラム」をテーマにしている SCRUM BOOT CAMP THE BOOK を読んだ。 はじめて「スクラム」をやることになったら読む本 と表紙に書いてあるように、内容がストーリー仕立てで書…

Azure: DP-201: Designing an Azure Data Solutionに合格した

2021/03/30 に Azure の資格試験、「DP-201: Designing an Azure Data Solution」に合格した。 この試験の受験者は、Azure データ サービスを使用するデータ ソリューションを設計するためのデータ要件を、ビジネス関係者と協力して特定および満たす Microso…

Azure: DP-200: Implementing an Azure Data Solutionに合格した

2021/03/30 に Azure の資格試験、「DP-200: Implementing an Azure Data Solution」に合格した。 この試験の受験者は、Azure データ サービスを使用するデータ ソリューションを実装するためのデータ要件を、ビジネス関係者と協力して特定および満たす Micr…

Azure: Logic AppからTeamsへ通知を送る

Azure上の処理を結果をTeamsに送信したい要件がよくあり、すぐに案内ができるように手順をまとめておく。 Logic Appを作成する Logic App デザイナーで処理を作成する Service BusとLogic Appを接続する Teamsへ通知をする Microsoft Teams HTTP Teamsのメー…

分析関数について

SQL

業務で分析関数を使うことがあったが、今まで簡単な SQL しか触ったことがなかったので苦労した。 調べた中で整理を兼ねて、複数回に渡りまとめておく。 分析関数を一言でいうと、入力された値を集計し、各行に値を返すものとされている。 集計の動作を聞く…

SSMS: 「変更の保存が許可されていません。」エラーを回避する

SQL Server Management Studio(以下SSMS)で、「変更の保存が許可されていません。おこなった変更には、次のテーブルを削除して再作成することが必要になります。再作成できないテーブルに変更を行ったか、テーブルの再作成を必要とする変更を保存できない…