Data Engineering Study #4「データ分析基盤の障害対応事例 LT 祭り」に視聴者として参加させてもらった。 自分は普段、 Azure を使ったデータ分析基盤の導入支援をおこなっている。 そのため、各コンポーネントの簡単な知見などは知っているが、運用面や障…

10 月 1 日〜31 日の間の出来事がリリースされました。 10 月の感想 9 月から一転して、10 月はリフレッシュと自分を見つめ直す月になりました。 リフレッシュに関しては旅行に行きました。行った場所については下記です。 宮城（松島）・福島（蔵王） 北海…

GitHub Actions が手動での実行に対応していたので試した。 以前 Firebase Hosting にデプロイするとき、 GitHub Actions は使ったことがあった。しかし、そのときには手動実行はなかった。 ブログによると 2020/07 に手動実行への対応をしていたようだ。 gi…

モック用データが欲しいときに見つけたのが「Mockaroo」だ。「Mockaroo」はブラウザ上で欲しいデータの形式を入力すると、ランダムなデータを指定した数だけ生成してくれるWebサービスだ。ライブラリなどをインストールする必要ないというところが嬉しい。今…

9月1日〜30日の間の出来事がリリースされました。 9月の感想 なかなかインプットとアウトプットができない日々が続いていて大変でした。 残り3ヶ月巻き返したいです。 技術・開発関連 特にありません イベント 特にありません 読んだ本 特にありません。 ブ…

Hasuraが最近盛り上がっており興味を持ったため、久々にHerokuを立ち上げた。また、JavaScriptのフレームワークとしてはVue.jsを触ることが多かったが、TypeScriptとの相性や情報量の多さがReactのほうが多いと感じたのでReactを触ってみることにした。 今回…

以前タスク管理に関する技術同人誌を読んだ。その中で、「（タスクを）１か所に保管する」ということが語られていて、振り返りや情報管理も１か所にまとめたほうがいいなと感じていた。 yoshitaku-jp.hatenablog.com 移行する前は、自分のメモは「Google Kee…

IT業界にいると実感するが様々なことが日々新しくなっていき、その度に自身の知識のアップデートも必要になっていく。業界の知識は取り入れているが、広く仕事のことになるとあまり知識を取り入れず来てしまったように思う。タスク管理やプロジェクトのマネ…

ここ最近は仕事でつまづくことが多く、とても難しい時間が続いている。ストレスの根本的な解決にはならないが、和らげる目的として別のアクティビティをして紛らわせるのが効果的だったりする。人生の中でここまでうまくいかない経験をしたことがあまりなく…

8月1日〜31日の間の出来事がリリースされました。 8月の感想 仕事のストレスや今後の不安から何も手につかなくなってしまう日々がありました。結果的に心と体、どちらも壊したわけではないので大丈夫ですが、常日頃から無理しないほうが良さそうです。相談さ…

エンジニアの多くは3,4月からリモートワークを開始した人も多いはずだが、気がつけば8月ですでに半年が経過している。多くの人が共感すると思うが自分としては、在宅の慣れない作業環境やメンバーとのコミュニケーションの取り方だったり、私生活でも思った…

去年からデータ分析に関係する勉強を始めている。理論的なことと実践での動きについて学ぶことができているが、なかなか手を動かすことができていなかった。知識ばかりが先行し頭でっかちになってしまっていた自分は手を動かして学ぶ事ができるものを探して…

Google Colaboratoryで保存してあるファイルからデータを読み取ったり、計算した結果をファイルとして書き込んだりしたいタイミングがあった。今回はGoogle繋がりと無料で使える保存場所としてGoogle Driveを選択し、Google Colaboratoryでマウントしてから…

Python実践データ分析100本ノック | 下山 輝昌, 松田 雄馬, 三木 孝行 |本 | 通販 | Amazonを実践していて、環境構築なしにJupyterNotebookと同じ環境が使えるのでGoogle Colaboratoryを使う機会が増えています。 100本ノックでSparkを使うことはないと思っ…

7月1日〜31日の間の出来事がリリースされました。 7月の感想 7月は自分の思い通りに行かない日々でした。 目標もOKRを立てたは良いものの、とても学びのあるインプットと深い内容のアウトプットできたと思えてません。やはり業務外で時間をとってやるのはな…

ずっと疑問に思っていたPythonにおけるstr()とrepr()の違いについてまとめた。 共通していること タイトルに「違い」と書き始めたが、まずはこの2つについて共通していることを簡単に書いておく。 この2つの関数について同じことはオブジェクトの中身を出力…

サンプルコードを写経していたら、df.head()と打たなければいけないところを、df.headで実行してしまった。それでも実行はできて中身の出力はできたのだけれど、出力内容は違うものが出てきたのでこの２つについて簡単に調べた。表示されているデータは機械…

自分が知らなかったのでメモ 関数のデフォルト引数にリストを設定した時、デフォルト引数のリストの内容は再度実行したタイミングでも前の内容を保持します。 def sample(a, b=[]): b.append(a) return b print(sample('test')) ['test'] print(sample('test…

今回はAzureのストレージにおけるデータの冗長性についてまとめた。 Microsoftのドキュメントはとても丁寧に作られていて、こちらも読んでみてほしい。 このドキュメントは丁寧に作られている反面、普段触りなれていない人には内容として少し難しいかもしれ…

6月1日〜30日の間の出来事がリリースされました。 6月の感想 まだまだ警戒すべき段階ではありますが、少しずつ日常が戻ってきて嬉しいです。 仕事は期末ということで、忙しいかと思いきや来期への準備でそこまで忙しくなかったです。 出社して顔を合わせてい…

12章は「アーキテクチャに通知表をつける」で、今まで作り上げてきたアーキテクチャを評価し、また評価する文化を育むことを教えてくれる章でした。 www.oreilly.co.jp この章で伝えたいことを整理する 当たり前ですが、章のタイトルでもある通知表は学生が…

11章は「アーキテクチャを記述する」章で、ソフトウェアアーキテクチャの文章化を上手におこなって、見る人の関心事に着目したアーキテクチャ記述を学ぶ章でした。 www.oreilly.co.jp この章で伝えたいことを整理する まずはアーキテクチャの文章化のメリッ…

10章は「設計判断を可視化する」章で、アイデアを共有するためにアーキテクチャを触れられる形（=可視化）にする方法を述べた章でした。 www.oreilly.co.jp この章で伝えたいことを整理する アーキテクチャを可視化する方法は様々あるが、大切なのは誰に見せ…

9章は「アーキテクチャデザインスタジオを開く」と表現された章で、参加者を集めアーキテクチャに関するワークショップを開く方法を学ぶ章でした。 www.oreilly.co.jp この章で伝えたいことを整理する まずはアーキテクチャという言葉の後ろにある「デザイン…

5月1日〜31日のあいだの出来事がリリースされました。 5月の感想 今月はweb1weekという1週間でwebサービスをリリースするというイベントに参加しました。 業務外で取り組んだこともあり大層なものは作れませんでしたが、自分の実力と何が足りていないかがわ…

初めは慣れなかったWork From Homeも一ヶ月以上が経ち慣れてきた。 自分をはじめWork From Homeに慣れた人の中には通勤時間として使っていた時間を有効活用して、新しく何か始めた人も多いはずだ。 自分も空いた時間を使ってリングフィットアドベンチャーで…

5章はアーキテクチャを検討していく上で大切な要求を定義する方法が述べられていた。 www.oreilly.co.jp この章で伝えたいことを整理する アーキテクチャを考える上重要な要求を（Architecturally Significant Requirement : ASR）と呼びます。 これはアーキ…

今回は8章をおこないました。8章は「意味のあるモデルで複雑さを扱う」と題された章で、ソフトウェアシステムが成長・拡大していく中で複雑化していくものをコントロールする方法を学ぶ章でした。 www.oreilly.co.jp この章で伝えたいことを整理する 今まで…

今回は7章をおこないました。7章は様々なアーキテクチャを紹介する章でした。 www.oreilly.co.jp この章で伝えたいことを整理する 6章とのつながりがある章ではありましたが、この章だけ切り取って個別に見ても成り立つ章ではありました。 まず、特定の問題…

今回は6章をおこないました。6章はアーキテクチャを選ぶというタイトルで話が進んでいきますが、個人的にはこの副題が大切な気がしました。注意して読むと「アーキテクトに選ばれる前に」と言う、任命される前にという意味ではなく「アーキテクチャに選ばれ…