6月の活動を振り返ってみます。（今更
ありがとうございます！！！はてなブログに移って、すぐ入れてよかったです。嬉しい！とりあえず、自分の実績一つ解除！
なにもやってなかった。 こっちは反省。
1月はこちら yoshitaku-jp.hatenablog.com
2月はこっち yoshitaku-jp.hatenablog.com
3月はこっち yoshitaku-jp.hatenablog.com
4月はこちらです yoshitaku-jp.hatenablog.com
5月はこちらです yoshitaku-jp.hatenablog.com
Beautiful Soupを使うときはwebのページをスクレイピングするときが多いと思うが、htmlファイルを開きたいときにエラーが発生したのでメモ。
Beautiful Soupを使って、htmlファイルを開こうとする。
hoge_html = "hoge.html" bsObj = BeautifulSoup(hoge_html, "html.parser")
こんなエラーが出る。 "hoge.html" looks like a filename, not markup. You should probably open this file and pass the filehandle into Beautiful Soup.
エラーにも書いてあるが、これはファイルのパスを指定してBeautiful Soupに投げているだけなので、
filename = "hoge.html" hoge_html = open(filename,'r') bsObj = BeautifulSoup(hoge_html, "html.parser")
ファイルをオープンして再度投げればうまくいきます
DjangoはPythonのWebアプリケーションフレームワークです。いろいろできるので一番人気かな？他にもflaskがありますね。
Django（ジャンゴ）は、Pythonで実装されたWebアプリケーションフレームワーク。（中略）Django の第一の目的は、複雑なデータベース主体の Web サイトの構築を簡単にすることである。Django はコンポーネントの再利用性と'pluggability'、素早い開発、DRY (Don't Repeat Yourself)の原則に力点を置いている。ファイルやデータのモデルにいたるまで、Python が一貫して用いられている。
Djangoでは、htmlファイルが入っているtemplatesフォルダを各アプリケーションの下に配置することがあるかと思います。
例では「groups」アプリケーションの配下でtemplatesを使っています。（わかりやすくするために、必要ではないディレクトリは大幅に削除しています。
. ├── README.md ├── config │ └── 略 ├── db.sqlite3 ├── groups │ ├── __init__.py │ ├── admin.py │ ├── apps.py │ ├── forms.py │ ├── migrations │ │ ├── 0001_initial.py │ ├── models.py │ ├── tests.py │ ├── templates │ │ ├── base.html │ │ └── groups │ │ ├── detail.html │ │ ├── index_page.html │ │ ├── list.html │ │ └── regist.html │ ├── urls.py │ └── views.py
自分の場合は「groups」アプリケーションの他にログイン機能を使う「accounts」アプリケーションを開発途中で追加しました。このタイミングで再びtemplatesフォルダを「accounts」アプリケーションの配下に作るのが嫌でした。
. ├── README.md ├── accounts │ ├── __init__.py │ ├── admin.py │ ├── apps.py │ ├── migrations │ │ └── __init__.py │ ├── models.py │ ├── tests.py │ ├── urls.py │ └── views.py ├── config │ └── 略 ├── db.sqlite3 ├── groups │ ├── __init__.py │ ├── admin.py │ ├── apps.py │ ├── forms.py │ ├── migrations │ │ ├── 0001_initial.py │ ├── models.py │ ├── tests.py │ ├── templates │ │ ├── base.html │ │ └── groups │ │ ├── detail.html │ │ ├── index_page.html │ │ ├── list.html │ │ └── regist.html │ ├── urls.py │ └── views.py
なので、プロジェクト配下にtemplatesフォルダを作成し、 「base.html」を共通化し、さらに各アプリケーションごとのフォルダを作ってオリジナリティーのある画面を作っていきます。加えて、setting.pyの中も書き換えます。このプロジェクト配下のtemplatesフォルダを見てくれよーって設定にします。
.
├── README.md
├── accounts
│ ├── __init__.py
│ ├── admin.py
│ ├── apps.py
│ ├── migrations
│ │ └── __init__.py
│ ├── models.py
│ ├── tests.py
│ ├── urls.py
│ └── views.py
├── config
│ └── 略
├── db.sqlite3
├── groups
│ ├── __init__.py
│ ├── admin.py
│ ├── apps.py
│ ├── forms.py
│ ├── migrations
│ │ ├── 0001_initial.py
│ ├── models.py
│ ├── tests.py
│ ├── urls.py
│ └── views.py
└── templates
├── base.html
├── groups
│ ├── detail.html
│ ├── index_page.html
│ ├── list.html
│ └── regist.html
└── registration
└── login.html
setting.pyのTEMPLATESの項を探してください。
TEMPLATES = [
{
'BACKEND': 'django.template.backends.django.DjangoTemplates',
# 'DIRS': [], ここを
'DIRS': [os.path.join(BASE_DIR, 'templates')], # こうする
'APP_DIRS': True,
'OPTIONS': {
'context_processors': [
'django.template.context_processors.debug',
'django.template.context_processors.request',
'django.contrib.auth.context_processors.auth',
'django.contrib.messages.context_processors.messages',
],
},
},
]
以上で、Djangoのtemplatesを一つにまとめることができます。 お疲れ様でした。
各アプリケーションの配下にtemplatesフォルダを作成するのにも利点があります。 対象のアプリケーションを別のプロジェクトで使いたいときです。 ときに意識せず、そのままコピーしていけます。
GitHubはブラウザからだとフォルダーを作成できなくて不便だなぁと思っていたのですが、作成する方法があったので書いておきます。しかし、フォルダだけを作成することはできないようで、ファイルも作ることが前提のようです。
Create New Fileをクリックします
ファイル名の入力欄に…
作りたいフォルダの名前を入力して…
「/」スラッシュを押すとフォルダができます
あとは、ファイルを作成して、コミットすれば完成
「folder」フォルダの下に、「file」ファイルができました 分かりづらい名前にしてしまったことは反省している
「file」ファイルを削除したら、「folder」フォルダも削除されたので、フォルダだけ作成するのは難しいのかなって思っています
分かりづらい名前にしてしまったことは反省している
ササッとリポジトリを作って試したいときにどうぞ。
社内でもくもく会の第三回・第四回を開催してみました。
今まではハンズオンのような内容をやっていたのですが、 今回は完全に自分のやりたい課題を持ってきて「もくもく」しました。
自分はKaggleをやりました。
Kaggleとは
第四回では「リクルートレストラン客数予想チャレンジ 」
をやってみました。
完全に整備されているデータばかりではない世の中なので、欠損しているデータもあります。 その欠損している部分に対して、何を当てはめるかが結構重要なようです。 チュートリアルの中では、全データの中央値や一番出現頻度の高いものを欠損値に当てはめていましたが、結構センスを問われるところになるんじゃないかなって思いました。 各値の出現回数を取得して、全体の個数から導き出される出現率をもとに、欠損値へ当てはめてみるとか…いろいろやり方はありそうです。
簡単なところだと性別ですよね。
["Sex"][test["Sex"] == "male"] = 0 test["Sex"][test["Sex"] == "female"] = 1
maleとfemaleを0と1に置き換えてます。文字列よりもゼロイチのほうが絶対に扱いやすい！ 前の「データの前処理」と同じですけど、こういう細かいところも重要だと思いました。
一通り、チュートリアル通りに実行したあと、 目的変数と説明変数を足したり引いたりしたらスコアが上にも下にも大きく変わりました。 実際のデータ分析でも自分の思ったとおりにやっていい方向に行くことはまず無いとおもったので、 試行錯誤しまくるってところですかね。 実際のコンペティションだと提出回数もランキング付で重要になりそうなので、難しいですが…
たくさん使うと慣れてきました。
今回は社内もくもく会でKaggleのタイタニックとリクルートレストラン客数予想チャレンジを使ってみました。
ちょこちょことコードを書く機会が増えて嬉しいです。 頑張ります。
自分は頭が硬いなぁと思ったのですが...
SQLでdate型の列にnullが入っているものがあり、nullも含めて全件出したいなぁと思っていたんですが、
AND date BETWEEN '1900/01/01' AND '2999/12/31'
これでは、nullが検索結果に出てきません。
そのnullも含めて出したかったときは
AND NVL(?,1900/01/01') BETWEEN NVL(?,'1900/01/01') AND NVL(?,'2999/12/31')
と、nullの値を別のものに置き換えれば検索できました。
簡単なもので躓いたので、ブログに書いて供養
「検索結果をどう出すか」って言うことにおいては、 「検索結果に出てこないもの」を「どうやって検索条件内に入れるか」っていう考え方が一つ増えたいい機会でした。
先日、brew cleanupコマンドをすることで8GB近くも容量が空く事件がありました...
その後はこまめに
brew update brew upgrade brew cleanup
とやっていたのですが、
brew upgradeの中にbrew updateが含まれていることを知り、さらにはbrew upgradeコマンドのサブコマンド--cleanupがあることまで知りました。
つまり
brew update brew upgrade brew cleanup
の3つが
brew upgrade --cleanup
で、できてしまうんですね。最高です。
今日もやります。容量が無いので。もう意味がないことを知りながら。
ブログでのアウトプット習慣が染み付いてきてコード書きたい！！的な欲望が出てきました。そこで、目に見える成果としてWEBアプリケーションを作ってみることにしました。まずは公開する手順をさっさと身につけようと思い、Djangoをherokuにあげてみることにしました。これはその手順です。
ほぼこちらの記事通りにやりましたが、バージョンが違ったり、ところどころ躓いたところがあったので、 自分なりにアレンジしているところがあります。
仮想環境に入ります。 まずは、仮想環境を作成しDjangoをインストールする。
YOUR PC:workspace user$mkdir django_heroku YOUR PC:workspace user$python -m venv django_heroku/ YOUR PC:workspace user$cd django_heroku/ YOUR PC:django_heroku user$ source bin/activate (django_heroku) YOUR PC:django_heroku user$ pip install django (django_heroku) YOUR PC:django_heroku user$ pip install django-toolbelt
プロジェクトを作成し、マイグレーションをする
(django_heroku) YOUR PC:django_heroku user$ django-admin.py startproject config ./ (django_heroku) YOUR PC:django_heroku user$ python manage.py migrate
サーバを起動する
(django_heroku) YOUR PC:django_heroku user$ python manage.py runserver Performing system checks... System check identified no issues (0 silenced). June 16, 2018 - 07:19:32 Django version 2.0.6, using settings 'config.settings' Starting development server at http://127.0.0.1:8000/ Quit the server with CONTROL-C.
ブラウザを立ち上げて
http://127.0.0.1:8000/にアクセスし、下の画面が出れば成功。（versionによっては違う画面が出ることがあるかも知れません
vim .gitignoreでファイルを作成する
*.pyc staticfiles db.sqlite3
gitにコミットとプッシュする
git init git add . git commit -m "create Django app"
foremanが最新バージョンだと動かないらしいので、0.61をインストールする
gem install foreman -v 0.61
Procfileファイルとrequirements.txtファイルを作成する
echo "web: gunicorn config.wsgi --log-file -" > Procfile pip freeze > requirements.txt
vim config/settings.pyでsettings.pyの末尾に下記の内容を追加する
# Parse database configuration from $DATABASE_URL
import dj_database_url
db_from_env = dj_database_url.config()
DATABASES['default'].update(db_from_env)
# Honor the 'X-Forwarded-Proto' header for request.is_secure()
SECURE_PROXY_SSL_HEADER = ('HTTP_X_FORWARDED_PROTO', 'https')
# Allow all host headers
ALLOWED_HOSTS = ['*']
# Static asset configuration
import os
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
STATIC_ROOT = 'staticfiles'
STATIC_URL = '/static/'
STATICFILES_DIRS = (
os.path.join(BASE_DIR, 'static'),
)
vim config/wsgi.pyでwsgi.pyの内容を書き換える
"""
WSGI config for config project.
It exposes the WSGI callable as a module-level variable named ``application``.
For more information on this file, see
https://docs.djangoproject.com/en/2.0/howto/deployment/wsgi/
"""
import os
from dj_static import Cling #文を新しく記述する
from django.core.wsgi import get_wsgi_application
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "config.settings")
application = Cling(get_wsgi_application()) #文を変更する
Heroku Command Line Interface (CLI) をインストールしていない場合、インストールする
brew install heroku/brew/heroku
Herokuにログインしていない場合、ログインをする ユーザ名とパスワードは、Herokuアカウントを作成したときのもの
heroku login
Herokuアプリを作る
heroku create
Herokuの環境変数を設定する
heroku config:set DISABLE_COLLECTSTATIC=1
Heroku内でマイグレーションをする
heroku run python manage.py migrate
Herokuでアプリケーションが動いてるかを確認する
heroku open
これから開発頑張っていくぞ
pythonコマンドで起動させて
>>>import django >>>django.get_version() '2.0.6'
3月から5月末まで id:kakku22 カカカカック さんに技術ブログのメンターをお願いしていました。 2018年になって「アウトプットをする年にする」と自分の中で決めてから、週に一回ブログを書くことを目標として動いていました。しかし、一人でやっているうちに、「記事の質が低いのではないか」「構成が良くないんじゃないか」とか不安になることが多くなっていったんですね。そんなときに、カカカカック さんが「ブログメンティーを募集します」と呟いていたので、お願いすることにしてみました。
卒業するときに知ったのですが、カカカカック さんがブログメンターを始めてから3ヶ月続いた人は自分が初めてなんだそうです！長いことがいいことか悪いことかわかりませんが、初って嬉しいですね。笑 ここでは、良かったことや思い出に残っていることを書いてみようと思います。未来の自分自身のためにと、これからメンターをお願いしようかと思っている人たちのために、なにか参考になれば幸いです。
まずは自分が興味ある技術について質疑応答がありました。今、やり取りさせていただいたDMを読み返しながらかいていますが、自分はこんなことをやりたいと答えていたのかと面白くなります。 自分はこのようなものをあげていました。
この内で書いたのは、2.3つぐらいですね。 書き続けているうちに、「こんなネタを書いてみたい！」といろいろ思うようになるので、最初は少なくても大丈夫だと思います。
記事の質に関するやり取りの最中でしたが、
基本的には「過去の自分」もしくは「学んだことを忘れた未来の自分」に教える目的でブログを書けば，おのずと質は上がります
とおっしゃっていました。
自分がブログを書き始めた理由は、すぐ忘れる自分のためと、自分が困ったときに助けられたインターネットに貢献して、別の誰かの助けとなりたかったからです。この認識・感覚があっていて安心しました。
これは自分が持ち合わせていなかった価値観です。読んで助かって「ありがとう」と思うことはもちろんたくさんありましたが、シェアをするっていう行動を起こしたことまではありませんでしたので学びがありました。また、同じメンティーの方とも、SNS上で仲良くなり嬉しかったです。自然とお互いがRTやいいね！をして、励みにもなりました。
これでもかってぐらい、ポジティブフィードバックをいただけます。笑 GoogleCloudPlatformのCloud Vision APIに関する記事を1つ上げたあとにたくさん褒め言葉をいただけましたし、その後に10記事分になるんじゃないかってぐらい、横と縦に話題を広げてくれました。技術探究心がすごいですね…自分もこれからがんばります。
Open Graph Protocol（OGP）なんてものは自分は全く知りませんでした。TwitterやFBなどのSNSにシェアしたときにサムネイルが出るアレですね。Wordpressを使っていたときはOGPの設定がプラグインを使って手動だったので、設定がうまくいってないと出ませんでした。そのあたりの質問とか調査にも協力してくれました。
3ヶ月目に入るときに、自分の課題点を聞いたらちゃんと教えてくれました。いつも褒めてくださって嬉しいのですが、ちょっと厳しい視点も欲しくなったときに包み隠さず答えてくださったのはすごく嬉しかったです。なので、自分のだめなところ改善したほうがいいところはガンガン聞いてみましょう！
僕は記事のPV数が弱いことが課題でした。もちろん、バズやPV数を稼ぐことが目的ではないですが、多くの人に届けることは必要です。よく書く記事の傾向としてIoTなどを扱っていたので少しニッチな分野だったかなと思います。Webアプリやフロント側、Python、Rubyなど流行ってるプログラミング言語などに挑戦して扱っていけばよかったかなと思います。
自分が興味ある分野に関することを提供していただけます。自分はJavaScriptを業務で扱っていたので、Learn to code - for free | CodecademyのReactの記事を書いてみることを提案してもらいました。実際にやってみたところ非常に面白く、ブログの記事もスラスラと書けました。自分の興味ある分野を広げていただいて感謝しかありません。
好き勝手書いてきましたが、本当に楽しく過ごせた3ヶ月間でした。現在2700文字ぐらいですが、楽しく過ごせていなかったらここまでかけないと思います。社外にメンターがいるというのも非常に貴重な経験です。自分にサポートするメンバーが出てきたらどう接するかの学びもありました。 ブログでのアウトプットを通して、社内での信頼残高も上がりました（たぶん）。社内・社外問わずイベントに参加しインプットする姿勢、さらにはそれをアウトプットする姿勢が培われたのも自分の中で大きいです。感謝してもしきれません。これからも日々努力して成長していきたいと思います。 本当にありがとうございました。
5月の活動を振り返ってみます。
1月はこちら yoshitaku-jp.hatenablog.com
2月はこっち yoshitaku-jp.hatenablog.com
3月はこっち yoshitaku-jp.hatenablog.com
4月はこちらです yoshitaku-jp.hatenablog.com
ありがとうございます。 誰かの役に立てたなら嬉しい。
全然やれませんでした。 自分のコンフォートゾーンの少し外ぐらいのことにチャレンジてみようと思います。 なにか案があったら教えて欲しい…
