猫になりたい

コンサルのデータ分析屋、計量経済とか機械学習をやっています。pyてょnは3.7を使ってマスコレルウィンストングリーン。

初心者向け:Vue.jsで全ページ共通のOGPを設定する

Vue.jsで全ページ共通のOGPを設定する際に必要な最低限の情報をまとめました。

通勤時間から住む街を探すサービス「通勤圏サーチ」を公開しました

「職場の最寄りにXX分で着く駅を調べたい!」という方向けのサービス「通勤圏サーチ」を作りました。

Python: Intel MKL版numpyをanaconda有償化の影響を回避しながら手軽にインストールする

この記事ではAnaconda有償化の影響を回避しながらIntel MKL版のnumpyを簡単にインストールする方法を解説します。

python:tqdmのモダンなimport方法と便利な使い方

pythonでプログレスバーを表示するために使われているtqdmの、令和におけるモダンなimport方法、知っておくと便利な使い方、意外と知られていない発音方法を紹介します

機械学習:Pythonを使ってGoogle Speech-to-TextでCloud Storage上の音声ファイルをテキストに変換する

Google Cloud Platform (GCP)のGoogle Speech-to-Text(Speech-to-Text)の使い方についてまとめました。 今回は特に、Pythonを使ってSpeech-to-TextでGoogle Cloud Storage上の音声ファイルをテキストに変換する方法についてまとめています。 既存のネット…

Deep Learning:ResNetの解説とPyTorchによる実装

前回の記事(VGG16をkerasで実装した)の続きです。 今回はResNetについてまとめた上でpytorchを用いて実装します。 ResNetとは 性能 新規性 ResNetのアイディア Bottleneck Architectureによる更なる深化 Shortcut connectionの実装方法 実装と評価 原論文…

python:Jupyterのtimeitマジックコマンドの使い方と中身

Jupyter notebookを使ってコードの実行時間を測るとき、多くの人は%timeコマンドで実行時間を計測し、さらに何度か時間して平均的な実行時間を測定するのに%timeitマジックコマンドを使っていると思います(少なくとも私はそうです)。 しかし%timeitの出力…

Deep Learning:pytorchとkerasの速度比較

2019-03-27:実験に使ったkaggleのkernelへのリンクを追加 最近流行っているpytorchとkeras(tensorflow backend)だとpytorchの方が計算が倍早いという話を聞いたので試してみました。 結果、シンプルなモデルで比較した結果pytorhの方がkerasより3倍早いこと…

計量経済学:一般化モーメント法(GMM)のアイディアについてざっくりまとめた

[2023/02/16 昔書いたものがずっと非公開だったので供養のために公開しました] 昔から何度勉強してもわからなかったので、Hansen(1982)により提案された一般化モーメント法(Generalized method of moments: GMM)について、そのアイディアを自分なりにまと…

Ubuntu16.04とWindows7のデュアルブート環境を(UEFI環境で)作った

私はPCをデスクトップ一台(Win10)とラップトップ一台(Macbook air)の計二台持っています。普段はラップトップのMBAを使っているんですが家に帰ったらwinを使うかというと別にそういうわけではありません。せっかく自作したのにホコリを被ってはや二年・…

DeepLearning:VGG16をkerasで実装した

kerasのpre-traindedモデルにもあるVGG16をkerasで実装しました。 単純にVGG16を使うだけならpre-traindedモデルを使えばいいのですが、自分でネットワーク構造をいじりたいときに不便+実装の勉強がしたかったので実装してみました。 VGG16とは 実装と学習…

Ubuntu 16.04にnvidia-dockerでディープラーニング用の環境を作る2

編集履歴 2018/04/02 cudnnのverが間違っていて動かなかったのを修正 2018/04/01 cuda toolkitのver.を9.1→9.0に変更したのに合わせてコードを修正 前回の続きです。 今回は前回作ったnvidia-dockerを使って、tensorflowとkeras、anacondaの入ったコンテナを…

Ubuntu 16.04にnvidia-dockerでディープラーニング用の環境を作る1

2018/04/01:インストール手順のcuda toolkitのver.を9.1から9.0に変更 GCPでGPUの割当を行ったのでtensorflowを使うために、GPU環境をnvidia-dockerを使って作りました。 これを使うとcudnnのインストール等を行わなくていいので楽らしいです。 前半の今回…

Ubuntu(16.04.3)にJulia(0.6.2)をインストールする

日本語で調べるとmakeしている人が多かったけど、入れるだけならバイナリ入れたほうが早いよと言うメモ apt-getだと最新版が入らないので注意 # juliaをインストールしたいディレクトリで以下を実行する # juliaのバイナリをDLして展開 wget https://juliala…

最尤推定、MAP推定、ベイズ推定の違い

最尤推定、MAP推定、ベイズ推定の違いについてまとめました。 参考文献 導入 最尤推定(Maximum Likelihood Estimation) MAP推定(最大事後確率推定、Maximum a posteriori) ベイズ推定(Bayesian Estimation) 参考文献 今回の参考文献は以下の4つです 統計…

確率で出てくるセミコロン( ; )と縦線( | )の違い

スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); 以前から確率で出てくるセミコロン( ; )と縦線( | )の違い、例えばと、が判らずに悩んでいたので調べた。Cross Validatedの解答によると両者の意味合いに大きな違いはない、で良さそう…

応用情報技術者(平成29年度秋期試験)に合格したので勉強法をまとめた

平成29年度秋季の応用情報技術者試験に合格しました。 自分が勉強した時に、調べても参考になる勉強法が見つからなかったので、自分がやったことを誰かの参考になるようにデータとして纏めておきます。 試験結果と事前知識、そして受かった要因 試験結果 事…

pythonでベイジアンA/Bテスト(RCT)を行ってみた

最近はベイズが流行っているので自分もベイズを齧ろうと、冬休みにA/Bテストをpythonで行ってみました。 使用したのはpymc3です。事前知識は、信用区間は信頼区間と違って解釈がし易いよ!、A/Bテスト(RCT)ってこんなことをやってるよ!くらいを想定してい…

バイアス バリアンストレードオフ(Bias-Variance Tradeoff)とは

機械学習でバイアス−バリアンストレードオフ(Bias-Variance Tradeoff(Decomposition))の話をよく目にするので自分なりに整理をしました。 参考文献 Bias-Variance Tradeoffとは 導出 解釈 例 まとめ 参考文献 参考文献は以下の通りです。 Bias–variance tr…

Google datalabを使ってみる

最近Google datalabが流行っているらしいので、試しに環境を立ててデータをpandasに読み込んでみるところまでやってみました。 以下はその手順のメモです。 1. Datalabを使えるようにする まずは以下のクイックスタートを参考にDatalabのインスタンスを作成…

Dockerでデータ分析環境を整えた

2017/07/29 bzip2, vim, emacsが漏れていたのを追記 Docker内のUbuntu 16.04 LTSに分析環境を整えた時のメモ 最低限の環境だけ入れる docker run ubuntu しただけの環境で以下を実行する。 # 必要なパッケージとjulia, Rをインストール # iRkernelはひとまず…

Ubuntu 16.04 LTSにRをインストールする

UbuntuにRの最新版を入れるのにつまづいたのでまとめた。 やったこと Docker内のUbuntu 16.04 LTSにRをインストール 普通のUbuntuでも同じはず 概要 UbuntuにRを入れる時に apt-get install r-base とすると以下の様に古いバージョンがインストールされてし…

pythonで関数の実行時間を計測する

pyhtonで関数の実行時間を計測したい時今までは qiita.com に書いてある方法で実行したい部分を挟んであげていたんですが 毎回3行挿入するのは面倒だし読みにくいので任意の関数の実行時間を計測するモジュールを作成しました。 誰かが似たようなことやって…

Jupyterのmatplotlib inlineのメモリリークバグ

先日jupyterでmatplotlibに画像を吐き出させ続けていたところ1000枚ぐらい吐き出したあたりで突然jupyterのkernelが落ちました。嫌な予感がしてメモリの使用量を追ってみると処理を繰り返すに連れメモリの使用量が増加していき画像1000枚処理したあたりでメ…

How to read csv and excel file on pandas dataframe from website

Motivation Trying to use the Japanese Goverment statistics through an api I found it is useless due to the format and datasets which are provided. Instead I decided to read a csv and xls file directly from a website and load them on a pnad…

PythonでFizzBuzz

暇つぶしにPythonでFizzBuzzを作ってみた。 FizzBuzzとはWikipedia先生によるとアメリカの言葉遊びの一種で プレイヤーは円状に座る。最初のプレイヤーは「1」と数字を発言する。次のプレイヤーは直前のプレイヤーの次の数字を発言していく。ただし、3で割り…

pythonでweb上のcsv、エクセルファイルをpandasに読み込む

2016/06/19 エクセルファイル(xls形式)について更新 Motivation 先日政府の統計データを使おうと思ってapiを使ってみたんですが使いづらい上に欲しいデータセットがなさそうだったので諦めました。代わりにcsvを直接読み込めればapiも何も無いだろうと思った…