この記事の目的 EDA(探索的データ解析)を行う際PlotlyExpressが「どんなケースで使用することができるのか？」について私なりに検証してみました。 PlotlyExpressとは？ plotlyのラッパーになります。 plotlyとはオープンソースでインタラクティブなデータ可…

なぜ受験したのか 私が受験した理由は、 仕事で持っていると社内の人やお客さんが私について理解しやすいのではないかって思った 大学院時代の知識を振り返ることや、体系的にしっかり勉強し直しておこうかなと 年間1つは何か資格のような業務外での目標を立…

import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn import model_selection, preprocessing, linear_model import sklearn sklearn.__version__ #dataset load df=pd.read_csv('https://archive.ics.uci.edu/ml/machine…

時系列データを用いて教師あり学習を行うための学習データの作成のための考え方 多変量の時系列データを用いて、教師あり学習によって、ある目的変数のt分後の値の推測したい場合の学習データの作成方法をまとめたいと思います。 この一般的な方法としては、…

https://qiita.com/tizuo/items/b9af70e8cdc7fb69397f https://machinelearningmastery.com/multivariate-time-series-forecasting-lstms-keras/

このサイトがとても勉強になった。 https://machinelearningmastery.com/time-series-forecasting-methods-in-python-cheat-sheet/

このサイトがとても勉強になった。 https://machinelearningmastery.com/time-series-forecasting-methods-in-python-cheat-sheet/

一般的には標準化を使用する。 正規化の場合、外れ値が大きく影響するためである。 ※画像データの場合は学習コストを下げるため、[0,1]の範囲に収まるよう255.0で割ることで正規化するのが一般的 正規化 使用ケース: - 画像（RGBの強さ[0,255]） - sigmoid, …

http://jotkn.ciao.jp/wp/2017/08/23/post-92/

jotkn.ciao.jp

とても分析とか機械学習モデルをしていく上で参考になるフォルダ構成があったので共有しておきます。 https://qiita.com/Hironsan/items/4479bdb13458249347a1 https://www.st-hakky-blog.com/entry/2017/03/24/140738

pandas_profilingを使うことで、まず手始めに１カラムごとにどんなデータなのかを見たりすることが必要なくなる。 あとは この記事を見てください。ｗ dev2prod.site

今回は前回紹介したData Augmentationの戦略を強化学習により探索するAuto Augmentの紹介を行う． 背景および目的 Data Augmentationは，問題（データセット）ごとに最適な適用方法の組み合わせ（解）が異なることが知られている． この問題を強化学習を用い…

Data Augmentationとは 一般的には，Data Augmentation（以下，DA）とは機械学習（Deep Learningなど）で性能を向上させるための技術のひとつである． 簡単な概要としては，学習用のデータに対し人工的なノイズなどを付加した画像を生成し，生成した画像を元…

sortedでkeyにlambda使った物をよく見かけるのでまとめておきます sorted((list or dict) key=lambda x: x[0]) こんなのです で使い方としては sorted(【リストor辞書】, key=lambda x: 【keyにしたい要素】) こんな感じです 例としては dictionary = [['な'…

0から1までをnum等分にしたデータを生成したい場合に用いる ```python linspace(start,stop,num=50,endpoint=True,retstop=False,dtype=None) ```例）ある物に適用する確率を11個分，0から1までの値で生成する場合 ```python import numpy as np ​ prob = np…

多次元配列の各要素のある列の値を参照し，sortを行う場合の方法をまとる． from operator import itemgetter list1 = [[1,5,3], [6,4,8], [9,11,2]] print('ソート前：{}'.format(list1)) list1.sort(key=itemgetter(0)) print('ソート後(0番目の要素)：{}'…

pythonのnumpyで最小二乗法で線形近似し傾き，切片，回帰式を取得したいと思います． ```python # -*- coding: utf-8 -*-import numpy as npimport matplotlib.pyplot as plt def main(): X = [1,2,3,4,5] Y = [1.1, 2.1, 2.8, 4.3, 5.1] A = np.array([X,np…

理系の論文で多用される Times New Roman ですが(以下参照) www.panoramic-view.info matplotlibで使うための方法をまとめておきます． plt.rcParams['font.family'] = 'Times New Roman' 以上です． もし，ubuntu等で findfont: Font family ['Times New Ro…

前提 まず前提として言語はpythonでpandasを使用しています． データのダウンロード これは参加するコンペのdatasetダウンロードするだけです． #ダウンロード可能なコンペ一覧 !kaggle competitions list #ダウンロード !kaggle competitions download -c t…

使用方法 import tensorflow as tf from keras.backend.tensorflow_backend import set_session config = tf.ConfigProto( gpu_options=tf.GPUOptions( visible_device_list="2", # specify GPU number allow_growth=True ) ) set_session(tf.Session(config…

pythonでの複素数の取り扱い 研究の中でpythonで複素数を使うことが多々あるためまとめておきます． pythonでは複素数は簡単に取り扱うことが可能である． 虚数単位をjで表す．（Not i) c = 2 + 5j 以上です 複素数の極座標変換 cmath.polar()を使うと(絶対…

Google Colabを起動 自分のGoogleアカウントからGoogle Colabを起動して開いて下さい Google Drive＞新規＞その他＞Colaboratory kaggle APIのインストール !pip install kaggle Kaggle API Keyをダウンロードする Kaggleを開いて自分のアカウントページを開…

squeeze()は，配列の中に次元数1があるならばその次元を削除する． 例えば (28, 28, 1)の場合は(28, 28)となる． 画像処理で(28, 28, 1)のチャネル部分を削減してnumpy.imshow() などの関数を使って，グレースケール画像を表示しようした際に便利

kerasで中間層の出力を取得 kerasでCNNの中間層を取得する方法は２種類存在する． ケース１ from keras.models import Model intermediante_layer_model = Model(inputs=model.input, outputs=model.get_layer("fc2").output) y = intermediante_layer_model…

目的：ラジコンの自動運転をすること 使ったもの ハード ラジコン:レゴ® マインドストーム® EV3 ラズベリーパイ３ カメラ：LOGICOOL C270 ソフト 言語：python DLライブラリ：Keras(on Tensorflow) その他：Opencv,numpy,paho-mqtt... システムの概要 今回用…

目的：総計１万円でラジコンの自動運転化をすること 使ったもの ハード ラジコン:軽トラRC（Amazon CAPTCHA） ラズベリーパイ３ モータードライバー：L298n カメラ：LOGICOOL C270 ソフト 言語：python DLライブラリ：Keras(on Tensorflow) Opencv,numpy,pah…

L298Nとは ２つのモータを独立して駆動でき、正転逆転制御などに最適です。 制御は各モーターに対して、イネーブル(回転する／しない)と回転方向の指定を２線でおこないます。 マイコンでの制御のほか、スイッチなどによってマニュアル制御も簡単におこなえ…

Intersection-over-Union(IoU)とは 物体認識の分野で領域の一致具合を評価する手法である． predicted bound box とground truth boxを合わせた領域bが, 目的となる領域g(ground truth box)がどれだけ含まれているかとなる.IoU(b,g)=area(b∩g)/area(b∪g) 参考…

what is request requestsとはサードパーティ製のhttp通信を行うためのライブラリ これを使用すると、webサイトのデータのダウンロードやrestapiの使用が可能 install cmd pip install requests example ヤフーのニュース一覧ページのhtmlを取得 import requ…