python

PlotlyExpressどの程度使えるものなのか?私なりに検証してみた。

この記事の目的 EDA(探索的データ解析)を行う際PlotlyExpressが「どんなケースで使用することができるのか?」について私なりに検証してみました。 PlotlyExpressとは? plotlyのラッパーになります。 plotlyとはオープンソースでインタラクティブなデータ可…

リッジ、ラッソ、SGD回帰をsklearnでやってみた

import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn import model_selection, preprocessing, linear_model import sklearn sklearn.__version__ #dataset load df=pd.read_csv('https://archive.ics.uci.edu/ml/machine…

pythonで、時系列データを用いて教師あり学習を行うための学習データ作成方法

時系列データを用いて教師あり学習を行うための学習データの作成のための考え方 多変量の時系列データを用いて、教師あり学習によって、ある目的変数のt分後の値の推測したい場合の学習データの作成方法をまとめたいと思います。 この一般的な方法としては、…

時系列データ分析手法のチートシート

このサイトがとても勉強になった。 https://machinelearningmastery.com/time-series-forecasting-methods-in-python-cheat-sheet/

正規化と標準化の使い分ける一般的な考え方

一般的には標準化を使用する。 正規化の場合、外れ値が大きく影響するためである。 ※画像データの場合は学習コストを下げるため、[0,1]の範囲に収まるよう255.0で割ることで正規化するのが一般的 正規化 使用ケース: - 画像(RGBの強さ[0,255]) - sigmoid, …

機械学習におけるData Augmentationのまとめ【その2】

今回は前回紹介したData Augmentationの戦略を強化学習により探索するAuto Augmentの紹介を行う. 背景および目的 Data Augmentationは,問題(データセット)ごとに最適な適用方法の組み合わせ(解)が異なることが知られている. この問題を強化学習を用い…

機械学習におけるData Augmentationのまとめ【その1】

Data Augmentationとは 一般的には,Data Augmentation(以下,DA)とは機械学習(Deep Learningなど)で性能を向上させるための技術のひとつである. 簡単な概要としては,学習用のデータに対し人工的なノイズなどを付加した画像を生成し,生成した画像を元…

sortedでkeyにlambda使ったやり方

sortedでkeyにlambda使った物をよく見かけるのでまとめておきます sorted((list or dict) key=lambda x: x[0]) こんなのです で使い方としては sorted(【リストor辞書】, key=lambda x: 【keyにしたい要素】) こんな感じです 例としては dictionary = [['な'…

python 多次元配列の各要素の特定の列の値を基準にsortする

多次元配列の各要素のある列の値を参照し,sortを行う場合の方法をまとる. from operator import itemgetter list1 = [[1,5,3], [6,4,8], [9,11,2]] print('ソート前:{}'.format(list1)) list1.sort(key=itemgetter(0)) print('ソート後(0番目の要素):{}'…

最小二乗法で線形近似(python,numpy)

pythonのnumpyで最小二乗法で線形近似し傾き,切片,回帰式を取得したいと思います. ```python # -*- coding: utf-8 -*-import numpy as npimport matplotlib.pyplot as plt def main(): X = [1,2,3,4,5] Y = [1.1, 2.1, 2.8, 4.3, 5.1] A = np.array([X,np…

pythonでの複素数の取り扱いと極座標変換し極座標グラフへプロットしてみた

pythonでの複素数の取り扱い 研究の中でpythonで複素数を使うことが多々あるためまとめておきます. pythonでは複素数は簡単に取り扱うことが可能である. 虚数単位をjで表す.(Not i) c = 2 + 5j 以上です 複素数の極座標変換 cmath.polar()を使うと(絶対…

Google ColabでKaggle! 【STEP1: Kaggle APIの設定とか】

Google Colabを起動 自分のGoogleアカウントからGoogle Colabを起動して開いて下さい Google Drive>新規>その他>Colaboratory kaggle APIのインストール !pip install kaggle Kaggle API Keyをダウンロードする Kaggleを開いて自分のアカウントページを開…

How to use numpy.squeeze() squeeze()の使い方

squeeze()は,配列の中に次元数1があるならばその次元を削除する. 例えば (28, 28, 1)の場合は(28, 28)となる. 画像処理で(28, 28, 1)のチャネル部分を削減してnumpy.imshow() などの関数を使って,グレースケール画像を表示しようした際に便利

KerasでCNNの中間層の可視化(特徴マップ)や重みの可視化まとめ

kerasで中間層の出力を取得 kerasでCNNの中間層を取得する方法は2種類存在する. ケース1 from keras.models import Model intermediante_layer_model = Model(inputs=model.input, outputs=model.get_layer("fc2").output) y = intermediante_layer_model…

激安ラジコン(RC)の自動運転化計画※RCをEV3に変更しました

目的:ラジコンの自動運転をすること 使ったもの ハード ラジコン:レゴ® マインドストーム® EV3 ラズベリーパイ3 カメラ:LOGICOOL C270 ソフト 言語:python DLライブラリ:Keras(on Tensorflow) その他:Opencv,numpy,paho-mqtt... システムの概要 今回用…

python環境の構築方法

python等でプロジェクトごとに環境構築する prenvを用いた環境構築 prenv installsudo git clone git://github.com/yyuu/pyenv.git ./pyenvpathの設定 export PYENV_ROOT=$HOME/.pyenv export PATH=$PYENV_ROOT/bin:$PATH eval "$(pyenv init -)"pythonバー…

numpy スライス

pythonのリストやnumpy配列でのスライスは i:j:n の形式で行います。 ここでi は開始インデックス、 j は終了インデックスを表しており、i以上でjより小さいインデックス(i <= n < j)でスライスされます。次に n ですが、これはステップ数を表しますが、ス…

python 数値計算 平方根 

# -*- coding: utf-8 -*- import math def main(): x = 5 y = math.sqrt(x) print(y) if __name__ == "__main__": main()

python数値計算 5のべき乗を計算したい場合

pythonでべき乗 5のべき乗を計算したい場合 # -*- coding: utf-8 -*- def main(): x = 5 y = pow(x,2) print(y) if __name__ == "__main__": main()

python 数値計算 絶対値|a|

pythonで絶対値を計算したい場合 abs(またはabsolute等)を使う # -*- coding: utf-8 -*- def main(): a = -10 a = abs(a) print(a) if __name__ == "__main__": main()