Entries from 2019-01-01 to 1 year

PlotlyExpressどの程度使えるものなのか?私なりに検証してみた。

この記事の目的 EDA(探索的データ解析)を行う際PlotlyExpressが「どんなケースで使用することができるのか?」について私なりに検証してみました。 PlotlyExpressとは? plotlyのラッパーになります。 plotlyとはオープンソースでインタラクティブなデータ可…

G検定を受けてみて(勉強法,攻略法など)

なぜ受験したのか 私が受験した理由は、 仕事で持っていると社内の人やお客さんが私について理解しやすいのではないかって思った 大学院時代の知識を振り返ることや、体系的にしっかり勉強し直しておこうかなと 年間1つは何か資格のような業務外での目標を立…

リッジ、ラッソ、SGD回帰をsklearnでやってみた

import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn import model_selection, preprocessing, linear_model import sklearn sklearn.__version__ #dataset load df=pd.read_csv('https://archive.ics.uci.edu/ml/machine…

pythonで、時系列データを用いて教師あり学習を行うための学習データ作成方法

時系列データを用いて教師あり学習を行うための学習データの作成のための考え方 多変量の時系列データを用いて、教師あり学習によって、ある目的変数のt分後の値の推測したい場合の学習データの作成方法をまとめたいと思います。 この一般的な方法としては、…

LSTMを用いた多変量時系列データの推測参考サイト

https://qiita.com/tizuo/items/b9af70e8cdc7fb69397f https://machinelearningmastery.com/multivariate-time-series-forecasting-lstms-keras/

時系列データ分析手法のチートシート

このサイトがとても勉強になった。 https://machinelearningmastery.com/time-series-forecasting-methods-in-python-cheat-sheet/

時系列データ分析手法のチートシート

このサイトがとても勉強になった。 https://machinelearningmastery.com/time-series-forecasting-methods-in-python-cheat-sheet/

正規化と標準化の使い分ける一般的な考え方

一般的には標準化を使用する。 正規化の場合、外れ値が大きく影響するためである。 ※画像データの場合は学習コストを下げるため、[0,1]の範囲に収まるよう255.0で割ることで正規化するのが一般的 正規化 使用ケース: - 画像(RGBの強さ[0,255]) - sigmoid, …

数値的データの前処理手法のまとめ(仮)

http://jotkn.ciao.jp/wp/2017/08/23/post-92/

カテゴリカルEncoding手法のまとめ(仮)

jotkn.ciao.jp

機械学習する上でのフォルダ構成

とても分析とか機械学習モデルをしていく上で参考になるフォルダ構成があったので共有しておきます。 https://qiita.com/Hironsan/items/4479bdb13458249347a1 https://www.st-hakky-blog.com/entry/2017/03/24/140738

データの全体の概要をpandas_profilingを使うとものすごく便利な件

pandas_profilingを使うことで、まず手始めに1カラムごとにどんなデータなのかを見たりすることが必要なくなる。 あとは この記事を見てください。w dev2prod.site

機械学習におけるData Augmentationのまとめ【その2】

今回は前回紹介したData Augmentationの戦略を強化学習により探索するAuto Augmentの紹介を行う. 背景および目的 Data Augmentationは,問題(データセット)ごとに最適な適用方法の組み合わせ(解)が異なることが知られている. この問題を強化学習を用い…

機械学習におけるData Augmentationのまとめ【その1】

Data Augmentationとは 一般的には,Data Augmentation(以下,DA)とは機械学習(Deep Learningなど)で性能を向上させるための技術のひとつである. 簡単な概要としては,学習用のデータに対し人工的なノイズなどを付加した画像を生成し,生成した画像を元…