categorical_crossentropy: one-hot encodings
[1,0,0]
[0,1,0]
[0,0,1]
sparse_categorical_crossentropy: integer encodings
1
2
3
#セル実行時間 %%time #日本語フォント（matplotlib で inline表示） #Windows10 fp = FontProperties(fname='C:\WINDOWS\Fonts\HGRGE.TTC', size=11) #Linux #https://launchpad.net/takao-fonts fp = FontProperties(fname='./fonts/TakaoPGothic.ttf', size=11)
#tree表示
#Linuxでは sudo apt-get install tree
#dataフォルダ以下をツリー表示
!tree data
#ファイルリスト取得1
import glob
path = './data/**/*.csv'
files = glob.glob(path)
csv_list = pd.Series(files)
#取得したリストをもとに、csv結合
df = pd.DataFrame()
csv_data = []
for csv in csv_list:
df_temp=pd.read_csv(csv,
usecols=[0,5,10],
index_col=None,
header=0)
csv_data.append(df_temp)
df= pd.concat(csv_data)
df=df.reset_index(drop=True)
df
#ファイルリスト取得2
import os
dir = os.path.join('111','222','333')
files = os.listdir(dir)
#データフレームに格納されているパスを使って、
#1行毎にデータコピー
import os
import shutil
for column_name, itm in files.iterrows():
#文字列型でjoin
dst = os.path.join(itm[1],itm[0],str(itm[2]))
src = itm[3]
if not os.path.exists(dst):
os.makedirs(dst) #sub_foldersまで作る
shutil.copy(src,dst)
20210218追記
import os
#Pillow
from PIL import Image, ImageOps
#変換後の画像データ保存先作成
os.makedirs('./images_converted/', exist_ok=True)
for path in os.listdir('./images'):
img = Image.open('./images/'+ path)
img = img.convert('RGB') #RGBに変換
img = img.convert('L') #グレースケールに変換
img = ImageOps.invert(img) #ネガポジ変換
img_resize = img.resize((25,25)) #サイズ変更
img_resize.save('./images_converted/'+ path)
#dataframe 内のデータ型確認
df.dtypes
#型変換
df=df.astype({'111': np.int32,
'222':np.float32,
'333':np.int8,})
import cudf
# convert numpy array to cuDF dataframe
def np2cudf(df):
df = pd.DataFrame({'fea%d'%i:df[:,i] for i in range(df.shape[1])})
pdf = cudf.DataFrame()
for c,column in enumerate(df):
pdf[str(c)] = df[column]
return pdf
img_cudf = np2cudf(img_array)
print("input:")
print(img_cudf)
import pandas as pd
#先頭5行表示
df.head()
#基本統計量表示
df.describe()
#ヒストグラム表示
#全体のヒストグラム
df.hist()
#A列のヒストグラム。ビン数指定。
df['A'].hist(bins=50)
#個数カウント→データフレーム化
array=df['A'].value_counts()
df=pd.DataFrame(array.describe())
#ピボットテーブル
df_pivot = df.pivot_table(values = ['A'], #値
index = ['B'], #行
columns = ['C'], #列・カラム
aggfunc = 'max', #集計方法
fill_value = 0,
margins = True)
20200215追記修正import pandas as pd
#csv読み込み
df=pd.read_csv('./aaa.csv',
index_col=[0],
usecols=[0, 1,3,4],
header=None,
dtype={'A': 'uint32', 'date':'datetime64'},
encoding='cp932')
#csv書き込み
df.to_csv('./aaa.csv',encoding='cp932')
#EXCEL読み込み
df=pd.read_excel('./aaa.xlsx',
sheet_name=0,
skiprows=[0,1],
header=2,
usecols=[0, ,1, 2],
index_col=0)
#EXCEL書き込み
excel_writer = pd.ExcelWriter('./aaa.xlsx')
df1.to_excel(excel_writer, '111',index=False)
df2.to_excel(excel_writer, '222')
excel_writer.save()
#hdf書き込み
df1.to_hdf('./aaa.h5', key='b', mode='w')
df2.to_hdf('./aaa.h5', key='b')
df3.to_hdf('./aaa.h5', key='c')
#hdf読み込み・・・key毎に読み込み、df化して処理
import h5py
f = h5py.File('./aaa.h5', 'r')
list=list(f.keys())
for i,keyname in enumerate(list):
df=pd.read_hdf('./aaa.h5', key=keyname)
20200215追記修正