kaggleトライ -Home credit 4-

train_df = pd.read_csv("application_train.csv")
test_df = pd.read_csv("application_test.csv")
bur = pd.read_csv("bureau.csv")
bur_b = pd.read_csv("bureau_balance.csv")
cd_b = pd.read_csv("credit_card_balance.csv")
ins_p = pd.read_csv("installments_payments.csv")
pos_c = pd.read_csv("POS_CASH_balance.csv")
prv_a = pd.read_csv("previous_application.csv")

bur_com = pd.merge(bur, bur_b, on="SK_ID_BUREAU", how="left")

cd_b2 = cd_b.groupby(["SK_ID_CURR"], as_index=False).mean()
ins_p2 = ins_p.groupby(["SK_ID_CURR"], as_index=False).mean()
pos_c2 = pos_c.groupby(["SK_ID_CURR"], as_index=False).mean()
prv_a2 = prv_a.groupby(["SK_ID_CURR"], as_index=False).mean()

#SK_ID_PREVはIDで不要のため削除する
cd_b2 = cd_b2.drop("SK_ID_PREV", axis=1)
ins_p2 = ins_p2.drop("SK_ID_PREV", axis=1)
pos_c2 = pos_c2.drop("SK_ID_PREV", axis=1)
prv_a2 = prv_a2.drop("SK_ID_PREV", axis=1)

#カラム名が重複するため、どこのものかわかるように名称変更
cd_b3 = cd_b2.rename(columns={"MONTHS_BALANCE":"MONTHS_BALANCE_CRE", "SK_DPD" : "SK_DPD_CRE", "SK_DPD_DEF" : "SK_DPD_DEF_CRE"})

#結合するために
df = pd.merge(ins_p2, cd_b3, on="SK_ID_CURR", how="left")#重複なし. df.info()でx, yがあるかチェック
df2 = pd.merge(df, pos_c2, on="SK_ID_CURR", how="left")#MONTHS_BALANCE, SK_DPD_x, SK_DPD_DEF_x が重複
df3 = pd.merge(df2, prv_a2, on="SK_ID_CURR", how="left")

#カラム名が重複するため、どこのものかわかるように名称変更
#AMT_CREDIT_x, AMT_ANNUITY_x, AMT_GOODS_PRICE_x が重複しているので、結合前に名前を変更しておく
df4 = df3.rename(columns={"AMT_CREDIT":"AMT_CREDIT_PRE", "AMT_AN
NUITY" : "AMT_ANNUITY_PRE", "AMT_GOODS_PRICE" : "AMT_GOODS_PRICE_PRE"})

#train, testとdf4を結合
#rightにしたらtrainにおいて、TARGETでNAが発生。どうやら最初に書いた方を結合する方向らしい
train_df2 =  pd.merge(train_df, df4, on="SK_ID_CURR", how="left")
test_df2 =  pd.merge(test_df, df4, on="SK_ID_CURR", how="left")

#オブジェクトを含んでいるカラムを抽出。
train_df2.select_dtypes(include=object)

#どんな種類があるか確認
print(train_df2["NAME_CONTRACT_TYPE"].value_counts())
#Nullがあると変換できない為、Unknownとして置換
train_df2["NAME_CONTRACT_TYPE"] = train_df2["NAME_CONTRACT_TYPE"].fillna("Unknown")
##Cash loansを1, Revolvingを2、Unknownを0として置換
train_df2["NAME_CONTRACT_TYPE"] = train_df2["NAME_CONTRACT_TYPE"].map( {'Unknown': 0, 'Cash loans': 1, 'Revolving loans': 2} ).astype(int)

#変換したいカラムをリストに入れます。下記は全てではないので注意。
columns = ["NAME_TYPE_SUITE","NAME_INCOME_TYPE", "NAME_EDUCATION_TYPE","NAME_FAMILY_STATUS", "NAME_HOUSING_TYPE","OCCUPATION_TYPE", "WEEKDAY_APPR_PROCESS_START","ORGANIZATION_TYPE","FONDKAPREMONT_MODE","HOUSETYPE_MODE", "WALLSMATERIAL_MODE", "EMERGENCYSTATE_MODE"]

from sklearn.preprocessing import LabelEncoder

for c in columns:
    lbl = LabelEncoder() 
    lbl.fit(list(train_df2[c].values))
    train_df2[c] = lbl.transform(list(train_df2[c].values))

for c in columns:
    lbl = LabelEncoder() 
    lbl.fit(list(test_df2[c].values))
    test_df2[c] = lbl.transform(list(test_df2[c].values))    

#最終的にNullを確認
#とりあえずNulllを全て0で置換
train_df3 = train_df2.fillna(0)
test_df3 = test_df2.fillna(0)

from sklearn.ensemble import RandomForestClassifier

#目的であるTARGET以外をX_trainとして定義
X_train = train_df3.drop("TARGET", axis=1)

#目的であるTARGETをY_trainとして定義
Y_train = train_df3["TARGET"]

#testをX_testとして定義
X_test = test_df3

#データ形状を確認。X_trainとX_testでカラム数が整合してないとエラー要因となります。
print(X_train.shape, Y_train.shape,X_test.shape)
#出力結果→171が不一致だと後にエラーになります。(307511, 171) (307511,) (48744, 171)

# ランダムフォレストによる分類モデルを作成し、モデルの精度を確認して下さい。
random_forest = RandomForestClassifier(n_estimators=100)
random_forest.fit(X_train, Y_train)

Y_pred_r = random_forest.predict(X_test)
random_forest.score(X_train, Y_train)
acc_random_forest = round(random_forest.score(X_train, Y_train) * 100, 2)

print(acc_random_forest)

# CSVファイルに保存
submission = pd.DataFrame({
        "SK_ID_CURR": test_df3["SK_ID_CURR"],
        "TARGET": Y_pred
    })

submission.to_csv('my_submission1.csv', index=False)