Tipe Data II:
Penanganan Tipe Data Khusus

import pandas as pd
import numpy as np

# Tanggal dalam berbagai format
df = pd.DataFrame({
    'nama'       : ['Andi', 'Budi', 'Citra', 'Dewi'],
    'tgl_lahir'  : ['17/08/2002', '05/03/2001', '22/11/2003', '01/07/2002'],
    'tgl_masuk'  : ['2021-09-01', '2021-09-01', '2022-02-14', '2021-09-01'],
    'jam_login'  : ['2024-10-01 08:30', '2024-10-01 13:15',
                    '2024-10-02 09:00', '2024-10-01 20:45']
})

# Konversi dengan format eksplisit
df['tgl_lahir'] = pd.to_datetime(df['tgl_lahir'], format='%d/%m/%Y')
df['tgl_masuk'] = pd.to_datetime(df['tgl_masuk'])
df['jam_login'] = pd.to_datetime(df['jam_login'])

# Ekstraksi komponen tanggal
today = pd.Timestamp('2024-10-15')
df['umur']       = ((today - df['tgl_lahir']).dt.days / 365.25).astype(int)
df['bulan_masuk'] = df['tgl_masuk'].dt.month_name()
df['hari_login']  = df['jam_login'].dt.day_name()
df['jam_digit']   = df['jam_login'].dt.hour
df['sesi_login']  = df['jam_digit'].apply(
    lambda h: 'Pagi' if h < 12 else ('Siang' if h < 17 else 'Malam')
)

print(df[['nama','umur','bulan_masuk','hari_login','sesi_login']])

# Data nyata sering kotor seperti ini
df_kotor = pd.DataFrame({
    'nama'  : ['Andi', 'Budi', 'Citra', 'Dewi', 'Eko'],
    'gaji'  : ['5.500.000', '7.200.000', 'N/A', '9.000.000', '-'],
    'kota'  : [' jakarta', 'BANDUNG', 'Surabaya', ' surabaya ', 'Medan'],
    'grade' : ['A', 'b', 'B', 'a', 'C']
})

print("=== DATA SEBELUM DIBERSIHKAN ===")
print(df_kotor)

# ── Bersihkan kolom gaji ────────────────────────────
df_kotor['gaji_bersih'] = (
    df_kotor['gaji']
    .str.replace('.', '', regex=False)   # hapus titik ribuan
    .str.replace('[^0-9]', '', regex=True) # hapus non-angka
    .replace('', np.nan)                    # string kosong → NaN
    .astype('float')                        # konversi ke numerik
)

# ── Bersihkan kolom kota ────────────────────────────
df_kotor['kota_bersih'] = (
    df_kotor['kota']
    .str.strip()           # hapus spasi tepi
    .str.title()           # Huruf Kapital Tiap Kata
)

# ── Standarisasi grade ke huruf kapital ─────────────
df_kotor['grade_bersih'] = df_kotor['grade'].str.upper()

print("\n=== DATA SETELAH DIBERSIHKAN ===")
hasil = df_kotor[['nama','gaji_bersih','kota_bersih','grade_bersih']]
print(hasil)
print("\nDtype setelah bersih:")
print(hasil.dtypes)

from sklearn.impute import SimpleImputer

# Dataset dengan missing values
np.random.seed(42)
n = 20
df_mv = pd.DataFrame({
    'usia'     : np.where(np.random.random(n) < 0.15, np.nan,
                         np.random.randint(20, 50, n).astype(float)),
    'gaji'     : np.where(np.random.random(n) < 0.20, np.nan,
                         np.random.normal(6e6, 1.5e6, n)),
    'kota'     : np.where(np.random.random(n) < 0.10, np.nan,
                         np.random.choice(['Jakarta','Bandung','Surabaya'], n))
})

# Laporan missing
missing_report = pd.DataFrame({
    'Missing Count'  : df_mv.isnull().sum(),
    'Missing Pct (%)': (df_mv.isnull().sum() / len(df_mv) * 100).round(1)
})
print("=== LAPORAN MISSING VALUES ===")
print(missing_report)

# Strategi: numerik → median, kategorikal → modus
imp_num  = SimpleImputer(strategy='median')
imp_cat  = SimpleImputer(strategy='most_frequent')

df_mv[['usia','gaji']] = imp_num.fit_transform(df_mv[['usia','gaji']])
df_mv[['kota']]         = imp_cat.fit_transform(df_mv[['kota']])

print("\n=== SETELAH IMPUTASI ===")
print(f"Total NaN tersisa: {df_mv.isnull().sum().sum()}")

# One-Hot Encoding dengan pandas
df_enc = pd.DataFrame({
    'kota'  : ['Jakarta', 'Bandung', 'Jakarta', 'Surabaya', 'Bandung'],
    'grade' : ['A', 'B', 'A', 'C', 'B'],
    'ipk'   : [3.8, 3.4, 3.9, 2.9, 3.5]
})

# OHE untuk nominal (kota): drop_first hindari multikolinearitas
df_ohe = pd.get_dummies(df_enc, columns=['kota'],
                         drop_first=True, dtype=int)

# Ordinal Encoding untuk grade
grade_map = {'D':0, 'C':1, 'B':2, 'A':3}
df_ohe['grade_num'] = df_ohe['grade'].map(grade_map)
df_ohe = df_ohe.drop(columns=['grade'])

print("=== HASIL ENCODING ===")
print(df_ohe)