LINIER
Model
Linier
model
linier digunakan dalam berbagai cara sesuai dengan konteksnya. Kejadian yang
paling umum adalah sehubungan dengan model regresi dan istilah ini sering
dianggap sama dengan model regresi linier . Namun, istilah ini juga digunakan
dalam analisis deret waktu dengan makna yang berbeda. Dalam setiap kasus,
penunjukan "linier" digunakan untuk mengidentifikasi subkelas model
yang memungkinkan pengurangan substansial dalam kompleksitas teori statistik
terkait.
Model Regresi Linier Sederhana
regresi
linier sederhana adalah hubungan secara linear antara satu variabel independen
(X) dengan variabel dependen (Y). Analisis ini untuk mengetahui arah hubungan
antara variabel independen dengan variabel dependen apakah positif atau negatif
dan untuk memprediksi nilai dari variabel dependen apabila nilai variabel
independen mengalami kenaikan atau penurunan.. Data yang digunakan biasanya
berskala interval atau rasio.
Model Regresi
Linier Berganda
Regresi
Linear Berganda adalah model regresi linear dengan melibatkan lebih dari satu
variable bebas atau predictor. Dalam bahasa inggris, istilah ini disebut dengan
multiple linear regression.
Sistem
Linear
Sistem
linear adalah model matematis dari sistem yang didasarkan pada penggunaan
operator linier.Sistem linear biasanya menunjukkan fitur dan properti yang
jauh lebih sederhana daripada kasing nonlinier.Sebagai abstraksi atau idealisasi
matematis, sistem linear menemukan aplikasi penting dalam teori kontrol
otomatis, pemrosesan sinyal, dan telekomunikasi.Misalnya, media propagasi
untuk sistem komunikasi nirkabel sering dapat dimodelkan dengan sistem linier.
Curve Fitting and
Error Function
Salah satu bentuk utility
function untuk model matematis bernama error function. Fungsi ini sudah banyak
diceritakan pada bab-bab sebelumnya secara deskriptif. Mulai bab ini, kamu akan
mendapatkan pengertian lebih jelas secara matematis.
Error function paling mudah dijelaskan dalam permasalahan regresi. Diberikan (x, y) ∈ R sebagai random variable. Terdapat sebuah fungsi f(x) → y, yang memetakan x ke y, berbentuk seperti pada Gambar 5.1. sekarang fungsi f(x) tersebut disembunyikan (tidak diketahui), diberikan contoh-contoh pasangan (xi , yi); i = 1, 2, ..., 6 adalah titik pada dua dimensi (titik sampel), seperti lingkaran berwarna biru. Tugasmu adalah untuk mencari tahu f(x)! Dengan kata lain, kita harus mampu memprediksi sebuah bilangan riil y, diberikan suatu x.
Kamu berasumsi bahwa fungsi f(x) dapat diaproksimasi dengan fungsi linear g(x) = xw + b. Artinya, kamu ingin mencari w dan b yang memberikan nilai sedemikian sehingga g(x) mirip dengan f(x). w adalah parameter sementara b adalah bias. Anggap kamu sudah berhasil melakukan pendekatan dan 5 Model Linear.
Error function paling mudah dijelaskan dalam permasalahan regresi. Diberikan (x, y) ∈ R sebagai random variable. Terdapat sebuah fungsi f(x) → y, yang memetakan x ke y, berbentuk seperti pada Gambar 5.1. sekarang fungsi f(x) tersebut disembunyikan (tidak diketahui), diberikan contoh-contoh pasangan (xi , yi); i = 1, 2, ..., 6 adalah titik pada dua dimensi (titik sampel), seperti lingkaran berwarna biru. Tugasmu adalah untuk mencari tahu f(x)! Dengan kata lain, kita harus mampu memprediksi sebuah bilangan riil y, diberikan suatu x.
Kamu berasumsi bahwa fungsi f(x) dapat diaproksimasi dengan fungsi linear g(x) = xw + b. Artinya, kamu ingin mencari w dan b yang memberikan nilai sedemikian sehingga g(x) mirip dengan f(x). w adalah parameter sementara b adalah bias. Anggap kamu sudah berhasil melakukan pendekatan dan 5 Model Linear.
menghasilkan fungsi linear g(x); seperti Gambar 5.2 (garis berwarna hijau). Akan tetapi, fungsi approksimasi ini tidak 100% tepat sesuai dengan fungsi aslinya (ini perlu ditekankan)1 . Jarak antara titik biru terhadap garis hijau disebut error.
Salah satu cara menghitung error fungsi g(x) adalah menggunakan squared error function dengan bentuk konseptual pada persamaan 5.1. Estimasi terhadap persamaan tersebut disajikan dalam bentuk diskrit pada persamaan 5.2. (xi , yi) adalah pasangan training data (input - desired output). Nilai squared error dapat menjadi tolak ukur untuk membandingkan kinerja suatu learning machine (model). Secara umum, bila nilainya tinggi, maka kinerja dianggap relatif buruk; sebaliknya bila rendah, kinerja dianggap relatif baik. Hal ini sesuai dengan konsep intelligent agent [5].
Pembelajaran sebagai Permasalahan Optimisasi
Salah satu tujuan dari pembelajaran (training) adalah untuk
meminimalkan error sehingga kinerja learning machine (model) diukur oleh
squared error. Dengan kata lain, utility function adalah meminimalkan squared
error.Secara lebih umum, kita ingin meminimalkan/memaksimalkan suatu fungsiyang
dijadikan tolak ukur kinerja (utility function), diilustrasikan pada persamaan
5.17, dimana θ adalah learning parameter 5, dan L adalah loss function.
Perubahan parameter dapat menyebabkan perubahan loss. Karena itu,
loss
function memiliki θ sebagai parameternya.
ˆθ
= arg min L(θ) (5.17)
θ
dimana
ˆθ adalah nilai parameter paling optimal. Perhatikan, “arg min” dapat juga
diganti dengan “arg max” tergantung optimisasi apa yang ingin dilakukan.
Overfitting
dan Underfitting
Tujuan
machine learning adalah membuat model yang mampu memprediksidata yang belum
pernah dilihat (unseen instances) dengan tepat; disebutsebagai generalisasi
(generalization). Seperti yang sudah dijelaskan pada babpertama, kita dapat
membagi dataset menjadi training, development, dan testing dataset. Ketiga
dataset ini berasal dari populasi yang sama dan dihasilkanoleh distribusi yang
sama (identically and independently distributed). Dalamartian, ketiga jenis
dataset mampu melambangkan (merepresentasikan) karakteristik yang sama8. Dengan
demikian, kita ingin loss atau error pada training, development, dan testing
bernilai kurang lebih bernilai sama (i.e., kinerja yang sama untuk data dengan
karakteristik yang sama). Akan tetapi, underfitting dan overfitting mungkin
terjadi.
Underfitting
adalah keadaan ketika kinerja model bernilai buruk baik padatraining atau
development maupun testing data. Overfitting adalah keadaanketika kinerja model
bernilai baik untuk training tetapi buruk pada unseen data. Underfitting terjadi akibatmodel yang
terlalu tidak fleksibel, yaitu memiliki kemampuan yang rendah untuk mengestimasi
variasi fungsi. Sedangkan, overfitting terjadi ketikamodel terlalu fleksibel,
yaitu memiliki kemampuan yang terlalu tinggi untukmengestimasi banyak fungsi
atau terlalu mencocokkan diri terhadap training data.