Model Linier

LINIER

Model Linier

model linier digunakan dalam berbagai cara sesuai dengan konteksnya. Kejadian yang paling umum adalah sehubungan dengan model regresi dan istilah ini sering dianggap sama dengan model regresi linier . Namun, istilah ini juga digunakan dalam analisis deret waktu dengan makna yang berbeda. Dalam setiap kasus, penunjukan "linier" digunakan untuk mengidentifikasi subkelas model yang memungkinkan pengurangan substansial dalam kompleksitas teori statistik terkait.

Model Regresi Linier Sederhana

regresi linier sederhana adalah hubungan secara linear antara satu variabel independen (X) dengan variabel dependen (Y). Analisis ini untuk mengetahui arah hubungan antara variabel independen dengan variabel dependen apakah positif atau negatif dan untuk memprediksi nilai dari variabel dependen apabila nilai variabel independen mengalami kenaikan atau penurunan.. Data yang digunakan biasanya berskala interval atau rasio.

Model Regresi Linier Berganda

Regresi Linear Berganda adalah model regresi linear dengan melibatkan lebih dari satu variable bebas atau predictor. Dalam bahasa inggris, istilah ini disebut dengan multiple linear regression.

Sistem Linear

Sistem linear adalah model matematis dari sistem yang didasarkan pada penggunaan operator linier.Sistem linear biasanya menunjukkan fitur dan properti yang jauh lebih sederhana daripada kasing nonlinier.Sebagai abstraksi atau idealisasi matematis, sistem linear menemukan aplikasi penting dalam teori kontrol otomatis, pemrosesan sinyal, dan telekomunikasi.Misalnya, media propagasi untuk sistem komunikasi nirkabel sering dapat dimodelkan dengan sistem linier.

Curve Fitting and Error Function

Salah satu bentuk utility function untuk model matematis bernama error function. Fungsi ini sudah banyak diceritakan pada bab-bab sebelumnya secara deskriptif. Mulai bab ini, kamu akan mendapatkan pengertian lebih jelas secara matematis.

Error function paling mudah dijelaskan dalam permasalahan regresi. Diberikan (x, y) ∈ R sebagai random variable. Terdapat sebuah fungsi f(x) → y, yang memetakan x ke y, berbentuk seperti pada Gambar 5.1. sekarang fungsi f(x) tersebut disembunyikan (tidak diketahui), diberikan contoh-contoh pasangan (xi , yi); i = 1, 2, ..., 6 adalah titik pada dua dimensi (titik sampel), seperti lingkaran berwarna biru. Tugasmu adalah untuk mencari tahu f(x)! Dengan kata lain, kita harus mampu memprediksi sebuah bilangan riil y, diberikan suatu x.

Kamu berasumsi bahwa fungsi f(x) dapat diaproksimasi dengan fungsi linear g(x) = xw + b. Artinya, kamu ingin mencari w dan b yang memberikan nilai sedemikian sehingga g(x) mirip dengan f(x). w adalah parameter sementara b adalah bias. Anggap kamu sudah berhasil melakukan pendekatan dan  5 Model Linear.

Gambar 5.1 Contoh Fungsi Sigmoid

menghasilkan fungsi linear g(x); seperti Gambar 5.2 (garis berwarna hijau). Akan tetapi, fungsi approksimasi ini tidak 100% tepat sesuai dengan fungsi aslinya (ini perlu ditekankan)1 . Jarak antara titik biru terhadap garis hijau disebut error.

Gambar 5.2 Pendekatan fungsi Signoid

Salah satu cara menghitung error fungsi g(x) adalah menggunakan squared error function dengan bentuk konseptual pada persamaan 5.1. Estimasi terhadap persamaan tersebut disajikan dalam bentuk diskrit pada persamaan 5.2. (xi , yi) adalah pasangan training data (input - desired output). Nilai squared error dapat menjadi tolak ukur untuk membandingkan kinerja suatu learning machine (model). Secara umum, bila nilainya tinggi, maka kinerja dianggap relatif buruk; sebaliknya bila rendah, kinerja dianggap relatif baik. Hal ini sesuai dengan konsep intelligent agent [5].

Pembelajaran sebagai Permasalahan Optimisasi

Salah satu tujuan dari pembelajaran (training) adalah untuk meminimalkan error sehingga kinerja learning machine (model) diukur oleh squared error. Dengan kata lain, utility function adalah meminimalkan squared error.Secara lebih umum, kita ingin meminimalkan/memaksimalkan suatu fungsiyang dijadikan tolak ukur kinerja (utility function), diilustrasikan pada persamaan 5.17, dimana θ adalah learning parameter 5, dan L adalah loss function. Perubahan parameter dapat menyebabkan perubahan loss. Karena itu,

loss function memiliki θ sebagai parameternya.

ˆθ = arg min L(θ) (5.17)

θ

dimana ˆθ adalah nilai parameter paling optimal. Perhatikan, “arg min” dapat juga diganti dengan “arg max” tergantung optimisasi apa yang ingin dilakukan.

Overfitting dan Underfitting

Tujuan machine learning adalah membuat model yang mampu memprediksidata yang belum pernah dilihat (unseen instances) dengan tepat; disebutsebagai generalisasi (generalization). Seperti yang sudah dijelaskan pada babpertama, kita dapat membagi dataset menjadi training, development, dan testing dataset. Ketiga dataset ini berasal dari populasi yang sama dan dihasilkanoleh distribusi yang sama (identically and independently distributed). Dalamartian, ketiga jenis dataset mampu melambangkan (merepresentasikan) karakteristik yang sama8. Dengan demikian, kita ingin loss atau error pada training, development, dan testing bernilai kurang lebih bernilai sama (i.e., kinerja yang sama untuk data dengan karakteristik yang sama). Akan tetapi, underfitting dan overfitting mungkin terjadi.

Underfitting adalah keadaan ketika kinerja model bernilai buruk baik padatraining atau development maupun testing data. Overfitting adalah keadaanketika kinerja model bernilai baik untuk training tetapi buruk pada unseen data. Underfitting terjadi akibatmodel yang terlalu tidak fleksibel, yaitu memiliki kemampuan yang rendah untuk mengestimasi variasi fungsi. Sedangkan, overfitting terjadi ketikamodel terlalu fleksibel, yaitu memiliki kemampuan yang terlalu tinggi untukmengestimasi banyak fungsi atau terlalu mencocokkan diri terhadap training data.