A. Regresi : Regresi Populasi
        Perhatian utama regresi pada dasarnya adalah menjelaskan dan mengevaluasi hubungan antara variabel dependen dengan satu atau lebih variabel independen. Regresi Sederhana , hanya memperhatikan hubungan antara  variabel dependen dengan satu atau lebih variabel independen. Misalkan, kita memperhatikan hubungan antara jumlah permintaan dengan harga barang. Menurut teori, ada hubungan terbalik antara jumlah permintaan dengan harga barang.
Asumsikan ada hubungan yang linier antara jumlah yang diminta dengan harganya :
dengan :
Yi  = jumlah permintaan barang (var. dependen)
Xi  = harga barang (var. independen)
Persamaan 2.1 menunjukkan persamaan  regresi populasi, yang menunjukkan nilai harapan dari jumlah permintaan. Nilai harapan tersebut dapat dinyatakan sebagai berikut:
Jumlah permintaan aktual tidak harus sama dengan nilai harapannya karena ada banyak faktor selain faktor harga yang mempengaruhi permintaan. Persamaan bisa dinyatakan: 
Atau dapat dinyatakan dalam bentuk: 
Dimana ei merupakan variabel  gangguan / error term, yang nilainya bisa positif atau negatif
        Variabel gangguan muncul karena adanya faktor selain harga yang bisa mempengaruhi jumlah permintaan barang, sebutkan (mahasiswa)? Dengan demikian variabel gangguan mencerminkan faktor-faktor yang selain harga yang mempengaruhi jumlah permintaan barang namun tidak dimasukkan dalam persamaan. 
Secara umum variabel gangguan ini muncul karena dua hal:
  1. Variabel gangguan muncul karena model yang digunakan terlalu sederhana kurang mencerminkan realitas.
  2. Variabel gangguan berhubungan dengan  perilaku variabel ekonomi yang mencerminkan perilaku manusia. 
Persamaan 2.1 menjelaskan bahwa hubungan Y dan X merupakan hubungan linier. Hubungan linier ini dapat digambarkan sebagai garis lurus dengan 𝛽0 suatu konstanta/ intersep dan 𝛽1adalah gradien/kemiringan (slope) garis. Adapun garis tersebut kita sebut dengan garis regresi populasi.
B. Regresi : Regresi Sampel
Persamaan 2.1 sulit diketahui, Regresi populasi hanya dapat diestimasi dengan menggunakan data sampel. Persamaan regresi sampel yang menjelaskan hubungan antara jumlah permintaan barang dengan tingkat harga dinyatakan dalam persamaan berikut:
Persamaan 2.5 ini bila digambarkan akan berbentuk sebuah garis lurus dengan 𝛽 ̂0 suatu konstanta/ intersep dan 𝛽 ̂𝑖 adalah gradien/ kemiringan (slope) garis. 𝛽 ̂0 dan 𝛽 ̂𝑖 merupakan estimasi parameter dari populasi βo dan  β1. Sedangkan 𝑌 ̂𝑖 merupakan nilai prediksi dari nilai aktual Y. Kemungkinan nilai prediksi dengan nilai aktual berbeda, sehingga perbedaan nilai yg diprediksi dengan nilai aktual disebut residual.
Sehingga jumlah permintaan aktual dapat ditulis:
atau
Perbedaan garis regresi populasi dengan dengan garis regresi sampel dapat dilihat pada gambar berikut:

C. Metode Kuadrat Terkecil / Ordinary Leasts Squares (OLS)
        Persoalan dalam regresi sampel adalah bagaimana mendapatkan garis regresi yang baik, yaitu nilai prediksi sedekat mungkin dengan nilai aktual. Dengan kata lain bagaimana kita memperoleh 𝛽 ̂0  dan 𝛽 ̂𝑖 yang menyebabkan 𝑒 ̂(𝑖 ) sekecil mungkin. Sehingga persamaan-persamaannya sebagai berikut:
Atau dituliskan seperti berikut:

D. Diagram Pencar (Scattergram)
Persamaan 2.11 dapat diartikan jika nilai residual kecil maka perbedaan antara nilai aktual dan prediksi juga kecil. Agar kita mendapatkan garis regresi yang baik maka nilai residualnya haruslah sekecil mungkin. Misalkan terdapat 6 data sampel jumlah permintaan (Y) dan harga (X) yang diplot dalam diagram (scattergram)  seperti berikut:
        Kemudian ambil kemungkin garis sebanyak mungkin, misal 3 garis regresi. Ingat bahwa garis regresi yang baik adalah sedekat mungkin dengan data aktualnya (residual terkecil), bagaimana caranya? Misal diambil salah satu garis sampel dengan berbagai observasi X dan Y agar didapatkan garis sedekat mungkin dg data aktualnya. Perhatikan gambar, meski jumlah semua residual kecil namun ada kemungkinan bisa nol. Padahal faktanya ada beberapa e ̂(i )yang jauh dari garis regresi. Untuk menghindari hal ini adalah dg mengkuadratkan masing-masing residual e ̂(i ). Jumlah kuadrat residual ini dikenal dengan METODE KUADRAT TERKECIL (OLS).  
Metode OLS akan menjamin jumlah residual kuadrat sekecil mungkin :
Untuk mendapatkan ∑(𝑒𝑖 )^2  yang minimum maka dg cara mendifferensial secara parsial persamaan 2.13. Sehingga dihasilkan: 
Dimana 𝑥= 𝑋𝑖−𝑋 ̅,   𝑦= 𝑌𝑖−𝑌 ̅,   𝑋 ̅   dan  𝑌 ̅ adalah rata-rata serta n adalah jumlah observasi.

E. Standart Error  dari OLS
Regresi sampel merupakan cara untuk mengestimasi regresi populasi, dimana sampel bersifat acak, sehingga  𝛽 ̂0 dan 𝛽 ̂1  bersifat acak, nilainya berubah dari satu sampel ke sampel lain (Variabilitas). Ketepatan estimator 𝛽 ̂0 dan 𝛽 ̂1   diukur dari standar error  yang merupakan akar dari variannya.  
Keterangan:
    ∑(𝑒𝑖 ) ^2 adalah jumlah residual kuadrat (SSR)
    n jumlah observasi, k jumlah parameter (𝛽 ̂0 dan 𝛽 ̂1)
    𝑛−𝑘  derajat kebebasan.

F. Asumsi OLS (Ordinary Least Square)
Metode OLS dikenal sbg Metode Gaussian dan metode OLS dibangun dengan asumsi-asumsi :
  1. Asumsi 1: Hubungan antara Y dan X adalah linier dalam parameter, dalam hal ini β1 berhubungan linier terhadap Y.
  2. Asumsi 2:  Variabel X tidak stokastik yg nilainya tetap. Nuilai X adalah tetap untuk berbagai observasi yang berulang-ulang, nilai X adalah terkontrol. Jika X lebih dari satu maka diasumsikan tidak ada hubungan linier dianatara X; tidak ada multikolinieritas.
  3. Asumsi 3: Nilai harapan atau rata-rata dari variabel pengganggu  ei = 0; nilai harapan dari Y hanya dipengaruhi oleh X.
  4. Asumsi 4 : Varian dari variabel pengganggu adalah sama (hetereoskedastisitas).
  5. Asumsi 5 : Tidak ada serial korelasi antara variabel pengganggu, ei tidak saling berhubungan dengan ej yang lain. Autokorelasi.
  6. Asumsi 6 : Variabel pengganggu berdistribusi normal
Catatan :  asumsi 1-5 dikenal dengan model regresi linier klasik, dikenal juga dengan asumsi klasik.
        
Pada model linier klasik, metode OLS memiliki sifat ideal  dikenal dengan Teorema Gauss-Markov. Metode OLS  menghasilkan estimator yg mempunyai sifat tidak bias, linier dan mempunyai varian yang minimum (best linier unbiased estimator = BLUE). Suatu estimator, β1, akan bersifat BLUE jika memenuhi :
  • β1  adalah linier thd variabel stokastik Y
  • β1  adalah tidak bias, nilai rata-rata atau nilai harapan sama dengan β1 yang sebenarnya.
  • β1  adalah  mempunyai varian yang minimum.
G. Koefisien Determinasi (R2)
Seberapa baik garis regresi menjelaskan datanya? Garis regresi yang diharapkan mendapatkan ei sekecil mungkin. Dalam mengukur seberapa baik garis regresi yang sesuai dengan datanya atau mengukur persentase total Y yang dijelaskan oleh garis regresi digunakan konsep koefisien determinasi 𝑅2.
Koefisien determinasi 𝑅^2 dapat dijelaskan melalui persamaan 2.6:

Semakin mendekati 1 nilai dari koefisien determinasi, maka garis regresi semakin baik dan sebaliknya.

H. Koefisien Korelasi (r)
Koefisien korelasi mengukur derajat keeratan hubungan antara X dan Y. Nilainya berkisar antara -1 dan +1. Persamaannya sebagai berikut:

Atau dapat pula dicari dengan:

Contoh Numeris:
Data hipotesis di bawah  merupakan hubungan antara jumlah permintaan sepeda motor (Y) dan harganya (X) dengan model persamaan regresinya sebagai berikut: 











Hasil regresi dengan metode OLS sebagai berikut:  
        Estimator 𝛽 ̂0 merupakan intecept/konstanta garis regresi yang mengindikasikan rata-rata jumlah permintaan saat harga sama dengan 0. Estimator 𝛽 ̂1 menunjukkan slope/kemiringan garis regresi, dimana jika harga naik Rp. 1 juta maka jumlah permintaan turun sebesar 225 unit. 𝑅^2 sebesar  0,9804 berarti variasi harga mampu menjelaskan permintaan sepeda motor  sebesar 98,04% sedangkan sisanya dijelaskan variabel yang lain. 𝑟 sebesar   0,9901 berarti bahwa harga dan permintaan sangat berkorelasi positif.

VIDEO PEMBELAJARAN PEMBAHASAN MATERI DI ATAS

DAFTAR PUSTAKA.
  • Gunawan Sumodiningrat, 2003, Ekonometrika, BPFE, Yogyakarta.
  • Gujarati, D.N., 2007, Dasar-Dasar Ekonometrika, Edisi Ketiga, Jilid-1 dan Jilid-2, Terjemahan Julius A. Mulyadi; Penerbit Erlangga.Jakarta.
  • Agus Widarjono, 2009, Ekonometrika : Pengantar dan Aplikasinya, Penerbit Ekonisia, Fakultas Ekonomi, UII, Yogyakarta.
  • Nachrowi Djalal Nachrowi dan Hardius Usman, 2002,  Penggunaan Teknik Ekonometri.  LPFE -UI. Jakarta.