Correlation coef. proof

In [49]:
import numpy as np
from matplotlib import pyplot as pl

# Just a figure and one subplot
fig, ax = plt.subplots()

#         x1 x2   y1 y2
ax.plot([0, 5], [1, 6], 'b')

data=[(1.5, 1.5), (1.5, 2.5), 'r',
      (2.5, 2.5), (5, 3.5),   'r',
      (4.5, 4.5), (5.5, 4),   'r'  ]
ax.plot(*data)

ax.set_title('Squared error')
ax.text(1.6, 2, 'Err-1')
ax.text(2.6, 4.5, 'Err-2')
ax.text(4.6, 4.5, 'Err-n')
plt.xlim(left=0)
plt.show()

"Best fitting" line to data are the line with minimum ${ SE }_{ line }$

$ { SE }_{ line }={ { Err }_{ 1 } }^{ 2 }+{ { Err }_{ 2 } }^{ 2 }+...+{ { Err }_{ n } }^{ 2 }\\ \\ \quad \\ { Err }_{ 1 }= { y }_{ 1 } - (mx_{ 1 } +b)\\ { Err }_{ 2 }= { y }_{ 2 } - (mx_{ 2 } +b)\\ ...\\ { Err }_{ n } = { y }_{ n } - (mx_{ n } +b)\quad\Rightarrow\\ \quad \\ { Err }_{ 1 }={ { (y }_{ 1 }-(mx_{ 1 }+b) })^{ 2 }\\ { Err }_{ 2 }={ { (y }_{ 2 }-(mx_{ 2 }+b)) }^{ 2 }\\ ...\\ { Err }_{ n }={ ({ y }_{ n }-(mx_{ n }+b)) }^{ 2 }\quad \Rightarrow $

$ \begin{align} { SE }_{ line }=&{ { (y }_{ 1 }-(mx_{ 1 }+b) })^{ 2 }+\\ & { { (y }_{ 2 }-(mx_{ 2 }+b)) }^{ 2 }+\\ &...\\ & { ({ y }_{ n }-(mx_{ n }+b)) }^{ 2 }\\ \\ =& { { y }_{ 1 } }^{ 2 }-2{ { y }_{ 1 } }(m{ x }_{ 1 }+b)+{ (m{ x }_{ 1 }+b) }^{ 2 }+\\ & { { y }_{ 2 } }^{ 2 }-2{ { y }_{ 2 } }(m{ x }_{ 2 }+b)+{ (m{ x }_{ 2 }+b) }^{ 2 }+\\ &...\\ & { { y }_{ n } }^{ 2 }-2{ { y }_{ n } }(m{ x }_{ n }+b)+{ (m{ x }_{ n }+b) }^{ 2 }\\ \end{align} $


$ \begin{align} ={ { y }_{ 1 } }^{ 2 }-2{ y }_{ 1 }m{ x }_{ 1 }-2{ y }_{ 1 }b+{ m }^{ 2 }{ { x }_{ 1 } }^{ 2 }+2m{ x }_{ 1 }b+{ b }^{ 2 }+\\ +{ { y }_{ 2 } }^{ 2 }-2{ y }_{ 2 }m{ x }_{ 2 }-2{ y }_{ 2 }b+{ m }^{ 2 }{ { x }_{ 2 } }^{ 2 }+2m{ x }_{ 2 }b+{ b }^{ 2 }+\\ ...\\ +{ { y }_{ n } }^{ 2 }-2{ y }_{ n }m{ x }_{ n }-2{ y }_{ n }b+{ m }^{ 2 }{ { x }_{ n } }^{ 2 }+2m{ x }_{ n }b+{ b }^{ 2 } \end{align} $


$ =({ { y }_{ 1 } }^{ 2 }+{ { y }_{ 2 } }^{ 2 }+...+{ { y }_{ n } }^{ 2 })-2m({ y }_{ 1 }{ x }_{ 1 }+{ y }_{ 2 }{ x }_{ 2 }+...+{ y }_{ n }{ x }_{ n })-2b({ y }_{ 1 }+{ y }_{ 2 }+...+{ y }_{ n })+{ m }^{ 2 }({ { { x }_{ 1 } } }^{ 2 }+{ { x }_{ 2 } }^{ 2 }+...+{ { x }_{ n } }^{ 2 })+2mb({ x }_{ 1 }+{ x }_{ 2 }+...+{ x }_{ n })+n{ b }^{ 2 }\quad(1) $



$ \frac { ({ { y }_{ 1 } }^{ 2 }+{ { y }_{ 2 } }^{ 2 }+...+{ { y }_{ n } }^{ 2 }) }{ n } =\overline { { y }^{ 2 } } \quad \Rightarrow \quad ({ { y }_{ 1 } }^{ 2 }+{ { y }_{ 2 } }^{ 2 }+...+{ { y }_{ n } }^{ 2 })\quad =\quad n \overline { { y }^{ 2 } }\quad(2) $

$ \frac { ({ y }_{ 1 }{ x }_{ 1 }+{ y }_{ 2 }{ x }_{ 2 }+...+{ y }_{ n }{ x }_{ n }) }{ n } =\overline { xy } \quad \Rightarrow \quad ({ y }_{ 1 }{ x }_{ 1 }+{ y }_{ 2 }{ x }_{ 2 }+...+{ y }_{ n }{ x }_{ n })=\quad n\overline { xy }\quad(3) $


$ (1)+(2)+(3)\Rightarrow \\ { SE }_{ line }=n\overline { { y }^{ 2 } } -2mn\overline { xy } -2bn\overline { y } +{ m }^{ 2 }n\overline { { x }^{ 2 } } +2mbn\overline { x } +n{ b }^{ 2 } $

Finding m, b (variables) in order to have ${ SE }_{ line }$ minim:

$ \frac { d }{ dm } { SE }_{ line }=0\\ \frac { d }{ db } { SE }_{ line }=0 $

$ \begin{cases} \frac { d }{ dm } { SE }_{ line }= -2n\overline { xy } +2n\overline { { x }^{ 2 } } m+2bn\overline { x }=0 & \div \quad 2n\\ \frac { d }{ db } { SE }_{ line }= -2n\overline { y } +2mn\overline { x } +2nb=0 & \div \quad 2n \quad \quad \Rightarrow \end{cases} $


$ x\quad is\quad a\quad minim\quad (concave\quad up\quad graphic\quad \cup )\quad \begin{cases} f'(x)=0 \\ f''(x)>0 \end{cases}\\ x\quad is\quad a\quad maximum \quad (concave\quad down\quad graphic\quad \cap )\quad \begin{cases} f'(x)=0 \\ f''(x)<0 \end{cases} $


$ \frac { { d }^{ 2 } }{ d{ m }^{ 2 } } { SE }_{ line }=\quad \overline { { x }^{ 2 } } \quad >\quad 0\\ \frac { { d }^{ 2 } }{ d{ b }^{ 2 } } { SE }_{ line }=1\quad >\quad 0\\ so\quad the\quad graphic\quad being\quad concave\quad up,\quad we\quad have\quad a\quad minimum\quad value\quad for\quad { SE }_{ line }\\ at\quad points\quad where\quad 1st\quad derivative\quad is\quad 0. $


$ \Rightarrow \begin{cases} -\overline { xy } +m\overline { { x }^{ 2 } } +b\overline { x } =0 \\ -\overline { y } +m\overline { x } +b=0 \end{cases} $

$ \begin{cases} m\overline { { x }^{ 2 } } +b\overline { x } =\overline { xy } & (4) \\ m\overline { x } +b=\overline { y } & (5) \quad \Rightarrow (\overline { x } ,\overline { y } ) \in regression\quad line \end{cases} $

$ \begin{align} (4) \div \overline { x } \quad \Rightarrow & \quad m\frac { \overline { { x }^{ 2 } } }{ \overline { x } } + b = \frac { \overline { xy } }{ \overline { x } }(6) & \Rightarrow \left( \frac { \overline { { x }^{ 2 } } }{ \overline { x } } ,\frac { \overline { xy } }{ \overline { x } } \right) \in regression\quad line\\ (6) \times \quad -1 \Rightarrow & -m\frac { \overline { { x }^{ 2 } } }{ \overline { x } } - b = -\frac { \overline { xy } }{ \overline { x } } & +(5) \Rightarrow \\ \end{align} $

$ m\left( \overline { x } -\frac { \overline { { x }^{ 2 } } }{ \overline { x } } \right) =\overline { y } -\frac { \overline { xy } }{ \overline { x } } \Rightarrow m=\frac { \left( \overline { x } -\frac { \overline { { x }^{ 2 } } }{ \overline { x } } \right) }{ \overline { y } -\frac { \overline { xy } }{ \overline { x } } } \Rightarrow \\ $

$ m=\frac { \overline { x } \times \overline { y } -\overline { xy } }{ { \left( \overline { x } \right) }^{ 2 }-\overline { { x }^{ 2 } } } =\frac { \overline { xy } -\overline { x } \times \overline { y } }{ \overline { { x }^{ 2 } } -{ \left( \overline { x } \right) }^{ 2 } } $