Introdução à Regressão Linear

Consideremos uma coleção de pares ordenados obtidos em função de algum experimento, como:

A colocação destes pares ordenados num plano cartesiano, depende dos valores de x_i e y_i, (i=1..n) e pode fornecer um gráfico como:

Um fato que atrai pesquisadores aplicados das mais diversas áreas é a possibilidade de obter uma função real que passe nos pontos ou pelo menos passe próximo dos pontos (x_i,y_i) dados.

Estudando uma Matemática mais aprofundada existe a Teoria de Interpolação que é a área que estuda tais processos para obter funções que passam exatamente pelos pontos dados, enquanto que a Teoria de Aproximação estuda processos para obter funções que passem o mais próximo possível dos pontos dados.

É óbvio que se pudermos obter funções que passem próximas dos pontos dados e que tenham uma expressão fácil de ser manipulada, teremos obtido algo positivo e de valor científico.

Dentre os processos matemáticos que resolvem tal problema, com certeza, um dos mais utilizados é o Método dos Mínimos Quadrados, que serve para gerar o que se chama em Estatística: Regressão Linear ou Ajuste Linear.

As curvas mais comuns utilizadas pelos estatísticos são:

A idéia básica para qualquer uma das funções acima citadas é tentar descobrir quais são os valores dos coeficientes a_o, a₁, a₂ e a₃, de tal modo que a soma dos quadrados das distâncias (tomadas na vertical) da referida curva y=f(x) a cada um dos pontos dados (y_i) seja a menor possível, daí o nome Método dos Mínimos Quadrados.

Para obter tais coeficientes, deve-se conhecer conceitos de Derivadas Parciais, a Teoria de Máximos e Mínimos de funções de várias variáveis e as características de formas quadráticas positivas definidas de funções de várias variáveis envolvidas com o Teorema de Sylvester. Tais teoremas são normalmente encontrados em bons livros de Álgebra Linear e Cálculo Avançado.

Para não nos perdermos em considerações teóricas, apresentarei aqui as fórmulas para a obtenção da Regressão Linear para a Reta, a Parábola e a Cúbica.

Observação: Se você está interessado em aprender o "processo", fique atento às mudanças que ocorrem quando passamos da reta para a parábola e da parábola para a cúbica. Não construiremos o processo para a quártica mas julgo que você saberá construí-lo com o material apresentado.

Notações usadas na sequência

• n=Número de pares ordenados

• SX=x₁+x₂+x₃+...+ x_n = Soma dos x_i

• SY=y₁+y₂+y₃+...+y_n = Soma dos y_i

• SXY=x₁ y₁+x₂ y₂+x₃ y₃+...+x_n y_n = Soma dos x_iy_i

• SX2=(x₁)²+(x₂)²+(x₃)²+...+(x_n)² = Soma dos x_i²

• SX3=(x₁)³+(x₂)³+(x₃)³+...+(x_n)³ = Soma dos x_i³

• SX4=(x₁)⁴+(x₂)⁴+(x₃)⁴+...+(x_n)⁴ = Soma dos x_i⁴

• SX5=(x₁)⁵+(x₂)⁵+(x₃)⁵+...+(x_n)⁵ = Soma dos x_i⁵

• SX6=(x₁)⁶+(x₂)⁶+(x₃)⁶+...+(x_n)⁶ = Soma dos x_i⁶

• SX2Y=(x₁)²y₁+(x₂)²y₂ +...+(x_n)²y_n=Soma dos x_i²y_i

• SX3Y=(x₁)³y₁+(x₂)³y₂+...+(x_n)³y_n=Soma dos x_i³y_i

A reta dos mínimos quadrados

Para obter a reta dos mínimos quadrados, basta resolver o sistema linear com 2 equações e 2 incógnitas a_o e a₁ :

a_o n+a₁ SX = SY
a_o SX+a₁ SX2 = SXY

Na forma matricial este sistema pode ser escrito como:

Para resolver este sistema, existem vários métodos, mas a Regra de Cramer dá uma resposta rápida para os coeficientes:

a_o = (SY.SX2-SX.SXY)/(n SX2-SX.SX)
a₁ = (n SXY-SX.SY) / (n SX2-SX.SX)

A parábola dos mínimos quadrados

Para obter a parábola de melhor ajuste, basta resolver o sistema com as 3 incógnitas a_o, a₁ e a₂:

a_o n+a₁ SX+a₂ SX2 = SY
a_o SX+a₁ SX2+a₂ SX3 = SXY
a_o SX2+a₁ SX3+a₂ SX4 = SX2Y

Este sistema pode ser escrito na forma matricial como:

Observação: Encontre as diferenças entre este sistema e o sistema obtido no caso anterior da reta.

Como todos os termos da primeira matriz (matriz dos coeficientes) e da última matriz (matriz das constantes) são conhecidos, fica fácil resolver o sistema pelo processo de inverter a primeira delas e multiplicar pela última para obter os coeficientes a_o, a₁ e a₂ .

A cúbica dos mínimos quadrados

Para obter a cúbica dos mínimos quadrados resolve-se o sistema de equações com 4 equações e 4 incógnitas a_o, a₁, a₂ e a₃, colocado na forma matricial:

Como os termos da primeira e última matrizes são conhecidos, pode-se resolver o sistema invertendo a primeira matriz e multiplicando pela última.

A quártica dos mínimos quadrados

Observação: Observe novamente as diferenças entre o sistema obtido para a cúbica e os sistemas obtidos nos casos da reta e da parábola. De posse de tais informações, você estaria capacitado a produzir a curva quártica de melhor ajuste dos mínimos quadrados apenas com o material apresentando aqui?

É possível estender o método para a construção de uma superfície de melhor ajuste no espaço tridimensional.

Regressão Linear no espaço

Agora estudaremos uma situação no espaço R³ onde é conhecido um conjunto de pontos (ternos) dados por:

C = { (x_i, y_i, z_i) : i=1,2,3,...,n }

Desejamos ajustar uma superfície da forma

z = f(x,y) = a+b x+c y+d x²+e xy+f y²

Usando procedimentos semelhantes ao caso do plano, poderemos construir uma função:

S(a,b,c,d,e,f) = Soma (z-z_i)²

onde esta soma é tomada sobre todos os i=1,2,3,4,...,n.

Esta função S é não negativa e diferenciável, assim podemos garantir que o ponto de mínimo para S ocorrerá quando o gradiente da função S for nulo, isto é, quando:

S_a = S_b = S_c = S_d = S_e = S_f = 0

o que equivale a:

S_a = 2 Soma (z-z_i).(1) = 0
S_b = 2 Soma (z-z_i).(x_i) = 0
S_c = 2 Soma (z-z_i).(y_i) = 0
S_d = 2 Soma (z-z_i).(x_i²) = 0
S_e = 2 Soma (z-z_i).(x_iy_i) = 0
S_f = 2 Soma (z-z_i).(y_i²) = 0

A notação S_m usada significa a derivada parcial da função S em relação à variável m, onde m pode ser a,b,c,d,e ou f.

Temos aqui um sistema com 6 equações e 6 incógnitas, que pode ser reescrito como:

Soma (a+bx_i+cy_i+dx_i²+ex_iy_i+fy_i² - z_i) = 0
Soma (a+bx_i+cy_i+dx_i²+ex_iy_i+fy_i² - z_i)(x_i) = 0
Soma (a+bx_i+cy_i+dx_i²+ex_iy_i+fy_i² - z_i)(y_i) = 0
Soma (a+bx_i+cy_i+dx_i²+ex_iy_i+fy_i² - z_i)(x_i²) = 0
Soma (a+bx_i+cy_i+dx_i²+ex_iy_i+fy_i² - z_i)(x_iy_i) = 0
Soma (a+bx_i+cy_i+dx_i²+ex_iy_i+fy_i² - z_i)(y_i²) = 0

Passando as constantes para o segundo membro da igualdade de cada equação, teremos o sistema com 6 equações e 6 incógnitas:

a n    + b X1Y0 + c X0Y1 + d X2Y0 + e X1Y1 + f X0Y2 = Z1X0Y0
a X1Y0 + b X2Y0 + c X1Y1 + d X3Y0 + e X2Y0 + f X1Y2 = Z1X1Y0
a X0Y1 + b X1Y1 + c X0Y2 + d X2Y0 + e X1Y2 + f X0Y3 = Z1X0Y1
a X2Y0 + b X3Y0 + c X2Y1 + d X4Y0 + e X3Y1 + f X2Y2 = Z1X2Y0
a X1Y1 + b X2Y1 + c X1Y2 + d X3Y1 + e X2Y2 + f X1Y3 = Z1X1Y1
a X0Y2 + b X1Y2 + c X0Y3 + d X2Y2 + e X1Y3 + f X0Y4 = Z1X0Y2

onde n é o número de ternos ordenados e

• XpYq = x₁^p y₁^q + x₂^p y₂^q + ...+x_n^p y_n^q

• Z1XpYq = z₁x₁^p y₁^q + z₂x₂^p y₂^q +...+ z_nx_n^p y_n^q

sendo que p e q podem assumir os valores 0,1,2,3 ou 4.

Este sistema pode ser escrito na forma matricial:

Para resolver este sistema, sugiro que utilize uma planilha de cálculo. Existem muitas disponíveis gratuitamente na Internet. Em qualquer uma delas, deve-se montar a planilha como a que aparece abaixo, dando uma forte ênfase na última linha que é a mais importante e que contem as somas necessárias à montagem do sistema.

Após a construção da tabela acima, deve-se construir uma segunda tabela com a matriz aumentada do sistema. Nesta nova tabela aparecerão todas as somas calculadas na tabela anterior (indicadas na linha em amarelo) e pode-se observar que a nova matriz será simétrica:

Na sequência, deve-se obter a inversa da matriz dos coeficientes e multiplicá-la pela matriz das constantes para obter uma matriz com 6x1, que é exatamente a matriz dos coeficientes procurados:

Resolução de um problema prático

Consideremos os dados fornecidos na tabela:

Pergunta: Qual é a função matemática que relaciona as variáveis x e y com a variável z?

Resposta: Tentei obter uma função quadrática da forma:

z = a + b x + c y + d x² + e xy + f y²

que se ajustasse aos dados. Como a soma dos quadrados dos erros ficou muito grande, alterei a estratégia de análise.

Observei que os dados x e z eram grandes em relação aos dados y, assim, tomei os logaritmos naturais dos dados x e z e refiz todas as operações e obtive um ajuste muito bom!

Na sequência eu apresento alguns detalhes dos cálculos.

Os coeficientes calculados são:

a=-0,08519, b=0,069359, c=0,349672,
d=-0,0096, e=-0,01209, f=0,000927

A função deveria ser a seguinte:

z=-0,08519+0,069359x+0,349672y-0,0096x²-0,01209xy+0,000927y²

mas como eu usei Ln(x) e Ln(z), respectivamente nos lugares de x e z, então a forma que resolve o problema com grande precisão é:

Ln(z)=-0,08519+0,069359Ln(x)+0,349672y-0,0096(Ln(x))²-0,01209y.Ln(x)+0,000927y²

Para obter o valor de z, calculamos a exponencial de Ln(z) uma vez que a função exponencial é a inversa da função logaritmo natural.

	Construída por Ulysses Sodré.