Capítulo 4 $AR(p)$: Proceso Autoregresivo

Los modelos autoregresivos se basan en la idea de que el valor actual de la serie $X_t$, puede explicarse en función de $p$ valores pasados $X_{t-1},X_{t-2},...X_{t-p}$, donde $p$ determina el número de rezagos necesarios para pronosticar un valor actual.

El modelo autoregresivo de orden $p$ está dado por:

$$X_t=\phi_0+\phi_1X_{t-1}+\phi_2X_{t-2}+...+\phi_pX_{t-p}+\epsilon_t$$

Expresado en términos del operador de retardos

$$X_t-\phi_0-\phi_1X_{t-1}-\phi_2X_{t-2}-...-\phi_pX_{t-p}=\epsilon_t \\-\phi_0+(1-\phi_1B-\phi_2B^2-\phi_3B^3-...-\phi_pB^p)X_t=\epsilon_t \\\phi_p(B)X_t=\epsilon_t+\phi_0$$

donde $\epsilon_t$ es un proceso de ruido blanco y $\phi_0,\phi_1,\phi_2,...\phi_p$ son parámetros del modelo.

4.1 Proceso Autoregresivo de orden 1: $AR(1)$

En los procesos $AR(1)$ la variable $X_t$ está determinada únicamente por el valor pasado, esto es $X_{t-1}$.

$$X_t=\phi_0+\phi_1X_{t-1}+\epsilon_t$$

Donde $\epsilon_t$ es un ruido blanco con media $0$ y con varianza $\sigma^2$ e independiente de $X_t$. Para verificar que sea estacionario (débilmente) se debe verificar la estacionalidad en media y covarianza.

4.1.1 Estacionario en Media

$$\begin{split} \mathbb{E}(X_t) &= \mathbb{E}(\phi_0+\phi_1X_{t-1}+ \epsilon_t)= \phi_0 + \phi_1 \mathbb{E}(X_{t-1}) + \mathbb{E}(\epsilon_t)\\ & = \phi_0 + \phi_1\mathbb{E}(X_{t-1})\\ \end{split}$$ Para que $X_t$ sea estacionario en la media se debe cumplir que $E(X_t)=E(X_{t-1})$

Entonces:

$$(1-\phi_1)\mathbb{E}(X_t)=\phi_0 \ \ \Longrightarrow \ \ E(X_t)= \frac {\phi_0}{1-\phi_1}$$ por lo tanto $E(X_t)=\frac {\phi_0}{1-\phi_1}$ y $\phi_1\neq1$.

4.1.2 Estacionario en Covarianza

Para que $AR(1)$ sea estacionario, la varianza tiene que ser constante y finita en el tiempo.

$$\begin{split} \gamma_0 &= Var(X_t)=\mathbb{E} \left[(X_t -\mathbb{E}(X_t))^{2}\right]\\ &= \mathbb{E}\left[(\phi_0+\phi_1X_{t-1}+\epsilon_t-\phi_0-\phi_1\mathbb{E}(X_{t-1}))^2\right]\\ & = \mathbb{E}\left[(\phi_1(X_{t-1}-\mathbb{E}(X_{t-1}))+\epsilon_t)^2\right]\\ & = \mathbb{E}\left[\phi_1(X_{t-1}-\mathbb{E}(X_{t-1}))^2+2\phi_1(X_{t-1}-\mathbb{E}(X_{t-1}))\epsilon_t+\epsilon_t^2\right]\\ & = \phi^2 \mathbb{E}\left[(X_{t-1}-\mathbb{E}(X_{t-1}))^2\right] +2\phi_1\mathbb{E}\left[X_{t-1}-\mathbb{E}(X_{t-1})\right]\mathbb{E}(\epsilon_t)+\mathbb{E}[\epsilon_t^2]\\ &= \phi_1^2 Var(X_{t-1})+ \sigma^2 \end{split}$$

Buscamos que $X_t$ sea estacionario en la varianza, por lo que bajo el supuesto de proceso estacionario:

$$\begin{split} &\Longrightarrow Var(X_t)=Var(X_{t-1})\\ &\Longrightarrow Var(X_t)= \gamma_0= \phi_1^2 Var(X_{t-1})+\sigma^2\\ &\Longrightarrow \gamma_0=\phi_1^2 \gamma_0+ \sigma^2 \Longrightarrow (1-\phi_1^2) \gamma_0=\sigma^2\\ &\Longrightarrow \gamma_0 = \frac{\sigma^2}{1-\phi_1^2} \end{split}$$

Véase que para que sea estacionario, con varianza constante y finita es necesario que $| \phi_1|< 1$. En resumen

$$Var(X_t)= \gamma_0 = \frac{\sigma^2}{1-\phi^2}$$

Respecto a la covarianza $Cov(X_t,X_{t-k})$ para $K=1,...$, se tiene lo siguiente

$$\begin{split} Cov(X_t,X_{t-k})&=\gamma_k = \mathbb{E}\left[(X_t-\mathbb{E}(X_t))(X_{t-k}-\mathbb{E}(X_{t-k}))\right]\\ & = \mathbb{E}\left[(\phi_1(X_{t-1}-\mathbb{E}(X_{t-1}))+\epsilon_t)(X_{t-k}-\mathbb{E}(X_{t-k}))\right]\\ & = \mathbb{E}\left[\phi_1(X_{t-1}-\mathbb{E}(X_{t-1}))(X_{t-k}-\mathbb{E}(X_{t-k}))\right] + \mathbb{E}\left[\epsilon_t(X_{t-k}-\mathbb{E}(X_{t-k}))\right]\\ & = \phi_1\mathbb{E}\left[(X_{t-1}-\mathbb{E}(X_{t-1}))(X_{t-k}-\mathbb{E}(X_{t-k}))\right] = \phi_1\gamma_{k-1} \end{split}$$

$$\begin{array}{lc} \mbox{Entonces: } & \begin{array}{c} \gamma_1= \gamma_0 \phi\\ \gamma_2 =\gamma_1\phi\\ \vdots \end{array} \end{array}$$

$\therefore AR(1)$ es estacionario en covarianza si $|\phi_1|<1$ y la función de covarianza será:

$$\gamma_k= \left\{ \begin{aligned} \frac{\sigma^2}{1-\phi_1^2} \ \ \ \ k=0\\ \phi_1 \gamma_{k-1} \ \ \ \ k>0 \end{aligned} \right.$$

Los coeficientes de correlación quedan determinados por la siguiente expresión:

$$\rho_k = \frac{Cov(X_t, X_{t-k})}{\sqrt{Var(X_t)}\sqrt{Var(X_{t-k})}} = \frac{\gamma_k}{\gamma_0} = \frac{\phi_1\gamma_{k-1}}{\gamma_0} = \phi_1\frac{\gamma_{k-1}}{\gamma_0} = \phi_1\rho_{k-1}$$

Por lo que la función de autocorrelación para $AR(1)$ es :

$$\rho_k= \left\{ \begin{aligned} 1 \ \ \ \ \ \ k=0\\ \phi \rho_{k-1} \ \ \ \ k\geq 1 \end{aligned} \right. = \left\{ \begin{array}{lr} 1 & k=0\\ \phi_1\frac{\gamma_{k-1}}{\gamma_o} & k\geq 1 \end{array} \right.$$

Observemos que para el modelo $AR(1)$, la función de autocorrelación es exponencial

$$\begin{split} \rho_0 &= 0\\ \rho_1&=\phi_1\rho_o=\phi_1\\ \rho_2&=\phi_1\rho_1=\phi_1^2\\ &\ \ \vdots\\ \rho_k&=\phi_1^k \end{split} \implies \rho_k= \left\{ \begin{array}{lr} 1 & k=0\\ \phi_1^2 & k\geq 1 \end{array} \right.$$

• Caso particular: $AR(1): X_t = \phi_1X_{t-1}+\epsilon_t$, es decir que $\phi_0 = 0$. Para este caso se tiene $\mathbb{E}(X_t) = \phi_1\mathbb{E}(X_{t-1})\implies(1-\phi_1)\mathbb{E}(X_t) = 0\implies\mathbb{E}(X_t) = \frac{0}{(1-\phi_1)} = 0$.

A continuación se muestran los resultados para un modelo $AR(1)$ de la siguiente forma $X_t=0.35X_{t-1}+\epsilon_t$

Además de las gráficas de Autocorrelación simple y parcial.

4.2 Proceso Autoregresivo de orden 2: $AR(2)$

En los procesos $AR(2)$ la variable $X_t$ está determinada por el valor pasado y el anterior a este.

$$X_t=\phi_0 + \phi_1 X_{t-1}+\phi_2 X_{t-2}+\epsilon_t$$

Donde $\epsilon_t$ es un ruido blanco (media cero y varianza $\sigma^2$). Asumiendo estacionariedad débil, se tiene que la media y la varianza del proceso serán las siguientes.

4.2.1 Estacionario en Media

Bajo el supuesto de estacionalidad:

$$\begin{split} & \mathbb{E}(X_t) = \mathbb{E}(X_{t-1}) = \mathbb{E}(X_{t-2})\\ \implies &(1-\phi_1-\phi_2)\mathbb{E}(X_t) = \phi_0\\ \implies &\mathbb{E}(X_t) = \frac{\phi_0}{1-\phi_1-\phi_2} \end{split}$$

$\therefore$ Para que sea estacionario, se tiene que cumplir que $1-\phi_1-\phi_2 \neq 0$.

4.2.2 Estacionario en Covarianza

$$\begin{split} \gamma_0 &= \mathbb{E}\left[(X_t-\mathbb{E}(X_t))^2\right]\\ & = \mathbb{E}\left[(\phi_0+\phi_1 X_{t-1}+\phi_2 X_{t-2}+\epsilon_t-\phi_0 -\phi_1\mathbb{E}(X_{t-1})-\phi_2 \mathbb{E}(X_{t-2}))^2\right]\\ & = \mathbb{E}\left[(\phi_1(X_{t-1}-\mathbb{E}(X_{t-1}))+\phi_2(X_{t-2}-\mathbb{E}(X_{t-2}))+\epsilon_0)^2\right]\\ & = \mathbb{E}[\phi_1^2(X_{t-1}-\mathbb{E}(X_{t-1}))^2 + 2\phi_1\phi_2(X_{t-1}-\mathbb{E}(X_{t-1}))(X_{t-2}-\mathbb{E}(X_{t-2}))\\ & \ \ \ \ \ \ \ \ + \phi_2^2(X_{t-2}-\mathbb{E}(X_{t-2}))^2+\epsilon_0^2+\cdots]\\ & = \phi_1^2\gamma_0+2\phi_1\phi_2\gamma_1+\phi_2^2\gamma_0+\sigma^2 \end{split}$$

Pero, véase lo siguiente

$$\begin{split} \gamma_1 &= \mathbb{E}\left[(X_{t}-\mathbb{E}(X_{t}))(X_{t-1}-\mathbb{E}(X_{t-1}))\right]\\ &=\mathbb{E}\left[(\phi_1(X_{t-1}-\mathbb{E}(X_{t-1}))+\phi_2(X_{t-2}-\mathbb{E}(X_{t-2}))+\epsilon_t)(X_{t-1}-\mathbb{E}(X_{t-1}))\right]\\ &= \mathbb{E}\left[\phi_1(X_{t-1}-\mathbb{E}(X_{t-2}))^2+\phi_2(X_{t-1}-\mathbb{E}(X_{t-1}))(X_{t-2}-\mathbb{E}(X_{t-2}))+\epsilon_t(X_{t-1}-\mathbb{E}(X_{t-1}))\right]\\ &=\phi_1\gamma_0+\phi_2\gamma_1\\ \implies &\gamma_1 = \frac{\phi_1}{(1-\phi_2)}\gamma_0 = \phi_1\gamma_0+\phi_2\gamma_1 \end{split}$$

En general la autocovarianza de orden $k$, para $k>1$ será:

$$\begin{split} \gamma_k &= \mathbb{E}\left[(X_{t}-\mathbb{E}(X_{t})(X_{t-k}-\mathbb{E}(X_{t-k})\right]\\ & = \mathbb{E}\left[(\phi_1(X_{t-1}-\mathbb{E}(X_{t-1}))+\phi_2(X_{t-2}-\mathbb{E}(X_{t-2}))+\epsilon_t)(X_{t-k}-\mathbb{E}(X_{t-k})\right]\\ &=\mathbb{E}\left\{[\phi_1(X_{t-1}-\mathbb{E}(X_{t-1}))][(X_{t-k}-\mathbb{E}(X_{t-k}))]\right\} + \mathbb{E}\left\{[\phi_2(X_{t-2}-\mathbb{E}(X_{t-2}))][(X_{t-k}-\mathbb{E}(X_{t-k}))]\right\} \\ & = \phi_1\gamma_{k-1}+\phi_2\gamma_{k-2} \end{split}$$

Entonces la función de autocovarianza de un modelo $AR(2)$ es la siguiente

$$\gamma_k = \left\{ \begin{array}{ccc} \gamma_0 & \mbox{ si }& k=0\\ \gamma_1 & \mbox{ si }& k=1\\ \phi_1\gamma_{k-1}+\phi_2\gamma_{k-2}& \mbox{si} & k>1\\ \end{array} \right.$$ Y la correspondiente función de autocorrelación de un modelo $AR(2)$ es:

$$\rho_k = \left\{ \begin{array}{ccc} 1 & \mbox{ si }& k=0\\ \frac{\gamma_1}{\gamma_0} = \frac{\phi_1}{1-\phi_2} & \mbox{ si }& k=1\\ \phi_1\rho_{k-1}+\phi_2\rho_{k-2}& \mbox{si}& k>1\\ \end{array} \right.$$

A continuación se da un ejemplo de un modelo $AR(2)$ de la siguiente forma $X_t=0.8X_{t-1}-0.4X_{t-2}+\epsilon_t$

Y al igual que para el ejemplo del modelo $AR(1)$, se agregan las gráficas de autocorrelación simple y parcial.

Algo interesante de tener los procesos en términos de operadores de retardos es que podemos obtener las condiciones de estacionariedad en $AR$ por las raíces del polinomio que se deriva de esta notación:

$$\begin{split} AR(1):& X_t = \phi_1 X_{t-1}+\epsilon_t\\ \implies & (1-\phi_1 B)X_t = \epsilon_t\\ \implies &B = \frac{1}{\phi_1}\implies |\phi_1|<1 \end{split}$$ $$\begin{split} AR(2):& X_t = \phi_1X_{t-1}+\phi_2X_{t-2}+\epsilon_t\\ \implies & (1-\phi_1B-\phi_2B^2)X_t = \epsilon_t \end{split}$$

Por lo que las raíces del polinomio $(1-\phi_1B-\phi_2B^2)$ serán $B^1, B^2 = \frac{\theta_1\pm\sqrt{\theta_1^2+4\theta_2}}{-2\theta_2}$.

Y gracias a todo esto, podemos interpretar que para que los procesos sean estacionarios, se solicita que las raíces estén fuera del círculo unitario, es decir: $|B^1|>1$ y $|B^2|>1$.