Processos estocásticos

Processo 0/1 e AR1

1 Um processo estocástico com dois estados.

Crie um vetor \(u\) de 200 elementos em que o primeiro elementos é 0 ou 1, com mesma probabilidade, e os valores seguintes são dados por: \[ U_t = \begin{cases} U_{t-1} & \text{com probabilidade } p \\ 1 - U_{t-1} & \text{com probabilidade } (1-p) \end{cases} \]

1.1 Caracterizando o processo

• Obtenha vetores de dados para \(p = 0,10; 0,25; 0,50; 0,75\) e \(0,90\).
• Faça um gráfico dos valores gerados em cada caso.
• Proponha um estimador e estime \(p\) a partir da sequência gerada em cada caso.
• Investigue as propriedades deste estimador de \(p\)

Desenvolvimento

O gráfico a seguir mostra uma realização de \(u\) com \(p = 0,75\).

Dados gerados pelo processo e utilizados como exemplo.

1.2 Investigando o estimador e suas propriedades

Vamos explorar o processo e propriedades de estimador(es) usando simulação.
Para uma seleção de valores da probabilidade \(p\) faça um procedimento para verificar/obter numericamente, usando simulações:

• a não tendenciosidade do estimador,
• a variância do estimador,
• a distribuição amostral,
• a consistência do estimador.

Veja no final desta página uma rápida revisão das propriedades dos estimadores.

Desenvolvimento

Vamos iniciar definindo uma função que simula uma realização do processo e estima o valor do parâmetro \(p\) para a série simulada. Na sequência repetimos a simulação 10000 vezes para \(p = 0,75\), obtendo então 10000 valores estimados de \(p\) que são resumidos no histograma (original e suavizado) no gráfico à esquerda a seguir. A linha tracejada é uma distribuição normal ajustada aos valores das estimativas. O gráfico sugere não tendenciosidade pois o valor médio das estimativas é muito próximo do valor verdadeiro \(p = 0,75\). Para os valores usados na simulação de \(p = 0,75\) e \(n = 200\) a distribuição amostral é próxima da normal. Simulações análogas mostram que o padrão também ocorre para outros valores da \(p\) que não estejam muito próximos dos extremos do espaço paramétrico \([0,1]\).

geraU.p <- function(p, n){
    u <- numeric(n)
    u[1] <- sample(0:1, 1)
    for(i in 2:n)
        u[i] <- ifelse(runif(1) < p, u[i-1], abs(1-u[i-1]))
    return(1-mean(abs(diff(u))))
}
sim.p <- replicate(1e4, geraU.p(p = 0.75, n = 200))
mean(sim.p)
## [1] 0.7499281
par(mfrow = c(1,2))
hist(sim.p, prob = TRUE, main = "", nclass = 25 )
lines(density(sim.p))
curve(dnorm(x, mean(sim.p), sd(sim.p)), lty = 2, col = 4, add = TRUE)
abline(v = 0.75, lwd = 2, col = "red")

Distribuição amostral obtida por simulação com p = 0,75 e n = 200.

Uma outra visualização das simulações é um gráfico que mostra o valor da média das estimativas de \(p\) (\(\bar{\hat{p}}\))para incrementos no tamanho da amostra. A figura a seguir mostra a sequencia de \(n = 1\) a \(n = 10000\) (esquerda) e \(n = 10\) a \(n = 10000\) (direita).

par(mfrow = c(1,2), mar=c(3.5,3.5,1,0.5), mgp = c(1.5,0.7,0))
n.seq <- seq_along(sim.p)
plot(n.seq, cumsum(sim.p)/n.seq, type = "l", ylab = expression(bar(hat(p))))
abline(h = 0.75)
plot(n.seq[-(1:10)], (cumsum(sim.p)/n.seq)[-(1:10)], type = "l", ylab = expression(bar(hat(p))))
abline(h = 0.75)

Valor médio das estimativas do parâmetro para incrementos no número de amostras.

O comportamento da distribuição amostral para diferentes valores do parâmetro \(p\) é ilustrado no gráfico a seguir obtido com \(n = 200\). O comportamento é semelhante ao descrito anteriormente, com menor variabilidade para valores próximos aos limites do intervalo \([0, 1]\).

Distribuições amostrais para diferentes valores do parâmetro p.

A seguir investigamos o comportamento para diferentes tamanhos de sequências \(n\), repetindo a simulação 10000 vezes para \(p = 0,75\) e cada uma dos tamanhos de sequencia \(n = 100, 200, 500, 1000, 2000, 3500 \text{ e } 5000\). Os gráficos mostram duas visualizações do comportamento do estimador e sua distribuição amostral. As distribuições vão se concentrando à medida que o tamanho amostral aumenta, a variância da estimativa diminui com o tamanho da amostra sugerindo consistência. O gráfico da direita mostra como o desvio padrão das estimativas se reduz em função de tamanhos de sequencias mostrando que há redução da variabilidade com o aumento do tamanho de amostra, porém com ganhos decrescentes.

Comportamento do estimador para p = 0,75 e diferentes tamanhos n de sequencias.

2 Processo contínuo

No exemplo anterior simulou-se de um processo de estados discretos (0/1). Vejamos agora a simulação de um processo de estado dados por uma v.a. contínua \[ Y_t = \mu + \rho (y_{t-1} - \mu) + \epsilon_t \] em que \(\epsilon_t \sim \text{N}(0, \sigma^2).\)
Vamos considerar aqui o caso particular de \(\mu = 0\) e \(\sigma = 1\), no qual temos apenas um parâmetro \(\rho\) e a expressão do modelo fica: \[ Y_t = \rho y_{t-1} + \epsilon_t .\] Explore este modelo de forma análoga à feita no problema anterior.

Apêndice: Propriedades de estimadores

Seja \(T\) um estimador de um parâmetro \(\theta\).

1. O estimador é dito não-viciado para \(\theta\) se \({\rm E}[T] = \theta\).
2. A variância do estimador é \({\rm E}[(T - \text{E}[T])^2]\) e o erro padrão é a raiz quadrada deste valor.
3. O erro quadrático médio (MSE de sigla em inglês) é \({\rm MSE}(T) = {\rm E}[(T - \theta)^2] = {\rm Var[T]} + (\text{E}(T) - \theta)^2\).
4. Um estimador \(T_2\) é dito mais eficiente que \(T_1\) se \(\text{Var}(T_1) > \text{Var}(T_2)\) para todos valores de \(\theta\).
5. \(T\) é dito consistente se \(\underset{n \to \infty}{\lim} \text{Pr}(|T_n - \theta| > \epsilon) = 0\).