Ch 1 to Ch 2.3

18 Pages
Unlock Document

University of Toronto St. George
Statistical Sciences
Zhou Zhou

Stationary Models 2 Let  X t  be a time series with  E [ ]t The mean function of  X t  is μ Xt)=E[X ] t { }t The covariance function of   is  γ r,s =Cov X ,X =E X −μ r X −μ s ∀r,s( ) ( ) X [ r s [( r X )( s X )] X t  is weakly stationary if 1. μ Xt)  is independent of  t ; and 2. γX(t,t+h)  is independent of  t  for each  h Note:  γ Xh)=γ (X,0)=γ (t ,X+h) ACVF and ACF Let  { }t  be a stationary time series The autocovariance function (ACVF) of  { }t  at lag  h  is γX(h)=Cov X ,[ t t+h] { t h The autocorrelation function (ACF) of   at lag   is γ (h) ρ Xh)= X =Corr X [X t t+h γ X( ) Properties of ACVF: 1. ∣γX(h)∣γ (X)∀h γX(h)=γ (Xh)∀h 2. Sample ACVF and ACF x1,x2,…,x n Let   be observations of a time series The sample autocovariance function is  n−∣∣ ̂X(h)= 1 ∑ (xt+h∣́ x)( t́ x),−n1 1,∧h=0 a ρXh = 2,∧h=±1 {1+a 0,∧∣h∣>1 First­order autoregression  t AR(1) X =aX +Z ,t=0,±1,… t t−1 t { } WN 0,σ ) ∣a∣<1 Z X s0  be a window size, then  ∀t ∈ [1,n ] ,  1 μ t ¿ A ∑ X i ti∈ At where  A t {t−m,t−m+1,…,t,t+1,… ∩ 1,2,…,n }  and  ¿ A t¿  the number of elements in  A t μ μtPμ t If the trend  t  is smooth and under some other mild conditions, then  → If  Y t  is stationary, then X tμ t  will be approximately stationary 2. Removing the trend by differencing Define the lag­1 difference operator  ∇  by  ∇X =Xt−X t t−1=(1−B)X t B B X tX t−1 where   is the backward shift operator  μ =a+bt Suppose  t  is a linear trend Then  ∇X =t −X t t−1a+bt+Y − a+t(t[1)+Y t−1]b+ Y (Y t t−1) Since  Y tY t−1  is a stationary process, therefore ∇ X t  is a stationary process 2 p Suppose  μt=a 0a t+1 t +2+a t p  is a polynomial trend of degree  p p Then we can apply  ∇  to  X t   p  times:  ∇ X t Classical Decomposition Model: X =μ +s +Y t t t t d E [ ]0,s =s , ∑ s =0 where  t t+d t j=1 t s d t  is a function with known period   referred as a seasonal component 1. Estimate and subtract the seasonal trend Estimate  st  by ̂ = 1 X t ¿ A i∈ A i t t A = {k∣k ∈Z,1≤k≤n,k−t canbedividedbyd¿=1,1+d,1+2d,…,1+ ⌈ n ⌉ −1 d where  t ( d ) ̂tPs t Under some mild conditions,  → Then  X t̂ st  is approximately stationary 2. Removing the seasonal trend by differencing ∇ d Use the lag­d differencing operator   defined by d ∇ d =t −X t t−d= 1−B X ) t d d (Not to be confused with  ∇ = (1−B ) ) Apply  ∇ d  to  X t , and since  st=s t−d ∇ d =t −μ t t−d+Y −t t−d μ −μ ∇ which is now a nonseasonal model with trend  t t−d  which can be eliminated using  Testing the Estimated Noise Sequence 1. Sample ACF n Y ,…,Y IID 0,σ 2) N 0, 1 For large  , sample autocorrelations of  n  are approx. iid ( ) n If  y1,… y n  is a realization of such an iid sequence, then about 95% of the sample autocorrelations  1.96 should fall between the bounds  , therefore it is an uncorrelated sequence √n ± 1.96 Why  √ n ? Suppose  X1,…,X n IID 0,σ2) Due to law of large numbers,  ≈0 n n ∑ (X iX X)( i+hX ́) ∑ X i i+h ρ (h)= i=1 ≈ i=1 X n 2 n 2 ∑ (X iX ́) ∑ X i i=1 i=1 n 1 X X √ ni=1 i i+h √nρ Xh)≈ n 1 2 n∑i=1Xi PE X =σ 2 Denominator  → [ ]i 1 n 2 4 By CLT   ∑ X i i+h N 0,σ ) , so  Var [ i i+h]σ √n i=1 → Theorem (for STA347) 2 X1,…, X n  weakly stationary time series, ]iμ ,  Var [ iσ 2 √n X−μ D N(0,τ ) → 2 Var(X 1…+X n) τ =n→∞ n Apply this theorem to the numerator n−h ∑ Var [ i i+h] 4 Var [ 1 1+h…+X n−hX n]= i=1 = n−h σ) =σ 4 n−h n−h n−h DN 0,σ 4) Numerator  → So, by Slutsky’s Theorem 4 N 0,σ ) √nρ Xh)D→ 2 =N (0,1) σ ̂ ( ) Pr[−1.96≤ n√ h X1.96 =0.9] ± 1.96 Therefore bandwidth is  √n 2. Ljung­Box test for white noise Test statistic:  h 2 ρ ( j) QLBn(n+2) ∑ n− j j=1 ( 2) If the residuals N 0,σ , then  2 QLB χh Q Reject null hypothesis if B  is too large 3. Check normality Plot the normal QQ plot of the residuals  If the normal assumption is correct, then the normal QQ plot should be approximately linear Forecasting Stationary Processes To forecast  X n+1 , minimize the mean squared error
More Less

Related notes for STA457H1

Log In


Don't have an account?

Join OneClass

Access over 10 million pages of study
documents for 1.3 million courses.

Sign up

Join to view


By registering, I agree to the Terms and Privacy Policies
Already have an account?
Just a few more details

So we can recommend you notes for your school.

Reset Password

Please enter below the email address you registered with and we will send you a link to reset your password.

Add your courses

Get notes from the top students in your class.