﻿

# c# pdf to image ghostscript : Create fillable form pdf online application software tool html windows web page online wbook10-part50

CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 90
estimates are similar, but the t−statistics are lower because they suer from
the heteroscedasticity. Our Gibbs sampled estimates take this into account
increasing the precision of the estimates.
elapsed_time =
11.5534
Gibbs estimates
Variable
Coefficient
t-statistic
t-probability
variable 1
1.071951
2.784286
0.006417
variable 2
1.238357
3.319429
0.001259
variable 3
1.254292
3.770474
0.000276
Sigma estimate =
10.58238737
Theil-Goldberger Regression Estimates
R-squared
=
0.2316
Rbar-squared
=
0.2158
sigma^2
=
14.3266
Durbin-Watson =
1.7493
Nobs, Nvars
=
100,
3
***************************************************************
Variable
Prior Mean
Std Deviation
variable 1
1.000000
1.000000
variable 2
1.000000
1.000000
variable 3
1.000000
1.000000
***************************************************************
Posterior Estimates
Variable
Coefficient
t-statistic
t-probability
variable 1
1.056404
0.696458
0.487808
variable 2
1.325063
0.944376
0.347324
variable 3
1.293844
0.928027
0.355697
Figure 3.1 shows the mean of the 1,000 draws for the parameters v
i
plotted for the 100 observation sample. Recall that the last 50 observations
contained a time-trend generated pattern of non-constant variance. This
pattern was detected quite accurately by the estimated v
i
terms.
One point that should be noted about Gibbs sampling estimation is
that convergence of the sampler needs to be diagnosed by the user. The
Econometrics Toolbox provides a set of convergence diagnostic functions
alongwithillustrations of their use in Chapter 5 of the manual. Fortunately,
for simple regression models (and spatialautoregressive models) convergence
of the sampler is usually a certainty, and convergence occurs quite rapidly.
Asimple approach to testing for convergence is to run the sampler once
to carry out a small number of draws, say 300 to 500, and a second time
to carry out a larger number of draws, say 1000 to 2000. If the means and
variances for the posterior estimates are similar from both runs, convergence
seems assured.
Create fillable form pdf online - C# PDF Form Data fill-in Library: auto fill-in PDF form data in C#.net, ASP.NET, MVC, WinForms, WPF
Online C# Tutorial to Automatically Fill in Field Data to PDF
create fillable forms in pdf; create a fillable pdf form online
Create fillable form pdf online - VB.NET PDF Form Data fill-in library: auto fill-in PDF form data in vb.net, ASP.NET, MVC, WinForms, WPF
VB.NET PDF Form Data fill-in library: auto fill-in PDF form data in vb.net, ASP.NET, MVC, WinForms, WPF
.net fill pdf form; c# fill out pdf form
CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 91
0
10
20
30
40
50
60
70
80
90
100
1
1.5
2
2.5
3
3.5
4
mean of vi-estimates
Figure 3.1: V
i
estimates from the Gibbs sampler
3.2 The Bayesian FAR model
In this section we turn attention to a Gibbs sampling approach for the
FAR model that can accommodate heteroscedastic disturbances and out-
liers. Note that the presence of a few spatial outliers due to enclave eects
or other aberrations in the spatial sample will produce a violation of nor-
mality in small samples. The distribution of disturbances will take on a
fat-tailed or leptokurtic shape. This is precisely the type of problem that
the heteroscedastic modeling approach of Geweke (1993) based on Gibbs
sampling estimation was designed to address.
The Bayesian extension of the FAR model takes the form:
y = Wy +"
(3.6)
"  N(0;
2
V)
VB.NET Create PDF from Word Library to convert docx, doc to PDF in
Edit Bookmark. Metadata: Edit, Delete Metadata. Form Process. Convert multiple pages Word to fillable and editable Easy to create searchable and scanned PDF files
auto fill pdf form fields; acrobat fill in pdf forms
VB.NET Create PDF from PowerPoint Library to convert pptx, ppt to
Bookmark. Metadata: Edit, Delete Metadata. Form Process. multiple pages PowerPoint to fillable and editable Create PDF file from PowerPoint free online without
change pdf to fillable form; add attachment to pdf form
CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 92
V = diag(v
1
;v
2
;:::;v
n
)
  N(c;T)
r=v
i
 ID 
2
(r)=r
r 
Γ(m;k)
  Γ(
0
;d
0
)
Where as in Chapter 2, the spatial contiguity matrix W has been stan-
dardized to have row sums of unity and the variable vector y is expressed
in deviations from the means to eliminate the constant term in the model.
We allow for an informative prior on the spatial autoregressive parameter
, the heteroscedastic control parameter r and the disturbance variance .
This is the most general Bayesian model, but practitioners would probably
implement diuse priors for  and .
Adiuse prior for  would be implemented by setting the prior mean
cto zero and using a large prior variance for T, say 1e+12. To implement
adiuse prior for  we would set 
0
=0;d
0
=0. The prior for r is based
on a Γ(m;k) distribution which has a mean equal to m=k and a variance
equal to m=k
2
.Recall our discussion of the role of the prior hyperparameter
r in allowing the v
i
estimates to deviate from their prior means of unity.
Small values for r around 2 to 7 allow for non-constant variance and are
associated with a prior belief that outliers or non-constant variance exist.
Large values such as r = 20or r = 50 would produce v
i
estimates that are all
close to unity, forcing the model to take on a homoscedastic character and
produce estimates equivalent to those from the maximum likelihood FAR
model discussed in Chapter2. This would make little sense | if we wished
to produce maximum likelihood estimates, it would be much quicker to use
the far function from Chapter2. In the heteroscedastic regression model
demonstrated in example 3.1, we set r = 4 to allow ample opportunity for
the v
i
parameters to deviate from unity. Note that in example 3.1, the v
i
estimates for the rst 50 observations were all close to unity despite our
prior setting of r = 4. We will provide examples that suggests an optimal
strategy for setting r is to use small values in the range from 2 to 7. If the
sample data exhibits homoscedastic disturbances that are free from outliers,
the v
i
estimates will reﬂect this fact. On the other hand, if there is evidence
of heterogeneity in the errors, these settings for the hyperparameter r will
allow the v
i
estimates to deviate substantially from unity. Estimates for the
v
i
parameters that deviate from unity are needed to produce an adjustment
in the estimated  and  that take non-constant variance into account or
robustify our estimates in the presence of outliers.
VB.NET Create PDF from Excel Library to convert xlsx, xls to PDF
Edit Bookmark. Metadata: Edit, Delete Metadata. Form Process. Create fillable and editable PDF documents from Excel Create searchable and scanned PDF files from
converting a word document to a fillable pdf form; create a pdf with fields to fill in
C# Create PDF from Excel Library to convert xlsx, xls to PDF in C#
Create fillable and editable PDF documents from Excel in both Create searchable and scanned PDF files from Excel. Export PDF from Excel with cell border or no
convert word form to fillable pdf form; create a pdf form that can be filled out
CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 93
Econometric estimation problems amenable to Gibbs sampling can take
one of two forms. The simplest case is where all of the conditional distri-
butions are from well-known distributions allowing us to sample random
deviates using standard computational algorithms. This was the case with
our heteroscedastic Bayesian regression model.
Asecond more complicatedcase that one sometimes encounters in Gibbs
sampling is where one or more of the conditional distributions can be ex-
pressed mathematically, but they take an unknown form. It is still possible
to implement a Gibbs sampler for these models using a host of alterna-
tive methods that are available to produce draws from distributions taking
non-standard forms.
One of the more commonly used ways to deal with this situation is
known as the `Metropolis algorithm'. It turns out that the FAR model
falls into this latter category requiring us to rely on what is known as a
Metropolis-within-Gibbs sampler. To see how this problem arises, consider
the conditional distributions for the FAR model parameters where we rely
on diuse priors, () and () for the parameters (;) shown in (3.7).
() / constant
(3.7)
() / (1=); 0 <  < +1
These priors can be combined with the likelihood for this model producing
ajoint posterior distribution for the parameters, p(;jy).
p(;jy) / jI
n
−Wj
−(n+1)
expf−
1
22
(y− Wy)
0
(y −Wy)g
(3.8)
If we treat  as known, the kernel for the conditionalposterior (that part
of the distribution that ignores inessential constants) for  given  takes the
form:
p(j;y) / 
−(n+1)
expf−
1
22
"
0
"g
(3.9)
where " = y − Wy. It is important to note that by conditioning on 
(treating it as known) we can subsume the determinant, jI
n
−Wj, as part
of the constant of proportionality, leaving us with one of the standard dis-
tributional forms. From (3.9) we conclude that 
2

2
(n).
Unfortunately, the conditional distribution of  given  takes the follow-
ing non-standard form:
C# Create PDF Library SDK to convert PDF from other file formats
Create fillable PDF document with fields. Preview PDF documents without other plug-ins. Able to download free trial and use online example source code in C#
converting a word document to pdf fillable form; convert word document to pdf fillable form
C# Create PDF from PowerPoint Library to convert pptx, ppt to PDF
Convert multiple pages PowerPoint to fillable and editable Easy to create searchable and scanned PDF files Export PowerPoint hyperlink to PDF in .NET console
change font size pdf fillable form; convert pdf to pdf form fillable
CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 94
p(j;y)/ 
−n=2
jI
n
−Wjf(y − Wy)
0
(y− Wy)g
−n=2
(3.10)
To sample from (3.10) we can rely on amethod called`Metropolis sampling',
within the Gibbs sampling sequence, hence it is often labeled `Metropolis-
within-Gibbs'.
Metroplis sampling is described here for the case of a symmetric normal
candidate generating density. This should work well for the conditional
distribution of  because, as Figure3.2 shows, a conditional distribution of
is similar to a normal distribution with the same mean value. The gure
also shows a t−distribution with 3 degrees of freedom, which would also
work well in this application.
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0
0.5
1
x 10-150
conditional distribution of r
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0
1
2
3
normal distribution
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0
1
2
3
t-distribution with 3 dof
Figure 3.2: Conditional distribution of 
To describe Metropolis sampling in general, suppose we are interested in
sampling from a density f() and x
0
denotes the current draw from f. Let
the candidate value be generated by y = x
0
+cZ, where Z is a draw from
astandard normal distribution and c is a known constant. (If we wished
C# Create PDF from Word Library to convert docx, doc to PDF in C#.
Convert multiple pages Word to fillable and editable PDF Easy to create searchable and scanned PDF files Change Word hyperlink to PDF hyperlink and bookmark.
convert pdf to fillable pdf form; fillable pdf forms
VB.NET Create PDF from OpenOffice to convert odt, odp files to PDF
Edit Bookmark. Metadata: Edit, Delete Metadata. Form Process. Create PDF document from OpenOffice Text Document with ODT, ODS, ODP forms into fillable PDF formats
add signature field to pdf; convert an existing form into a fillable pdf
CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 95
to rely on a t−distribution, we could simply replace Z with a random draw
from the t−distribution.)
An acceptance probability is computed using: p = minf1;f(y)=f(x
0
)g.
We then draw a uniform random deviate we label U, and if U < p, the next
draw from f is given by x
1
=y. If on the other hand, U  p, the draw is
taken to be the current value, x
1
=x
0
.
A MATLAB program to implement this approach for the case of the
homoscedastic rst-order spatial autoregressive (FAR) model is shown in
example 3.2. We use this simple case as an introduction before turning to
the heteroscedastic case. Note also that we do not rely on the sparse matrix
algorithms which we will turn attention to after this introductory example.
An implementation issue is that we need to impose the restriction:
1=
min
< < 1=
max
where 
min
and 
max
are the minimum and maximum eigenvalues of the
standardized spatial weight matrix W. We impose this restriction using an
approach that has been labeled `rejection sampling'. Restrictions such as
this, as well as non-linear restrictions, can be imposed on the parameters
during Gibbs sampling by simply rejecting values that do not meet the
restrictions (see Gelfand, Hills, Racine-Poon and Smith, 1990).
% ----- Example 3.2 Metropolis within Gibbs sampling FAR model
n=49; ndraw = 1100; nomit = 100; nadj = ndraw-nomit;
% generate data based on a given W-matrix
load wmat.dat; W = wmat; IN = eye(n); in = ones(n,1); weig = eig(W);
lmin = 1/min(weig); lmax = 1/max(weig); % bounds on rho
rho = 0.7;
% true value of rho
y = inv(IN-rho*W)*randn(n,1); ydev = y - mean(y); Wy = W*ydev;
% set starting values
rho = 0.5;
% starting value for the sampler
sige = 10.0; % starting value for the sampler
c = 0.5;
% for the Metropolis step (adjusted during sampling)
rsave = zeros(nadj,1); % storage for results
ssave = zeros(nadj,1); rtmp = zeros(nomit,1);
iter = 1; cnt = 0;
while (iter <= ndraw);
% start sampling;
e = ydev - rho*Wy; ssr = (e'*e);
% update sige;
chi = chis_rnd(1,n); sige = (ssr/chi);
% metropolis step to get rho update
rhox = c_rho(rho,sige,ydev,W);
% c_rho evaluates conditional
rho2 = rho + c*randn(1); accept = 0;
while accept == 0;
% rejection bounds on rho
if ((rho2 > lmin) & (rho2 < lmax)); accept = 1; end;
rho2 = rho + c*randn(1); cnt = cnt+1;
VB.NET Create PDF Library SDK to convert PDF from other file
Create fillable PDF document with fields in Visual Basic .NET Load PDF from stream programmatically in VB.NET. Free trial and use online source code are
auto fill pdf form from excel; convert word form to pdf with fillable
C# Create PDF from OpenOffice to convert odt, odp files to PDF in
Create PDF document from OpenOffice Presentation in both .NET WinForms and ODT, ODS, ODP forms to fillable PDF formats in Online source code for C#.NET class.
convert excel to fillable pdf form; pdf fillable forms
CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 96
end;
% end of rejection for rho
rhoy = c_rho(rho2,sige,ydev,W);
% c_rho evaluates conditional
ru = unif_rnd(1,0,1); ratio = rhoy/rhox; p = min(1,ratio);
if (ru < p)
rho = rho2;
end;
rtmp(iter,1) = rho;
if (iter >= nomit);
if iter == nomit
% update c based on initial draws
c = 2*std(rtmp(1:nomit,1));
end;
ssave(iter-nomit+1,1) = sige; rsave(iter-nomit+1,1) = rho;
end; % end of if iter > nomit
iter = iter+1;
end; % end of sampling loop
% print-out results
fprintf(1,'hit rate = %6.4f \n',ndraw/cnt);
fprintf(1,'mean and std of rho %6.3f %6.3f \n',mean(rsave),std(rsave));
fprintf(1,'mean and std of sig %6.3f %6.3f \n',mean(ssave),std(ssave));
% maximum likelihood estimation for comparison
res = far(ydev,W);
prt(res);
Rejection sampling is implemented in the example with the following
code fragment that examines the candidate draws in `rho2' to see if they
are in the feasible range. If `rho2' is not in the feasible range, another
candidate value `rho2' is drawn and we increment a counter variable `cnt'
to keep track of how many candidate values are found outside the feasible
range. The `while loop' continues to draw new candidate values and examine
whether they are in the feasible range until we nd a candidate value within
the limits. Finding this value terminates the `while loop'. This approach
ensures than any values of  that are ultimately accepted as draws will meet
the constraints.
% metropolis step to get rho update
rho2 = rho + c*randn(1); accept = 0;
while accept == 0;
% rejection bounds on rho
if ((rho2 > lmin) & (rho2 < lmax)); accept = 1; end;
rho2 = rho + c*randn(1); cnt = cnt+1;
end;
% end of rejection for rho
`c' used to produce the random normal candidate values. This is done by
using the initial nomit=100 values of `rho' to compute a new value for `c'
based on two standard deviations of the initial draws. The following code
CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 97
fragment carries this out, where the initial `rho' draws have been stored in
avector `rtmp'.
if iter == nomit
% update c based on initial draws
c = 2*std(rtmp(1:nomit,1));
end;
Consider also, that we delay collecting our sample of draws for the pa-
rameters  and  until we have executed `nomit' burn-in draws, which is
100 in this case. This allows the sampler to settle into a steady state, which
might be required if poor values of  and  were used to initialize the sam-
pler. In theory, any arbitrary values can be used, but a choice of good
values will speed up convergence of the sampler. A plot of the rst 100
values drawn from this example is shown in Figure3.3. We used  = −0:5
and 
2
=100 as starting values despite our knowledge that the true values
were  = 0:7 and 
2
=1. The plots of the rst 100 values indicate that even
if we start with very poor values, far from the true values used to generate
the data, only a few iterations are required to reach a steady state. This is
usually true for regression-based Gibbs samplers.
The function c
rho evaluates the conditional distribution for  given 
2
at any value of . Of course, we could use sparse matrix algorithms in this
functionto handle largedata sample problems,whichis the way we approach
this task when constructing our function far
gfor the spatial econometrics
library.
function yout = c_rho(rho,sige,y,W)
% evaluates conditional distribution of rho
% given sige for the spatial autoregressive model
n = length(y);
IN = eye(n); B = IN - rho*W;
detval = log(det(B));
epe = y*B'*B*y;
yout = (n/2)*log(sige) + (n/2)*log(epe) - detval;
Finally,we present results fromexecuting the code shown in example 3.2,
where bothGibbs estimatesbasedonthe meanof the 1,000draws for  and
as well as the standard deviations are shown. For contrast, we present max-
imum likelihood estimates, which for the case of the homoscedastic Gibbs
sampler implemented here with a diuse prior on  and  should produce
similar estimates.
Gibbs sampling estimates
hit rate = 0.3561
CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 98
0
10
20
30
40
50
60
70
80
90
100
-0.2
0
0.2
0.4
0.6
0.8
1
1.2
first 100 draws for rho
0
10
20
30
40
50
60
70
80
90
100
0.5
1
1.5
2
2.5
3
3.5
4
first 100 draws for sige
Figure 3.3: First 100 Gibbs draws for  and 
mean and std of rho 0.649 0.128
mean and std of sig 1.348 0.312
First-order spatial autoregressive model Estimates
R-squared
=
0.4067
sigma^2
=
1.2575
Nobs, Nvars
=
49,
1
log-likelihood =
-137.94653
# of iterations =
13
min and max rho =
-1.5362,
1.0000
***************************************************************
Variable
Coefficient
t-statistic
t-probability
rho
0.672436
4.298918
0.000084
The time needed to generate 1,100 draws was around 10 seconds, which
represents 100 draws per second. We will see that similar speed can be
achieved even for large data samples.
From the results we see that the mean and standard deviations from
CHAPTER 3. BAYESIAN SPATIAL AUTOREGRESSIVE MODELS 99
the Gibbs sampler produce estimates very close to the maximum likelihood
estimates, and to the true values used to generate the model data. The
mean estimate for  = 0:649 divided by the standard deviation of 0.128
implies a t−statistic of 5.070, which is very close to the maximum likelihood
t−statistic. The estimate of 
2
=1:348 based on the mean from 1,000 draws
is also very close to the true value of unity used to generate the model.
The reader should keep in mind that we do not advocate using the Gibbs
sampler in place of maximum likelihood estimation. That is, we don't re-
ally wish to implement a homoscedastic version of the FAR model Gibbs
sampler that relies on diuse priors. We turn attention to the more general
heteroscedastic case that allows for either diuse or informativepriors in the
next section.
3.2.1 The far
g() function
We discuss some of the implementation details concerned with construct-
ing a MATLAB function far
gto produce estimates for the Bayesian FAR
model. This function will rely on a sparse matrix algorithm approach to
handle problems involving large data samples. It will also allow for diuse
or informative priors and handle the case of heterogeneity in the disturbance
variance.
The rst thing we need to consider is that to produce a large number of
draws, say 1,000, we would need to evaluate the conditionaldistribution of 
2,000 times. (Note that we called this function twice in example 3.2). Each
evaluation would require that we compute the determinant of the matrix
(I
n
−W), which we have already seen is a non-trivial task for large data
samples. To avoid this, we rely on the Pace and Barry (1997) approach
discussed in the previous chapter. Recall that they suggested evaluating
this determinant over a grid of values in the feasible range of  once at the
outset. Given that we have carried out this evaluation and stored the de-
terminant values along with associated  values, we can simply \look-up"
the appropriate determinant in our function that evaluates the conditional
distribution. That is, the call to the conditional distribution function will
provide a value of  for which we need to evaluate the conditional distribu-
tion. If we already know the determinant for a grid of all feasible  values,
we can simply look up the determinant value closest to the  value and use
it during evaluation of the conditional distribution. This saves us the time
involved in computing the determinant twice for each draw of .
Since we need to carry out a large number of draws, this approach works
better than computing determinants for every draw. Note that in the case