InternationalJournalofForecasting16(2000)261–275
www.elsevier.com/locate/ijforecast
Correctorcombine?Mechanicallyintegratingjudgmentalforecasts
q
with statistical methods
*
Paul Goodwin
Faculty of Computer Studies and Mathematics
,
University of the West of England
,
Frenchay
,
Bristol BS
1
6
1
QY
,
UK
Abstract
Alaboratory experiment and two field studies were used to compare the accuracy of three methods that allow judgmental
forecasts to be integrated with statistical methods. In all three studies the judgmental forecaster had exclusive access to
contextual (or non time-series) information. The three methods compared were: (i) statistical correction of judgmental biases
using Theil’s optimal linear correction; (ii) combination of judgmental forecasts and statistical time-series forecasts using a
simple average and (iii) correction of judgmental biases followed by combination. There was little evidence in any of the
studies that it was worth going to the effort of combining judgmental forecasts with a statistical time-series forecast – simply
correcting judgmental biases was usually sufficient to obtain any improvements in accuracy. The improvements obtained
through correction in the laboratory experiment were achieved despite its effectiveness being weakened by variations in
biases between periods. Ó 2000 Elsevier Science B.V. All rights reserved.
Keywords
:
Judgmental forecasting; Combining forecasts
1. Introduction
in noise and to overreact to random movements
in series (O’Connor, Remus & Griggs, 1993).
Several studies have found that, in many
On the other hand, when it is known that special
contexts, both human judges and statistical
events will occur in the future, judgment can be
methods have valuable and complementary con-
used to anticipate their effects, while statistical
tributions to make to the forecasting process
estimation of these effects may be precluded by
(e.g., Blattberg & Hoch, 1990). For example,
the rarity of the events.
statistical methods are adept at filtering regular
The integration of judgmental forecasts with
time series patterns from noisy data while
statistical methods can be carried out in several
judgmental forecasters tend to see false patterns
ways. Voluntary integration involves supplying
the judgmental forecaster with a statistical fore-
cast, which the forecaster is then free to ignore,
q
An earlier version of this paper was presented at
accept or adjust. However, a recent study by
Nineteenth International Symposium on Forecasting,
Goodwin and Fildes (1999) found that judg-
Washington DC, June 1999.
mental forecasters carried out voluntary integra-
*Tel.:
1
44-117-965-6261; fax:
1
44-117-976-3860.
E-mail address
:
paul.goodwin@uwe.ac.uk (P. Goodwin)
tion inefficiently. They made deleterious adjust-
0169-2070/00/$ – see front matter Ó 2000 Elsevier Science B.V. All rights reserved.
PII: S0169-2070(00)00038-8
How to convert pdf to powerpoint - application control tool:C# Create PDF from PowerPoint Library to convert pptx, ppt to PDF in C#.net, ASP.NET MVC, WinForms, WPF
Online C# Tutorial for Creating PDF from Microsoft PowerPoint Presentation
www.rasteredge.com
How to convert pdf to powerpoint - application control tool:VB.NET Create PDF from PowerPoint Library to convert pptx, ppt to PDF in vb.net, ASP.NET MVC, WinForms, WPF
VB.NET Tutorial for Export PDF file from Microsoft Office PowerPoint
www.rasteredge.com
262
P
.
Goodwin / International Journal of Forecasting
1
6
(
2
0
0
0
)
2
6
1
2
7
5
ments to statistical forecasts when they were
of the campaign may reduce forecast accuracy.
reliable and ignored these forecasts in periods
Similarly, if correction is employed, estimates
when they formed an ideal baseline for adjust-
of judgmental biases that will occur in forecasts
ment. A similar study by Lim and O’Connor
for ‘special’ periods may be contaminated by
(1995) also found that forecasters tended to
the different types of biases observed in ‘nor-
underweigh statistical forecasts in favour of
mal’ periods, and vice versa. In practice, in-
their own judgments, even when their attention
formation about special events, and the fact that
was drawn to the superior accuracy of the
the judgmental forecaster used this information,
statistical forecasts.
may not be made explicit or recorded so that it
In the light of these concerns some research-
is not possible to remove its effects from the
ers have recommended that the integration
correction model or to suspend averaging with
should be carried out mechanically (Lawrence,
the statistical forecast when special events
Edmundson & O’Connor, 1986; Lim & O’Con-
apply. This is a particular danger because
nor, 1995). Combining and correction are two
mechanical integration methods are likely to be
methods of mechanical integration that have
most appropriate when employed by recipients
been proposed for situations where the forecasts
of judgmental forecasts rather than the fore-
1
are expressed as point estimates . Incombining
casters themselves (Goodwin, 1996).
the forecast is obtained by calculating a simple
This paper addresses two research questions
or weighted average of independent judgmental
in circumstances where the judgmental fore-
and statistical forecasts (Clemen, 1989). Cor-
caster has exclusive access to non-time series
rectionmethodsinvolvetheuseofregressionto
information that will have an impact on the
forecast errors in judgmental forecasts. Each
forecast variable.
judgmental forecast is then corrected by remov-
ing its expected error (e.g. see Theil’s optimal
1. What is the relative accuracy of forecasts
linear correction (Theil, 1971)). Correction has
obtained through (i) correction, using Theil’s
received less attention in the literature than
optimal linear correction, (ii) combination,
combination. However, arguably correction, in
using a simple average of judgmental and
its simplest forms, is more convenient in that it
statistical time series forecasts, and (iii)
does not require the identification, fitting and
using both approaches in tandem?
testing of an independent statistical method in
2. To what extent, if any, do these methods
addition to the elicitation of judgmental fore-
improve judgmental forecasts, even though
casts.
the judgmental forecaster has exclusive ac-
An obvious concern of using any of these
cess to non-time series information?
integration methods arises when the judgmental
forecaster has access to information about spe-
To answer these questions data was obtained
cial events that is not available to the statistical
from two sources. First the integration methods
method. For example, averaging a judgmental
were applied to judgmental forecasts made by
forecast, which reflects the expected high sales
subjects in a laboratory experiment. This data
that will result from a promotion campaign,
allowed the research questions to be explored
with a statistical forecast that takes no account
under a range of controlled conditions. Then, to
assess the extent to which the laboratory results
1
can be generalised, the methods were applied to
Note that the discussion here relates to integration of
judgmental sales forecasts made by managers in
judgment with statistical methods, not just statistical
forecasts.
two manufacturing companies.
application control tool:Online Convert PowerPoint to PDF file. Best free online export
Download Free Trial. Convert a PPTX/PPT File to PDF. Then just wait until the conversion from Powerpoint to PDF is complete and download the file.
www.rasteredge.com
application control tool:C# PDF Convert to Jpeg SDK: Convert PDF to JPEG images in C#.net
C# PDF - Convert PDF to JPEG in C#.NET. C#.NET PDF to JPEG Converting & Conversion Control. Convert PDF to JPEG Using C#.NET. Add necessary references:
www.rasteredge.com
P
.
Goodwin / International Journal of Forecasting
1
6
(
2
0
0
0
)
2
6
1
2
7
5
263
The paper is organised as follows. In the next
slope estimates, and, to make the correction as
Section, the theory underlying the mechanical
shown below:
integration methods is explored and examples of
ˆ
ˆ
Y
5
a
1
bF
(2)
t
t
the applications of these methods that have been
reported in the literature are reviewed. In the
so that
subsequent Section the laboratory experiment is
ˆ
ˆ
P
5
a
1
bF
(3)
t
t
outlined, and the results of the application of the
mechanical methods to the experimental data
whereY is the outcome at timet,F is the point
t
t
are presented and discussed. Following this, the
forecast for time t and P is the corrected
t
application of the methods to the industrial
judgmental point forecast for periodt.
forecasts is outlined and the results compared
Ahlburg (1984) found that the correction
with those from the laboratory study.
substantially improved forecasts of US prices
and housing starts, while Shaffer (1998) found
that correction of commercial forecasts of the
2. Background and theory
US implicit GNP price deflator reduced the
MSE of out-of-sample forecasts by either 15%
2
.
1
.
Correcting judgmental forecasts
or 25%, depending on the forecast lead time.
Similarly, Elgers, May and Murray (1995)
Theil (1971) showed that the mean squared
applied it to analysts’ company earnings fore-
error (MSE) of a set of forecasts can be
casts and reported that it reduced the MSEs
decomposed into three elements.
emanating from systematic bias by about 91%.
2
2
2
2
¯
¯
In a laboratory experiment, Goodwin (1997)
MSE
5
(Y
2
F)
1
(S
2
r
S )
1
(1
2
r
)S
F
Y
Y
(1)
found that the correction was most successful
Term1
Term 2
Term 3
where series had high levels of noise. In par-
¯
¯
hereY andF are the means of the outcomes and
ticular, for white noise series the correction had
point forecasts, respectively, S and S are the
F
Y
the effect of smoothing out the variation in the
standard deviations of the point forecasts and
judgmental forecasts which was caused by the
outcomes, respectively and
r
is the correlation
forecasters reacting to the random movements
between the point forecasts and outcomes.
in the series.
In this decomposition, Term 1 represents
mean (or level) bias. This is the systematic
2
.
2
.
Combining judgmental forecasts with
tendency of the forecasts to be too high or too
statistical forecasts
low. Term 2 represents regression bias. This
measures the extent to which the forecasts fail
The effectiveness of combining independent
to track the actual observations. For example,
judgmental and statistical forecasts has been
forecasts may tend to be too high when out-
examined in several studies (see Clemen (1989)
comes are low and too low when outcomes are
for a review). The general conclusion is that
high. Theil then showed that mean and regres-
combining improves forecast accuracy because
sion bias can be eliminated from a set of past
the constituent forecasts are able to capture
forecasts (i.e. forecasts for periods where the
‘different aspects of the information available
outcomes have been realised) by using an
for prediction’ (Clemen). Although it is possible
optimal linear correction. This simply involves
to use a weighted average to achieve the
regressing the actual outcomes on to the point
combination, estimating the appropriate weights
forecasts and using the resulting intercept and
when there is only a small data base of past
application control tool:VB.NET PDF Convert to Jpeg SDK: Convert PDF to JPEG images in vb.
Convert PDF to Image; Convert Word to PDF; Convert Excel to PDF; Convert PowerPoint to PDF; Convert Image to PDF; Convert Jpeg to PDF;
www.rasteredge.com
application control tool:VB.NET PDF Convert to HTML SDK: Convert PDF to html files in vb.
Convert PDF to HTML. |. Home ›› XDoc.PDF ›› VB.NET PDF: PDF to HTML. Convert PDF to HTML in VB.NET Demo Code. Add necessary references:
www.rasteredge.com
264
P
.
Goodwin / International Journal of Forecasting
1
6
(
2
0
0
0
)
2
6
1
2
7
5
2
observations is problematical (Bunn, 1987).
statistical forecasts,
s
is the variance of the
j
This is likely to be a common problem in
errors of the judgmental forecasts andr is the
industrial contexts, particularly in industries
correlation between the constituent forecasts’
where products are subject to rapid change and
errors
development (Watson, 1996). In fact, many
It can be shown that this implies that the
studies have found that a simple mean of the
variance of the errors of the combined forecasts,
two forecasts performs relatively well (de Men-
and hence the MSE, will only be lower than that
ezes, Bunn & Taylor, 2000). Moreover, Arm-
of the judgmental forecasts when:
strong and Collopy (1998) argue that the simple
2
0.5
s
r
1
(r
1
3)
j
mean is particularly appropriate where series
]
]
]
]
]
]
.
5
F
(5)
s
3
have high uncertainty and instability because,
s
under these conditions, there will be consider-
If it is also the case that:
able uncertainty as to which method is likely to
]
]
be most accurate. (Hereafter, the term ‘combi-
s
1
j
]
]
,
(6)
nation’ will refer to the simple mean of two
s
F
s
forecasts.)
When the constituent forecasts in a combina-
then the MSE of the combined forecast will be
tion are free of mean bias, the MSE of the
less than that of both the constituent forecasts.
]
]
]
]
]
]
]
]
forecasts is identical to the variance of the
Fig. 1 shows when combination will reduce the
forecast errors. In these circumstances, it is easy
MSE of either or both of the constituent fore-
to show that the variance of the forecast errors
casts for different values ofr. For example, if
2
of the combined forecasts,
s
,is given by:
the two sets of forecast errors are perfectly
c
2
2
2
negatively correlated then combination will
s
5
0.25(
s
1
s
1
2r
s
s
)
(4)
c
s
j
s j
improve both forecasts if
s
/
s
is greater than
j
s
2
where
s
is the variance of the errors of the
1/3 and less than 3. Essentially, the vertical axis
s
Fig. 1. Where combination improves constituent forecasts.
application control tool:C# powerpoint - Convert PowerPoint to PDF in C#.NET
C# PowerPoint - Convert PowerPoint to PDF in C#.NET. C# Demo: Convert PowerPoint to PDF Document. Add references: RasterEdge.Imaging.Basic.dll.
www.rasteredge.com
application control tool:C# PDF Convert to HTML SDK: Convert PDF to html files in C#.net
Convert PDF to HTML. |. C#.NET PDF SDK - Convert PDF to HTML in C#.NET. How to Use C# .NET XDoc.PDF SDK to Convert PDF to HTML Webpage in C# .NET Program.
www.rasteredge.com
P
.
Goodwin / International Journal of Forecasting
1
6
(
2
0
0
0
)
2
6
1
2
7
5
265
of the graph represents the relative inaccuracy
applying a correct then combine strategy involv-
of the judgmental forecasts when compared to
ing Theil’s correction might diminish the po-
the statistical forecasts, while the horizontal axis
tential gains of combination. First, Theil’s cor-
can loosely be interpreted as representing the
rection is also designed to remove regression
lack of new information brought to the process
bias from the MSE of the judgmental forecasts,
by the second forecasting method.
which will reduce the value of
s
/
s
in (5). This
j
s
means that after applying correction to the
judgmental forecasts the probability that combi-
2
.
3
.
Correcting judgmental forecasts before
nation will be exceed the threshold in (5) and
combining
thus improve accuracy is reduced. Put simply,
the correction might be so successful that
When the constituent forecasts in a combina-
subsequent combination cannot lead to further
tion suffer from mean bias the benefits of
improvements. Secondly, if Theil’s correction
combination will depend on the relative size and
successfully removes mean bias from future
¯
¯
sign of the forecasts’ mean errors (i.e. Y
2
F).
forecasts then it will also remove the potential
If the mean errors of the judgmental and
benefits of mean errors of opposite signs tend-
statistical forecasts are given respectively by
v
ing to cancel each other out in the combination.
andw, then the MSE of the combined forecast
Finally, it is possible that the smoothing effect
will be:
that Theil’s method has on the judgmental
2
2
2
forecasts (Goodwin, 1997) will increase the
MSE
5
0.25[(
s
1
s
1
2r
s
s
)
1
(
v1
w)]
s
j
s j
correlation of their errors with those of the
(7)
statistical forecasts. This would again reduce the
potential benefits of combination.
Thus if
v52
the bias of f one e forecast t will
Of course, the effectiveness of applying
cancel out that of the other. However, if the
correction to forecasts made for observations
statistical forecasts are unbiased, but the mean
that are yet to be realised depends on the
2
bias of the judgmental forecasts is
v
units then
validity of the assumption that the pattern of
the combination would only remove 75% of this
errors is stationary over time (Moriarty, 1985;
mean bias. Given the propensity of judgmental
Goodwin, 1997). In many practical situations
forecasts to suffer from biases (Bolger & Har-
the judgmental forecast errors are unlikely to be
vey, 1998), it may be beneficial to apply
stationary. For example, the pattern of errors in
correction to them before combining them with
periods where foreseeable special events will
the statistical forecasts – that is a correct-then-
occur may be different from the pattern in
combine strategy. Indeed, in their seminal paper
‘normal’ periods when the judge has access
on combination, Bates and Granger (1969)
only to time series information.
argued that forecasts should be corrected for
In order to compare the relative improve-
bias before being combined – although their
ments in accuracy that could be obtained from
suggested correction only involved the removal
mechanical integration methods, under condi-
of mean bias. Since Bates and Granger’s paper,
tions where the errors are unlikely to be station-
much of the published theory on combination
ary, the three strategies, (i) correct, (ii) combine
has been based on the presumption that the
and (iii) correct then combine, were first applied
constituent forecasts are unbiased (e.g. Bunn,
to judgmental forecasts obtained from a labora-
1987).
tory experiment. The details of this application
There are, however, a number of reasons why
are discussed in the following Section.
application control tool:VB.NET PDF Convert to Word SDK: Convert PDF to Word library in vb.
VB.NET PDF - Convert PDF to MS Office Word in VB.NET. VB.NET Tutorial for How to Convert PDF to Word (.docx) Document in VB.NET. Best
www.rasteredge.com
application control tool:VB.NET PDF Convert to Tiff SDK: Convert PDF to tiff images in vb.
VB.NET PDF - Convert PDF to TIFF Using VB in VB.NET. Free VB.NET Guide to Render and Convert PDF Document to TIFF in Visual Basic Class.
www.rasteredge.com
266
P
.
Goodwin / International Journal of Forecasting
1
6
(
2
0
0
0
)
2
6
1
2
7
5
3. Application of methods to experimental
time series signal) or ‘strong’ (extra sales
5
]
]
data
0.7
3
expenditure). Promotions occurred in
21 of the 71 quarters (12 in quarters requir-
3
.
1
.
Details of experiment
ing forecasts).
Judgmental forecasts were obtained from one
In post-promotion periods the underlying
of the treatments in an experiment reported by
time series observation was reduced by 50% of
Goodwin and Fildes (1999). Subjects in this
the previous promotion period’s effect. In prac-
treatment condition saw a computer screen
tice this might occur where consumers simply
displaying a graph of the last 30 quarterly sales
bring their purchases forward by one period
figures of a hypothetical product. These sales
because of the campaign, but reduce purchases
were occasionally affected by promotion cam-
in the subsequent period to compensate (Ab-
paigns and a bar chart showing past promotion
raham & Lodish, 1987). At the start of the
expenditures and details of any expenditure in
experiment subjects received written instruc-
the next quarter was also displayed. The sub-
tions which included advice from the ‘sales
jects were asked to use their judgment to
manager’. This informed them (i) whether or
produce one period ahead sales forecasts for the
not the sales had a seasonal pattern, (ii) that
next 40 periods. After each forecast had been
promotion campaigns might not have a strong
made the graphs were updated and subjects
effect on sales, but any positive effects were
restricted to the quarter in which the campaign
were informed of the sales that had occurred.
took place and (iii) that in quarters following
The sixteen subjects, who were finalists on a
effective promotion campaigns a negative effect
Business Decision Analysis degree course at the
on sales was to be expected. As an incentive, a
University of the West of England, were ran-
prize of £20 was offered for the most accurate
domly assigned to one of eight series which
forecasts, after taking into account the estimated
were obtained by varying:
level of difficulty associated with forecasting
(i) the complexity y of the underlying time
each series.
series signal – the simple e signal had a
When the judgmental forecasts (JUDGMEN-
]
]
constant mean of 300 units, while the
TAL) had been obtained their mechanical inte-
complex signal had an upward trend of 1.5
gration with statistical methods was carried out
]
]
]
units per quarter (starting from sales of 210
as follows. For each of the subjects, the first 15
units at period 0) with a multiplicative
of their forecasts were used to fit an initial Theil
seasonal pattern with seasonal indices of 0.7,
regression model (2). This was then used to
1.1, 1.3, and 0.9 for quarters 1 to 4, respec-
produce a corrected forecast for the next period.
tively;
After each period, this model was then recur-
(ii) the level of f noise e around d the signal –
sively updated to take into account the judg-
this was either ‘low’ (independently normal-
mental forecast and sales for that period. In this
]
ly distributed with a mean of 0 and a
way, one-period-ahead corrected forecasts were
standard deviation of 18.8) or ‘high’ (as low
generated for the last 25 periods (CORRECT).
]
]
noise, but with a standard deviation of 56.4);
The statistical time series forecasts were
(iii) the effectiveness of f the promotion ex-
obtained automatically by applying the expert
penditure – in n promotion periods this was
system in theForecastPro package (Stellwagen
either ‘weak’ (extra sales equal to 0.05
3
&Goodrich, 1994) to the first 45 observations
]
]
expenditure were added to the underlying
and using the selected method to produce one
P
.
Goodwin / International Journal of Forecasting
1
6
(
2
0
0
0
)
2
6
1
2
7
5
267
period ahead forecasts for the remaining 25
to be compared over a number of series. The
periods. Forecast Pro always recommended
accuracy of the three mechanical integration
either simple exponential smoothing or the
methods and the original judgmental forecasts
2
Holt–Winters method. Subsequently, two other
was compared by carrying out, separately for
sets of forecasts were obtained for the last 25
normal and promotion periods, a 2 (between
periods by taking i) the means of the judgmental
series type)
3
2 (between noise level)
3
2 (be-
forecasts and the statistical time series forecasts
tween promotion strength)
3
4(within forecast-
(COMBINE) and ii) the means of the Theil
ing method) repeated measures ANOVA on the
corrected judgmental forecasts and the statistical
MdAPEs (there were two replications for each
time series forecasts (CORRECT THEN COM-
treatment).
BINE).
Table 1 shows the mean MdAPEs for
normal periods (the mean MdAPE of the
]
]
]
]
]
statistical time series forecasts is also shown for
3
.
2
.
Results
comparison). There were no significant interac-
The forecasts for the last 25 periods were
tions involving forecasting methods in the
separated into three categories, depending on
ANOVA, but there was a highly significant main
the type of period that was being forecast:
effect (F
5
7.1328,P
5
0.0014). Comparisons
3,24
normal, promotion and post-promotion. The
of the methods, using Tukey’s honest significant
evidence of the original Goodwin and Fildes
difference (HSD) test, indicated that all three
(1999) study was that forecasters tended to
integration methods significantly improved on
forget about the post-promotion reduction in
the original judgmental forecasts (allP values
sales. As they were not therefore making use of
were
,
0.05). However, there were no signifi-
information that was unavailable to the statisti-
cant differences between the three integration
]
]
]
cal methods the results for post-promotion
methods.
periods are of limited interest in this study and
The mean MdAPEs for promotion periods are
]
]
]
will not be discussed here. However, as we shall
shown in Table 2 (for brevity these have simply
see, observations for post-promotion periods
been cross-tabulated with promotion effective-
still had an important influence on the fitting of
ness). When ANOVA was applied to this data
the statistical models.
there were two significant interactions involving
Forecast accuracy for the remaining types of
forecasting
method: series
3
noise
3
method
period was measured by calculating the median
(F
5
4.52,P
5
0.012) and series
3
promotion-
3,24
absolute percentage error (MdAPE) in forecast-
effectiveness
3
method (F
5
4.43, P
5
0.013).
3,24
ing the time series signal (i.e. the underlying
An analysis of these interactions, again using
time series signal plus any promotion effects –
Tukey’s HSD method, found that all of the
the forecasters and the statistical methods were
Table 1
not expected to forecast the noise in the series).
Mean MdAPEs of methods in normal periods
The MdAPE has been recommended as an error
measure by Armstrong and Collopy (1992)
Method
Mean MdAPE
when the accuracy of forecasting methods needs
JUDGMENTAL
11.06
CORRECTION
7.78
COMBINE
7.52
2
Forecast Pro has a facilityfor r handlingspecial events.
CORRECT THEN COMBINE
5.69
This was deliberately not used here in order to simulate
situations where non-time series information is available
Statistical time series
6.61
only to the judgmental forecaster.
268
P
.
Goodwin / International Journal of Forecasting
1
6
(
2
0
0
0
)
2
6
1
2
7
5
Table 2
integration methods means that there was no
Mean MdAPEs for promotion periods
evidence to suggest that there was anything to
Method
Weak
Strong
be gained by combining judgment with statisti-
promotion
promotion
cal time series forecasts – simply correcting
judgment appeared to be sufficient. The mech-
JUDGMENTAL
11.57
19.29
CORRECT
8.08
16.38
anics underlying these results are discussed
COMBINE
6.32
16.28
next.
CORRECT THEN COMBINE
4.43
16.68
In normal periods, when the judgmental fore-
]
]
]
]
]
casts tended to vary randomly around the signal
Statistical time series
5.84
20.90
– as forecasters reacted to each random move-
ment in the series, the integration methods
succeeded by ‘averaging out’ some of this
random variation (as Theil’s method did in
integration methods significantly improved on
Goodwin (1997)). This improved the consis-
judgment for the trend-seasonal series where
tency of the forecasts.
there was either high noise or where promotion
However, the Theil-corrected forecasts for
effects were weak (allP
,
0.05), though Theil’s
normal periods still had slight mean bias, with a
method failed to improve significantly on judg-
predominant tendency to forecast too high (e.g.
ment for the latter series. In all other cases,
the mean percentage error for flat series as
there was no significant difference between the
2
2.6%). This bias resulted from contamination
methods. Thus in promotion periods the integra-
of the regression model by observations for
tion methods never significantly degraded the
‘non-normal’ periods. Although this bias tended
accuracy of the judgmental forecasts and in
to be reduced by subsequent combination with
some cases improved accuracy, even though the
the statistical time series forecast (to
2
1.3% for
judgmental forecaster had exclusive access to
flat series), the improvements were not suffi-
information about forthcoming promotions.
cient to be significant.
In promotion periods, although the integra-
]
]
]
]
]
]
tion methods did not degrade the judgmental
3
.
3
.
Discussion of laboratory experiment
forecasts, they were also less successful in
results
improving them for series where the promotion
Three main results emerge from this labora-
effects were strong. This appears to be a result
tory experiment. First, even though data used by
of a combination of two factors – biased
the statistical methods was contaminated by
judgmental forecasts and integration methods
observations for special periods, all of the
weakened by the effect of observations for non-
integration methods were still effective in im-
promotion periods. Making forecasts for promo-
proving on the judgmental forecasts for normal
tion periods will have been particularly difficult
periods. Second, in promotion periods, despite
where the underlying time series was complex
judgmental forecasters having exclusive access
or subject to high levels of noise (Goodwin &
to non-time series information, the use of
Wright, 1993) and in these cases biases were
integration still led either to improvements over
likely to occur. For example, Table 3 shows the
unaided judgment, or at worst, did not diminish
median percentage errors in forecasting the
the accuracy of the forecasts. Third, the absence
signal in promotion periods for series where the
of significant differences between the three
promotion effect was strong. It can be seen that,
P
.
Goodwin / International Journal of Forecasting
1
6
(
2
0
0
0
)
2
6
1
2
7
5
269
Table 3
in promotion periods and low actual sales in
Median percentage error on signal of judgmental forecasts
post-promotion periods, thereby reducing the
for promotion periods when promotion effect was strong
explanatory power of the Theil regression
(note only promotion periods occurring in the last 25
model. Furthermore, in promotion periods
periods are considered here)
where promotion effects were strong, the
Subject Series type
Median
statistical time series forecasts were relatively
percentage error
less accurate and, since both these forecasts and
1
Flat, low noise
2
0.29%
the Theil-corrected forecasts tended to under-
2
Flat, low noise
5.81%
estimate sales, their errors were positively corre-
3
Flat, high noise
11.86%
lated. All of these factors were detrimental to
4
Flat, high noise
20.16%
the CORRECT THEN COMBINE method.
5
Trend, seasonal, low noise
22.05%
6
Trend, seasonal, low noise
10.53%
The laboratory experiment allowed the effec-
7
Trend, seasonal, high noise
25.50%
tiveness of the mechanical integration methods
8
Trend, seasonal, high noise
36.76%
to be assessed under controlled conditions.
However, the forecasting task employed in the
experiment may be atypical of many practical
forecasting situations. For example, it only
for the more complex and high noise series,
involved a single contextual cue (promotion
there was a substantial tendency to under fore-
expenditure) and hard data relating to this cue
cast. Theil’s method is, of course designed to
was supplied to the forecaster. In practice,
correct this type of bias, while the CORRECT
managers may base their forecasts on a multip-
THEN COMBINE strategy should have ensured
licity of cues from many sources (Lim &
that the time series pattern was represented in
O’Connor, 1996), while much of the infor-
the forecast.
mation relating to these cues may be ‘soft’, in
Despite this, there was evidence that the
that it is of questionable reliability, or presented
success of the mechanical integration methods
in an informal verbal manner. Furthermore, in
in promotion periods, where promotion effects
‘normal periods’ the pattern of sales in the
were strong, was blunted by contamination of
laboratory experiment followed a regular time
the models by observations for non-promotion
series pattern, undisturbed by external events. In
periods – in particular by observations for post-
some practical situations the entire time series
promotion periods. Recall that in post-promo-
may be disturbed by these events to the extent
tion periods a dip in sales was expected. It
that the time series pattern explains a relative
seems that, not only did subjects forget about
small percentage of the variation in the series.
this effect, but they also tended to make higher
Finally, the laboratory forecasts were only made
forecasts for post-promotion periods than for
for one period ahead (many organisations adopt
normal periods. On average, for series with
arolling forecast procedure) and the forecasters
strong promotion effects, judgmental forecasts
had no expert product knowledge or prior
for post-promotion periods were 11.5% higher
information on sales (e.g., as a result of con-
than those for normal periods! It appeared that
tracts already agreed).
subjects tended to anchor on the high sales
In order to test the integration methods in the
observed in the preceding promotion period.
more complex circumstances that may apply in
This meant that judgmental forecasts of high
many practical contexts judgmental sales fore-
sales were associated both with high actual sales
casts were obtained from two companies. The
270
P
.
Goodwin / International Journal of Forecasting
1
6
(
2
0
0
0
)
2
6
1
2
7
5
next Section describes the application of the
17 months, allowing months 19 to 29 (the last
methods to this data.
11 months) to be used for out-of-sample com-
parisons of the two-period ahead forecasts. As
before, the expert system on theForecastPro
package was used to obtain statistical time
4. Analysis of industrial data
series forecasts automatically and the package
selected simple exponential smoothing for all 15
4
.
1
.
European textile company
series. To allow Theil’s method some flexibility
Data was obtained on the monthly forecasts
to adapt to possible changes in judgmental
and sales of each of 15 products sold by a
biases over time to the regression equation used
European textile manufacturer for the period
in (2) was again recursively updated after each
January 1995 to May 1997 (29 observations).
month’s sales figure was known. The estimates
The company manufactures a large number of
ofa andb at timet were then used to correct
soft furnishing products for both small and large
the judgmental forecast made for the sales in
UK retailers, including one in-house customer.
montht
1
2.
Because the large customers usually specify
Note that the judgmental forecasters had
exact details of their requirements well in
several advantages over the statistical methods.
advance, sales forecasting is only required for
Not only did they have access to non-time series
smaller customers and the in-house customer.
information, but they could also delay their
The forecasts are produced by the company’s
forecasts until 6 weeks before the forecast
sales department, but used by the operations
period and so make use of informal and pre-
department to plan production. Preliminary fore-
liminary sales information that was available
casts are made six months ahead, but these are
within the statistical method’s two month lead
regularly fine-tuned as the forecast period ap-
time.
proaches. However, because manufacture of the
The out of sample MdAPEs of the forecasting
products takes six weeks, the ‘final’ forecasts,
methods, averaged over the 15 products, are
which are the ones analysed here, also have this
shown in Table 4. The use of significance tests
lead time.
should be treated with caution here as the
The company usually runs promotion cam-
products were not randomly selected and there
paigns for its products twice a year in May/
may be some dependence between the observa-
June and October/November, but customers
tions for the different products. Nevertheless, in
also run their own campaigns. Sales staff meet
the light of the laboratory results, significance
regularly with customers to obtain details of
tests were used to assess (i) whether Theil’s
their promotions and other sales information.
correction significantly improved the judgmen-
The forecasters indicated that they used both
tal forecasts and (ii) whether COMBINE or
this market information and past sales history
CORRECT THEN COMBINE led to any great-
(i.e. time series information) to arrive at their
er accuracy than Theil’s correction. A one-tailed
3
forecasts.
pairedt-test showed that Theil’s correction had
The three forecast integration methods were
a significantly lower mean MdAPE than the
applied to the data as follows. Because of the
six-week production time, the statistical meth-
3
ods could only have access to data up to month
Aone-tailed test on Theil’s method was considered to be
twhenaforecastformontht
1
2was required.
justified in the light of the evidence from the laboratory
The methods were fitted to the data for the first
study.
Documents you may be interested
Documents you may be interested