mvc display pdf in view : Convert pdf to openoffice text control Library system web page .net asp.net console MME6130-part1375

SO CIA L I MPACT
june 2013
nu m b e r   1
The Mixed Methods Approach to Evaluation
Michael Bamberger
1
www.socialimpact.com
SOCIAL IMPACT
si ConCept note SerieS
Executive summary
Over the past decade there has been an increased demand for mixed-methods evaluations to better 
understand the complexity of international development interventions and in recognition of the 
fact that no single evaluation methodology can fully capture and measure the multiple processes and 
outcomes that every development program involves. At the same time, no consensus has been reached 
by policy makers and evaluation practitioners as to what exactly constitutes a mixed-methods approach. 
周is SI Concept Note aims at helping that discussion by defining mixed-methods as evaluation 
approaches that systematically integrate quantitative and qualitative research methodologies at all stages 
of an evaluation. 周e paper further discusses the most important strengths and weaknesses of mixed-
methods approaches compared to quantitative and qualitative only evaluations and lists a number 
of implementation challenges and ways to address them that may be useful to both producers and 
consumers of performance and impact evaluations.
Senior Adviser for Evaluations at Social Impact. 周e author would like to thank Kyle Block, Chiara Cruciano, Luca Etter, Leslie Greene and Danae 
Roumis for their valuable inputs and feedback.
Cover Picture: SI mixed-methods performance evaluation of the USAID Growth with Equity in Mindanao III (GEM-3) project in the Philippines.  
Photo Credit: Dr. Mary Judd, Team Leader for GEM-3 Evaluation, SI.
Convert pdf to openoffice text - control Library system:C# PDF Convert to Text SDK: Convert PDF to txt files in C#.net, ASP.NET MVC, WinForms, WPF application
C# PDF to Text (TXT) Converting Library to Convert PDF to Text
www.rasteredge.com
Convert pdf to openoffice text - control Library system:VB.NET PDF Convert to Text SDK: Convert PDF to txt files in vb.net, ASP.NET MVC, WinForms, WPF application
VB.NET Guide and Sample Codes to Convert PDF to Text in .NET Project
www.rasteredge.com
2
The Mixed Methods Approach to Evaluation
SI ConCEpT noTE SErIES
2
The mixed methods Approach to evaluation
SI ConCepT noTe SerIeS
section i –Defining Mixed Methods
Mixed methods is an evaluation approach that involves 
the systematic integration of different methodologies 
and methods
at all stages of an evaluation.  周e mixed 
methods approach normally refers to evaluation designs 
that combine Quantitative (QUANT) and Qualitative 
(QUAL) methods, but some evaluators also use the 
term to include evaluations that combine a number of 
different QUANT methods.
Unless otherwise stated 
we will be discussing the most common usage, namely 
the combination of QUANT and QUAL methods and 
define a mixed methods evaluation as:  
An approach to evaluation that systematically 
integrates QUANT and QUAL methodologies 
and methods at all stages of an evaluation.
It is important to distinguish the systematic integration 
of QUANT and QUAL methodologies and methods 
from the many evaluations that combine QUANT 
and QUAL methods in an ad hoc manner.  For 
example, an evaluation that complements a QUANT 
household survey with a few case studies or focus 
groups that are selected in an unsystematic manner 
making it difficult to know if the selected cases or focus 
groups are representative of the population covered 
by the household survey would not be considered an 
appropriate application of the mixed methods approach.
Mixed methods can be used to strengthen monitoring 
and evaluation approaches used to assess any stage of 
a development program – including diagnostic and 
planning studies, constructing baseline data, assessment 
of program implementation, and evaluating outcomes 
and impacts. 
section ii—Rationale for Mixed 
Methods Evaluation
周ere has been a rapidly growing interest in mixed 
methods approaches to evaluation over the past 
decade.  周is is evidenced by the launch of several 
journals, books, handbooks, and websites. It is also an 
increasingly common practice in Calls for Proposals 
(sometimes referred to as Requests for Proposals, RFPs) 
and development agency evaluation guidelines to 
require the use of mixed methods.  Perhaps the main 
reason for this growing interest is the recognition that 
no single evaluation methodology can respond to the 
many different kinds of evaluation questions of interest 
to clients and stakeholders, nor can any single design 
address the increasing complexity of development 
interventions.
4
For example:
•  Programs operate in complex and changing social, 
economic, ecological and political contexts and 
no single evaluation methodology can adequately 
describe the interactions among all of these different 
factors.
5
•  Program implementation and outcomes are affected 
by a wide range of historical, economic, political, 
cultural, organizational, demographic and natural 
environmental factors, all of which require different 
methodologies for their assessment.
•  Programs also produce a range of different outcomes 
and impacts, many of which require different 
methodologies for measurement and assessment.
•  Many  important outcomes such as poverty, 
vulnerability, security and empowerment combine 
a number of different dimensions, which can be 
difficult to observe and measure (such as who 
no single evaluation approach can fully 
understand and respond to the complexities 
of most development interventions.  
understanding how development really works 
requires the integration of a wide range of 
evaluation tools and techniques drawn from 
multiple disciplines.
周e term “methodology” refers to the overall approach of the evaluation design (for example, using triangulation to compare estimates obtained from three different methods 
of data collection), while “method” refers to a particular technique such as the use of focus groups or participant observation or a household survey.
eoretically one could also use the term mixed methods to refer to an evaluation that uses a number of different QUAL methods, but the term is rarely used in this way.
We will use “programs” as shorthand for projects, programs and more complex development interventions except where we wish to distinguish between different levels of 
complexity.
Many evaluations refer to all of the complex interactions among these contextual factors as part of the “system” in which the program is implemented, and there is anextensive 
literature on how systems analysis addresses the interactions among all of these factors.  See for example B. Williams and R. Hummelbrunner’s Systems Concepts in Action: A 
practitioner’s toolkit.  Standford University Press, 2010. 
control Library system:C# Create PDF from OpenOffice to convert odt, odp files to PDF in
in C#.NET. Convert OpenOffice Text Document to PDF with embedded fonts. Export PDF from OpenOffice Spreadsheet data. Create PDF document
www.rasteredge.com
control Library system:VB.NET Create PDF from OpenOffice to convert odt, odp files to PDF
conversion. Create PDF document from OpenOffice Text Document with embedded fonts. Convert OpenOffice Spreadsheet data to PDF. Export
www.rasteredge.com
3
The Mixed Methods Approach to Evaluation
SI ConCEpT noTE SErIES
controls the use of household productive resources, 
domestic violence, sexual harassment and leadership 
styles).  An important application of mixed methods 
is to combine a number of different methods for 
collecting and interpreting data on a key outcome.  
Triangulation (discussed in Section VII) is then used 
to compare the estimates obtained from different 
methods and to assess whether they are consistent 
with each other.
6
•  Even seemingly simple projects often involve 
complex processes of organizational and behavioral 
change.  While this may seem obvious, many 
evaluations of “simple” projects do not take these 
complex processes into account and simply conduct 
a pretest-posttest comparison of the project and 
control group population – ignoring the influence of 
contextual factors. 周is is an example where a rapid 
and economical mixed methods design can greatly 
enhance the evaluation.
•  Programs change in response to how they are 
perceived and received by different sectors of the 
target (and non-target) population, and observing 
these processes of behavioral change often requires 
the application of different methodologies.
7
•  Even when the focus of the evaluation is on the 
assessment of outcomes and impacts, it is almost 
always necessary to assess the processes and quality of 
implementation – requiring different methodologies 
to those used to assess outcomes (and impacts).
section iii—Using mixed methods to 
assess impacts and outcomes – impact 
Evaluation and Performance Evaluation 
Mixed methods approaches can be used to strenghten 
both performance and impact evaluations, however, 
it is important to note the distinction between the 
two. Many organizations make a distinction between 
rigorous impact evaluations that require the use of 
experimental or quasi-experimental designs and other 
kinds of performance evaluations of the achievement of 
goals, outcomes or objectives. Performance evaluations 
rely less on statistically rigorous methodologies, and 
are often also called results-based evaluations, rapid 
evaluations, ex-post or retrospective evaluations.
When rigorous statistical designs can be used, the 
methodology for assessing the contribution of 
the intervention to the observed outcomes is well 
understood.  However, the process of assessing the 
contribution of a program intervention to desired 
goals and outcomes for other kinds of performance 
assessments is much more challenging and there is no 
standard and widely accepted set of methodologies.
USAID evaluation policies and guidelines, for example, 
distinguish between impact evaluations and performance 
evaluations.  An impact evaluation is defined as:
“Impact evaluations measure the change in a 
development outcome that is attributable to a 
defined intervention; impact evaluations are 
based on models of cause and effect and require a 
credible and rigorously defined counterfactual to 
control for factors other than the intervention that 
might account for the observed change. Impact 
evaluations in which comparisons are made 
between beneficiaries that are randomly assigned to 
either a “treatment” or a “control” group provide 
the strongest evidence of a relationship between 
the intervention under study and the outcome 
measured.” 
Ideally, impact evaluations are planned and designed 
before an intervention occurs, and analysis is produced 
at or after project completion and is used to plan or 
scale-up future projects.  In contrast performance 
evaluation is defined: 
“…as a range of evaluation options that can be 
produced at any phase of the program cycle to 
improve performance.”
When estimates obtained from different methods appear not to be consistent, this often leads to a deeper understanding of the concepts being studied.  For example, using 
different methods to explore the concept of “poverty” will often reveal that many women are equally concerned about vulnerability and lack of access to a social support 
network as are men. 
Realist evaluation is gaining popularity as a way to understand these complex processes of behavioral change (see R. Pawson and N. Tilly 1997 Realist Evaluation. Sage 
Publications)
control Library system:C# HTML5 Viewer: Load, View, Convert, Annotate and Edit OpenOffice
Text file are allowed to be rotated. OpenOffice Conversion. • By using C#.NET RasterEdge HTML5 Viewer, users can perform these conversions: convert ODT to PDF
www.rasteredge.com
control Library system:C# WinForms Viewer: Load, View, Convert, Annotate and Edit
C# WinForms Viewer: Load, View, Convert, Annotate and Features for Processing OpenOffice, CSV and Text file Except to process PDF, Microsoft Office documents
www.rasteredge.com
4
The Mixed Methods Approach to Evaluation
SI ConCEpT noTE SErIES
Performance evaluations can address a range of 
questions relating to program relevance, program 
implementation mechanisms, participatory and 
consultative processes and lessons learned.  Many 
of these questions relate to the extent to which the 
program is achieving its intended results and reaching 
the intended target populations.  However, they are 
framed in a broader context as they also ask what 
the program is actually doing and delivering.  For 
most programs within USAID, as in many other 
organizations, questions about impacts, effects, 
outcomes or results will be addressed through 
performance evaluation and without access to more 
rigorous impact evaluation methodologies.  Normally 
performance evaluations will use non-experimental 
designs and weaker quasi-experimental designs to assess 
outcomes.
8
section iV—strengths and weaknesses 
of QUANT and QUAL methods when 
used separately 
Both QUANT and QUAL evaluation methods have 
significant strengths, but when the evaluation relies 
exclusively on one there are also significant weaknesses.  
Table 1 lists some of the strengths and weaknesses of 
QUANT evaluation designs. A major strength is the 
ability to control for selection bias (the extent to which 
assignment to participate in the program (either by the 
agency or self assignment) influences project outcomes).  
On the other hand, the weaknesses of QUANT designs 
include difficulty capturing sensitive types of data or 
locating and interviewing difficult to reach groups.  周e 
process of quantitative data collection and analysis can 
often reduce rich information to a set of binary “Yes/No” 
or multiple choice questions. Strictly QUANT designs 
often do not consider the context in which programs 
are implemented even though it is possible to collect 
additional information on these factors.  Many QUANT 
designs also do not take into consideration the project 
implementation process and how closely what happened 
on the ground conformed to the intended project design.  
Table 2 shows that QUAL evaluation designs have 
the flexibility to adapt in response to changes in 
the program or the context in which it is being 
implemented as the nature of the program is better 
understood.  It is also possible to work with much 
smaller, carefully targeted samples. 周e use of 
QUAL data can provide a richer and more holistic 
understanding of the program and its context.  A 
narrative report with case studies or direct quotes is 
easier for many audiences to understand compared to 
QUANT reports with many tables.  However, there 
Many textbooks classify impact evaluation designs into experimental designs; quasi-experimental designs; and non-experimental designs (where there is no matched 
comparison group).  Most performance evaluations use non-experimental or weaker quasi-experimental designs.  For a discussion of the most common types of quasi-
experimental and non-experimental designs see Bamberger et al (2012) Chapter 11 and Appendix F, which gives an example to illustrate each design. 
Table 1:  Potential strengths and weaknesses of exclusive QUANT evaluation designs 
Strengths
Weaknesses
 Statistical control of selection bias 
 The ability to generalize from the sample to the total 
population with a known level of statistical confidence
 The magnitude and distribution of outcomes and 
impacts can be quantified
 potential to replicate data collection and analysis 
methods
 Standardized methods for sample selection, data 
collection and analysis
 Increases the credibility of the findings for many (but 
not all) stakeholders
 Surveys cannot capture some types of sensitive 
information
 Survey methods often find it difficult to identify and 
interview difficult to reach groups
 no analysis of the context within which the program is 
implemented
 Survey approach may alienate respondents
 Delay in obtaining results
 Data reduction loses information (rich responses 
are often reduced to “Yes/no” or multiple choice 
responses)
 Difficulty in studying the program implementation 
process
control Library system:C# WPF Viewer: Load, View, Convert, Annotate and Edit OpenOffice
Convert CSV file to PDF (.pdf). Convert CSV file to HTML (.htm, .html). Annotation. Protection. • Create signatures to OpenOffice document.
www.rasteredge.com
control Library system:C# Create PDF Library SDK to convert PDF from other file formats
Create writable PDF from text (.txt) file. HTML webpage to interactive PDF file creator freeware. Create multipage PDF from OpenOffice and CSV file.
www.rasteredge.com
5
The Mixed Methods Approach to Evaluation
SI ConCEpT noTE SErIES
are also weaknesses.  周e flexibility of the design may 
be difficult for many readers who are used to seeing 
precise timelines, sample designs and draft survey 
instruments.  周e difficulty of generalizing from specific 
case studies and interviews and the presentation of 
multiple perspectives without a clear “bottom-line” 
is frustrating for readers who are used to having the 
findings summarized in bullet points. 周e interpretivist 
approach
means that the reader must often rely on the 
judgment of the evaluator without any way to review 
the raw data or its interpretation. 
section V –The potential benefits of a 
mixed methods approach
Mixed methods approaches, when used systematically, 
offer the potential to combine the benefits of both 
QUANT and QUAL approaches while compensating 
for the limitations of both approaches when used in 
isolation. A well-designed mixed methods evaluation 
can offer a wide range of potential benefits:
•  A well-designed mixed methods evaluation is able 
to draw on a much broader range of QUANT and 
QUAL tools, techniques and conceptual frameworks 
at all stages of the evaluation. 
•  Normally, the design will also incorporate 
professionals from different disciplines into the core 
evaluation team. 
•  Mixed methods assist evaluators in understanding 
how local contextual factors can explain variations in 
program implementation and outcomes in different 
locations.
•  Mixed methods combine the representativeness of 
QUANT methods that allow for a generalization of 
findings from a sample to a larger population with 
the ability of QUAL methods to assess the effect 
of intervening variables (for example ethnicity, 
community leadership, etc.) on outcomes. 
section Vi—Five key decisions when 
selecting the appropriate mixed 
methods design
周e following section will discuss the application of 
mixed methods approaches for performance and impact 
evaluations. 周ere are four key decisions that determine 
the appropriate mixed methods design:
Decision 1:  What are the key questions that the 
evaluation must address?
Evaluations are normally designed to address one or 
more of the following questions
10
:
A.  To what extent can specific impacts or outcomes be 
attributed to the intervention?
B.  Did the intervention make a difference?
With the interpretivist approach, the presentation of findings and conclusions relies heavily on the interpretation of the research team, and primary data (transcripts, audio 
recordings) is not always included in the report that would allow the reader to judge the validity of the conclusions. However, QUAL evaluations have rigorous standards for 
ensuring the validity of the findings and for avoiding researcher bias. For further reading see Bamberger et al 2012, Chapter 7, and the definition of “interpretivist rigor” in the 
glossary 
10 
周e first four questions are taken from chapter 4 of DFID’s Broadening the Range of Designs and Methods for Impact Evaluations, 2012
Table 2  Potential strengths and weaknesses of exclusive QUAL evaluation designs 
Strengths
Weaknesses
 Flexibility to evolve
 Sampling focuses on high value subjects
 Holistic focus (“the big picture”)
 examine the broader context within which the 
program operates
 multiple sources provide complex understanding
 narrative reports more accessible to non-specialists
 The use of participatory approaches makes it more 
likely that vulnerable and voiceless groups are heard
 Lack of clear design may frustrate readers
 Lack of generalizability
 multiple perspectives - hard to reach consensus
 Individual characteristics not isolated
 Interpretivist methods appear too subjective
control Library system:VB.NET PDF Text Extract Library: extract text content from PDF
PDF ›› VB.NET PDF: Extract PDF Text. Advanced Visual Studio .NET PDF text extraction control, built in .NET framework 2.0 and compatible with Windows system.
www.rasteredge.com
control Library system:C# PDF Text Extract Library: extract text content from PDF file in
Text: Extract Text from PDF. |. Home ›› XDoc.PDF ›› C# PDF: Extract PDF Text. Enable extracting PDF text to another PDF file, TXT and SVG formats.
www.rasteredge.com
6
The Mixed Methods Approach to Evaluation
SI ConCEpT noTE SErIES
C.  How has the intervention made a difference?
D. Will the intervention work elsewhere? 
E.  Who benefited and who did not?
F.  Were there any unanticipated outcomes, and how 
important were they (positive or negative)?
G. Is the program or other intervention sustainable? 
周e choice of questions will have an important 
influence on the choice of mixed methods design.  For 
example, where possible Question A might best be 
addressed with a randomized control trial or pretest-
posttest comparison group design complemented by 
QUAL and perhaps QUANT techniques to assess 
the process of project implementation.  On the other 
hand, Question D might lend itself to a statistical 
design complemented by a QUAL contextual analysis 
to understand the unique characteristics of the project 
environment that were conducive to, or inhibited the 
achievement of the intended outcomes that would be 
important to take into consideration when assessing 
potential replicability in other locations.
Decision 2:  Will one approach (QUANT or 
QUAL) be dominant or will a balanced design be 
used giving equal weight to both approaches? 
周e choice of which orientation is dominant is 
important because QUANT and QUAL evaluations 
use mixed methods in very different ways and for very 
different purposes.   Annex II provides examples of 
the different uses and purposes of mixed methods in 
QUANT and QUAL dominant evaluations. While 
the dominant orientation will be partly determined by 
the context and purpose of an evaluation, the relative 
importance given to QUANT and QUAL approaches 
will be significantly influenced by the evaluation 
preferences of the client and the research team.  
Different research designs can give different weights to 
Four-week ethnographic study 
to understand survival strategies, 
interhousehold transfer 
mechanisms, and the concept of 
household in the community
Household survey 
covering several 
hundred households 
to collect data on 
socioeconomic 
conditions and to 
quantify the volume 
and types of transfers 
between households 
within the community 
and with family and 
relatives in other parts 
of the country or 
overseas
econometric analysis 
to quantify transfers 
and identify the factors 
determining the direction 
and magnitude of transfers
Figure 1 sequential Mixed Methods Design with a Dominant Quantitative Approach: studying 
interhousehold transfers as a survival strategy for low-income households in Cartagena, 
Colombia
QuAL
QuAnT
QuAnT
7
The Mixed Methods Approach to Evaluation
SI ConCEpT noTE SErIES
QUANT and QUAL approaches when evaluating the 
same project and addressing exactly the same evaluation 
questions.
11
Figure 1 describes a sequential design with a dominant 
QUANT orientation. 周is is a study of interhousehold 
transfers of money and goods as a survival strategy for 
poor urban households in Colombia.
12
周e purpose of 
the study was to assess the patterns of transfers and to 
estimate whether they were sufficiently large to act as an 
informal social safety net providing help to the poorest 
sectors of the community in times of need. 周ese 
interhousehold transfers are difficult to identify and 
measure, so an anthropologist lived in the community 
for a month to conduct a QUAL study to better 
understand the patterns of transfers. 周e data from the 
QUAL study was used to inform a questionnaire for a 
QUANT survey which was then administered to several 
hundred households. 周e data were analyzed using 
QUANT econometric analysis. 周is would be classified 
as a sequential QUAL-QUANT-QUANT mixed 
methods approach design. 
rapid quantitative survey of 
a sample of households in all 
project villages to estimate 
the size and distribution of 
the different ethnic groups, to 
obtain information on household 
economic conditions, and to 
estimate agricultural output and 
yields
QuAL data 
collection using 
interviews, focus 
groups, observation, 
and the preparation 
of case studies on 
households and 
farming communities
QuAL data analysis using 
within-and between-case 
analysis and constant 
comparative method
Figure 2 sequential Mixed Methods Design with a Dominant Qualitative Approach: 
Evaluating the adoption of new seed varieties by different types of farmers
QuAnT
QuAL
QuAL
Figure 2 illustrates a sequential design with a dominant 
QUAL approach. 周is describes a hypothetical 
evaluation to assess the adoption of new varieties of 
seed by different types of rural families. 周e principal 
data collection methods are qualitative: interviews, 
focus groups, observation, and case studies of individual 
households and small farming communities. However, 
to obtain demographic information on the ethnic 
distribution of households, household economic 
conditions, and agricultural production, the evaluation 
begins with a rapid and inexpensive QUANT 
household survey covering a sample of households in 
all the villages covered by the agricultural extension 
project. 周e findings of this study were used to help 
identify the types of households to be studied in more 
depth through the QUAL data collection methods, 
and to ensure that the selected cases were broadly 
representative of the total survey population. Either 
of the previous evaluation methodologies could be 
modified to give equal weight to both QUANT and 
QUAL approaches. In the case of the interhousehold 
transfer study, the household survey could have been 
11 For a discussion of the QUANT-QUANT evaluation design continuum see Bamberger, Rugh and Mabry pp. 324-335, RealWorld Evaluation, 2012
12 Wansbrough, Jones, and Kappaz 2000 
8
The Mixed Methods Approach to Evaluation
SI ConCEpT noTE SErIES
complemented with QUAL case studies on families or 
informal transfer networks. 周ese could then have been 
integrated into the analysis to compare the description 
and interpretation of the functions and operation of the 
transfer networks obtained from the QUAL studies with 
the findings of the econometric analysis. In the second 
example, a QUAL or QUANT study of marketing 
outlets could have been conducted to estimate the 
changes in sales of agricultural produce from the project 
areas and, possibly, the changes in the purchase of 
consumer goods by project area families.
Decision 3: Are QUANT and QUAL approaches 
used concurrently or sequentially?
QUANT and QUAL methods can either be used 
sequentially (one after the other) or concurrently 
(referred to as parallel). A QUAL-dominant sequential 
design used to evaluate the adoption of new seed 
varieties by different types of rural households may 
actually begin with a rapid QUANT study. 周is study 
will identify the different types of responses of rural 
households to the new seed varieties and to estimate 
the numerical frequency of each type of response 
(for example, early adopters, late adopters and non-
SI in Action
SI conducted a mixed-methods performance 
evaluation of the “Growth with equity in 
mindanao III” (Gem-3) project in the philippines. 
Gem-3 is a five-year program promoting 
development activities in the Autonomous 
region in muslim mindanao (Armm) and other 
conflict-affected areas of the region. SI applied 
a QuAL dominated mixed-methods approach 
that triangulated findings from a desk review 
of relevant secondary sources; key informant 
and group interviews with national, regional, 
and local government officials, uSAID and 
other donor staff, representatives from civil 
society organizations, implementer staff, and 
project beneficiaries and non-beneficiaries with 
a quantitative household mini-survey of over 
900 respondents covering 22 provinces, 54 
municipalities, five cities, and 87 barangays.
adopters).  A sample of case studies is then selected 
to ensure that the cases are broadly representative 
of the different typologies.  QUAL data collection 
methods such as case studies, in-depth interviews, key 
informants, participant observation are used, and the 
data is then analyzed qualitatively.
Figure 3 illustrates a concurrent (parallel) mixed 
methods design used to obtain independent estimates 
of household income and how it is affected by a project.  
QUANT and QUAL data collection methods were used 
consecutively to obtain three independent estimates 
of household income: a QUANT household survey, 
QUANT and QUAL observation techniques (such as 
noting the quality of house construction, ownership of 
consumer durables and equipment for running a small 
business), and QUAL focus groups.  Estimates from 
the data collection sources were compared using the 
triangulation methods described in a later section. 
In practice, sequential mixed methods designs are more 
widely used as they are easier to manage, particularly 
in situations where experienced supervisory staff 
is in limited supply.  Consecutive designs have the 
potential advantage reducing the total time required 
for data collection and analysis, but they require tighter 
supervision and coordination.
Decision 4:  Is a single-level or a multi-level 
design used?
Most mixed methods evaluation designs are conducted 
on a single level such as interviews with households or 
individuals. 周e examples given in Figures 1, 2, and 3 
are all single-level evaluation designs.  However, one 
of the potentially most useful applications of mixed 
methods is for the evaluation of multi-level programs 
such as the provision of health, education or other 
services at the state or district level.  周e evaluation 
of these programs typically requires an assessment of 
how programs operate at the district (or state) level, as 
well as at the level of the individual school or hospital/
clinic, the classroom or individual health service, and 
at the level of the individual teacher or doctor as well as 
patient or student.  周ey also require the analysis of the 
interactions among the different levels as the attitude, 
qualifications or other factors of the hospital director 
or the head teacher can influence the attitudes and 
behavior of individual teachers and health providers.  
Similarly the attitudes of the parents, community 
leaders and students or patients also have an important 
9
The Mixed Methods Approach to Evaluation
SI ConCEpT noTE SErIES
influence.  Mixed methods are well suited to examine 
these interactions among different levels, something 
which is difficult to do with exclusive QUANT or 
QUAL approaches.  
Figure 4 illustrates how a multi-level mixed methods 
design could be used to evaluate the implementation 
and impacts of a school feeding program that operates 
in a number of different schools in a district.  QUANT 
and QUAL data collection and analysis methods 
are used at each level, and QUAL methods (such as 
observation, key informants, review of reports) are used 
to understand interactions among the different levels. 
Furthermore, QUANT analysis is also able to explore 
variation at different levels through multilevel statistical 
analysis. 
section Vii—Applying mixed methods 
at each stage of an evaluation 
Stage 1:  Hypothesis formulation and 
development of the theory of change
Generally, mixed methods designs permit the 
strengthening and broadening of research hypotheses by 
combining deductive (QUANT) and inductive (QUAL) 
hypotheses.  Deductive hypotheses are normally defined 
SI in Action
SI is implementing a rigorous mixed-methods 
Impact evaluation of the A Ganar Alliance in 
Honduras and Guatemala. A Ganar is a 7-9 
month integrated job training program that 
combines sports-based field and classroom 
activities, vocational training, internships/
apprenticeships and various follow-on activities 
to help at-risk youth (1) find jobs, (2) start 
or expand their business, or (3) re-enter 
the formal education system. SI is applying a 
QuAnT dominated mixed methods approach 
that triangulates findings from a randomized 
control trial (rCT) Ie with a robust qualitative 
component that includes in-depth case studies 
with 12 program participants and post-program 
interviews with 50 participants. each multi-
perspective case study involves interviews 
with 5 individuals (participant, their life skills 
and vocational training facilitators, mentor and 
employer) over multiple points in time.
Treatment 
Communities
Control 
Communities
QuAnT 
Household 
Surveys
Triangulation of 
estimates from 
three sources to 
obtain the most 
reliable estimate of 
HH income
QuAL 
Focus Groups
QuAnT/QuAL 
observation of 
HH posessions and 
construction quality
Figure 3 Consecutive Mixed Methods design: Triangulating QUANT and QUAL 
estimates of household income in project and comparison areas
+
10
The Mixed Methods Approach to Evaluation
SI ConCEpT noTE SErIES
at the start of the evaluation, based on evaluation theory 
or a review of the literature, and can be tested using 
experimental or quasi-experimental designs.  Despite 
the statistical rigor with which they can be tested, a 
disadvantage of deductive hypotheses is that they do 
not have the flexibility to adapt to changes that arise 
in project design or implementation, or changes in the 
context within which the project is implemented. 周is is 
a major limitation as many programs undergo significant 
changes during implementation.
In contrast, many QUAL evaluations use inductive 
hypotheses that are refined and revised as more 
information is obtained on the project and its context.  
While it is usually not possible to test these hypotheses in 
such a rigorous manner, a big advantage is their flexibility 
to evolve and adapt.  Mixed methods can combine the 
statistical rigor of deductive hypotheses with the flexibility 
and depth of understanding provided by inductive/
emergent methods.  周is permits the exploration of 
a much broader range of hypotheses than is normally 
possible through conventional statistical designs.
Mixed methods designs are normally based on a theory 
of change which provides a framework for identifying 
the processes through which changes are expected to 
occur, for identifying and testing key assumptions, 
and for assessing the effects of contextual factors.  A 
well-articulated theory of change can also provide a 
framework for identifying unanticipated outcomes 
– which often have important consequences for the 
program and which are difficult to assess through most 
conventional evaluation designs (Bamberger 2012).
13
Stage 2:  Stakeholder consultation
Mixed methods provide a range of tools for identifying 
a wider range of groups who are affected by the 
project and whose voices should be heard during 
program design, implementation and evaluation.  At 
the program evaluation and design stage participatory 
group consultations provide mechanisms for involving 
community level stakeholders; while techniques such 
as snowball sampling,
14
key informants and participant 
observation can be used to identify vulnerable and 
difficult to reach groups who are frequently not 
13 
Bamberger 2012 Unanticipated outcomes of development interventions: A blind spot for evaluation theory and practice.   IPDET guest lecture. July 2012.
14 Snowball sampling is non- probability sampling method where interviewees refer the researcher to future interviewees from among their acquaintances.
Focus Groups w/District 
officials
Key Informant interviews 
w/ School officials
Interviews w/ Teachers 
on how Feeding program 
Affects Attendance
In-depth Interviews w/ 
Families & observation 
of Students Travelling to 
School
Focus Group Interviews w/ 
Students
QuAL methods
QuAnT methods
QuAnT Analysis of School 
records
QuAnT Analysis of Test 
Scores and Attendance
QuAnT observation of 
Student Attendance
Students Complete 
QuAnT Survey
Households Complete 
QuAnT Survey
School District
Sample of Schools
Sample of Classes and Teachers 
Sample of Students
Sample of Families
Figure 4 Multi-level Methods Design:  The effects of a school feeding program on school 
attendance
Documents you may be interested
Documents you may be interested