© OECD/IEA 2011 
Good Practice Policy Framework for Energy Technology RD&D
 
 
Page | 19 
Box 7 Linkages between US DOE’s Wind Energy Program and the commercial applications of wind energy 
(Case Study 7) 
 
A more in‐depth discussion on RD&D monitoring and evaluation appears in Chapter 3. 
Strategic international collaboration 
Existing  models  for  international  technology  collaboration  include  bilateral  agreements, 
multilateral  technology‐oriented  partnerships  (e.g.  IEA  Implementing  Agreements,  the  Carbon 
Sequestration Leadership Forum [CSLF], the International Partnership for the Hydrogen Economy 
[IPHE], the Generation IV International Forum [GIF]), and regional multi‐technology frameworks 
(e.g.  the  Asia  Pacific  Partnership  [APP],  the  EU  Framework  Programmes  [FPs],  the  European 
Research Area Networks [ERA‐Nets], the  Nordic Energy Research). Despite  the  vast number  of 
bilateral, multilateral and regional collaborations in place, no global strategy exists to co‐ordinate 
the related activities and  ensure the effective and efficient use of the available resources and 
technical expertise. 
For the most part, existing mechanisms for international collaboration focus on the exchange of 
technical  information  and  expertise  rather  than  direct  involvement  in  specific  projects. 
Moreover, international efforts tend to concentrate on partnerships between governments, and 
only to a lesser extent on PPPs (IEA EGRD, 2008).  
Governments should develop a national strategy for international RD&D collaboration, as well as 
criteria for setting priorities, both in  terms of technology areas and partners for collaboration. 
This  strategy  should  include  continuous  assessment  of  supported  activities.  Strengthening  of 
government agency capabilities will likely be necessary in many countries through training, target 
hiring,  and  rotating  academic  and  industrial  technical  experts  through  the  agencies  on  a 
systematic basis, as well as improvements in the mechanisms for development and management 
of international RD&D collaboration programmes.  
Stakeholders often overlook the benefits of conducting RD&D across national boundaries, which 
include: access to facilities and expertise; improved competitiveness by spreading the costs and 
risks  of  RD&D;  reduced  costs  of  emerging  technologies  through  demonstrations  and  pre‐
commercial deployments in markets that are larger than those available domestically; and access 
for domestic firms to overseas markets for innovative low‐carbon technologies (PCAST, 1999). By 
participating in international efforts, governments can conduct more RD&D at a lower cost and 
with less duplication.  
In  a  Green  Paper  on  a common  strategic  framework  for  EU  research  and  innovation  funding 
(2011),  the  European  Renewable  Energy  Research  Centres  (EUREC)  highlighted  a  number  of 
situations in which international collaboration could prove advantageous: 
A  study  jointly  published  by  the  United  States  Office  of  Planning,  Budget  and  Analysis  and  Wind  & 
Hydropower  Technologies  Program provided  robust  evidence  regarding linkages between the  US DOE 
Wind Energy Program and the commercial applications of wind energy over the past three decades. The 
broad conclusion was that outputs from the Program’s investments in wind energy R&D have been taken 
up by a diverse group of downstream users, both in utility‐scale markets and in distributed‐use markets. 
Patent analysis also revealed that knowledge flows from DOE’s wind energy research had an impact on a 
number of industry sectors beyond the wind industry. 
Adding pdf to powerpoint - control software platform:C# Create PDF from PowerPoint Library to convert pptx, ppt to PDF in C#.net, ASP.NET MVC, WinForms, WPF
Online C# Tutorial for Creating PDF from Microsoft PowerPoint Presentation
www.rasteredge.com
Adding pdf to powerpoint - control software platform:VB.NET Create PDF from PowerPoint Library to convert pptx, ppt to PDF in vb.net, ASP.NET MVC, WinForms, WPF
VB.NET Tutorial for Export PDF file from Microsoft Office PowerPoint
www.rasteredge.com
Good Practice Policy Framework for Energy Technology RD&D 
© OECD/IEA 2011 
 
Page | 20
 A country cannot efficiently complete RD&D work because of a lack of domestic expertise, 
which is available in other countries. 
 A project is too expensive for a single country. 
 A country collaborates on an RD&D project that perhaps is not a national priority but could 
become important if progress is made. 
 A project generates knowledge applicable in many countries; or 
 A project yields a product, which in order to be cost‐effective to manufacture requires the 
involvement of companies in many different countries. 
Energy RD&D priorities differ among countries, but  those that are shared should be  explored, 
especially in capital‐intensive technologies. The development of energy technology roadmaps can 
be a valuable first step in enhancing co‐operative or collaborative RD&D among countries. 
Box 8 US‐China Clean Energy Research Center (US‐China CERC) (Case Study 8) 
 
The  IEA  has  a  long  history  of  facilitating  international  RD&D  co‐operation  through  its 
Implementing  Agreements,  which  involve  co‐ordinated  research,  joint  projects,  information 
exchange, modelling, databases and capacity building (Case Study 9).  
Successful  international  energy  technology  RD&D  collaborations  share  the  following 
characteristics: 
 Objectives closely aligned with national priorities. 
 Clearly defined scope and timeline/milestones. 
 Based on common interest and mutually advantageous. 
 Strong commitments to successful co‐operation and collaboration. 
 Attention to overcoming barriers such as intellectual property rights (IPR), inadequate legal 
rules and procedures, etc. 
 Roles and responsibilities are clearly defined. 
 Clear measures of success and criteria for evaluation. 
 Broad stakeholder participation (IEA EGRD, 2008). 
But there are some challenges to consider. The UNFCCC’s Expert Group on Technology Transfer 
(2010) noted that collaborative R&D entails risks in the sharing of knowledge, limited capabilities 
for innovation in certain countries, and differing national regulations and policies related to R&D. 
Performance assessments of IEA member countries and other major economies should be made 
against the six criteria for good practice set out in this paper. Such an analysis would allow for the 
identification  of best practice  policies  in energy  technology RD&D,  and would  help to identify 
areas of potential improvement. This assessment could be undertaken as part of the Accelerating 
Energy Innovation (AEI) project. 
The US‐China Clean Energy Research Center (US‐China CERC), established in November 2009, represents a 
new model for international science and technology co‐operation. Initially, it is focussing on R&D in three 
areas of mutual interest in which the countries have complementary strengths: Building Energy Efficiency, 
Clean Vehicles, and Clean Coal. Preliminary conclusions indicate the importance of clearly defined rules of 
engagement and adopting flexible arrangements for the allocation of IP. 
control software platform:VB.NET PDF Library SDK to view, edit, convert, process PDF file
Capable of adding PDF file navigation features to your VB.NET program. Capable of adding PDF file navigation features to your VB.NET program. How To Tutorials.
www.rasteredge.com
control software platform:VB.NET PDF Page Insert Library: insert pages into PDF file in vb.
Support adding PDF page number. Offer PDF page break inserting function. DLLs for Adding Page into PDF Document in VB.NET Class. Add necessary references:
www.rasteredge.com
© OECD/IEA 2011 
Good Practice Policy Framework for Energy Technology RD&D
 
 
Page | 21 
Chapter 2. Energy RD&D strategy and  
priority setting
 
There is a natural tendency for governments and research bodies to chase the latest/hottest area 
of  innovation,  irrespective  of  local  skills  and  resources.  Governments  should  be  prudent, 
however, and not  assume that all  approaches will work  in all areas.  In  the past,  public  RD&D 
support tended to “pick winners” and ended up “locking in” technologies that were later judged 
to be economically inefficient.  
A coherent and co‐ordinated RD&D energy strategy – with clear prioritisation in line with national 
energy policy goals – is the most important feature of a good practice energy RD&D framework. 
Such  a  strategy  should  be  transparent  and  developed  in  close  consultation  with  major 
stakeholders. The lack of a consistent and credible strategy creates uncertainty among potential 
investors as to the reliability of targets and policy ambitions and delays the development of new 
technologies.  
Ideally, public funding should focus on investments that the private sector would not normally 
undertake, particularly high‐risk activities with social benefits. In fact, public investment should 
aim for areas in which social returns and spillover effects are potentially the greatest.  
As a follow‐on to an overriding strategy, governments need to define and communicate the role 
of  public  funding,  and  then  set  and  appropriately  fund  coherent  priorities  to  optimise 
investments and support a balanced portfolio development.  
Energy RD&D strategy 
A process based on an in‐depth assessment for defining a coherent and comprehensive national 
energy strategy that includes quantifiable objectives for the short,  medium and  long term and 
involves key stakeholders in both the public and private sectors is likely to increase the chances 
for well‐funded priorities.  
As the high‐level element that will drive all related activities, an energy RD&D strategy should be:  
 Consistent with national energy policy. 
 Based on a portfolio approach encompassing technologies at different stages of development 
and with large‐scale potential.  
 Precise and contain measurable objectives. 
 Flexible and adaptable to changing needs and opportunities. 
 Reflective of the distinct roles for public and private sectors. 
 Have synergies with international partners (IEA, 2007). 
The  approach  taken  by Korea  in  its  energy  RD&D  strategy,  represented  by  the Green  Energy 
Strategy Roadmap, is a good example of a strategic approach to energy RD&D. 
 
 
 
 
control software platform:C# PDF Library SDK to view, edit, convert, process PDF file for C#
Capable of adding PDF file navigation features to your C# program. Perform annotation capabilities to mark, draw, and visualize objects on PDF document page.
www.rasteredge.com
control software platform:C# PDF insert image Library: insert images into PDF in C#.net, ASP
application? To help you solve this technical problem, we provide this C#.NET PDF image adding control, XDoc.PDF for .NET. Similar
www.rasteredge.com
Good Practice Policy Framework for Energy Technology RD&D 
© OECD/IEA 2011 
 
Page | 22
Box 9 Korea’s strategic approach to energy RD&D 
Priority setting for energy RD&D  
Priority setting helps governments to optimise national investments in RD&D. Several different 
methods and tools are available to facilitate the process of setting priorities, but it is important to 
apply  a consistent framework when comparing technologies  over  a range  of  time frames and 
policy  scenarios.  Priorities  can  be  identified  based on  a  number  of  different  factors  including 
those  offering the  largest  benefit  for  reducing energy  imports  or CO
2
 emissions,  those having 
large‐scale  potential,  the  highest  expected  return  (cost‐benefit),  or  with  a  focus  on  enabling 
technologies or  those  critical to  overall  success  of  strategy.  In  some  cases, the  priorities may 
reflect areas in which the country has a particular competitive or cost advantage. Considerations 
regarding the social and environmental impacts of introducing specific technologies should also 
be taken into account. Ultimately, a portfolio approach is needed to stimulate a wide range of 
promising competing technologies, yet there is also a danger that spreading funding too thinly 
across small, sub‐critical areas will not produce any long‐term benefits.  
A schematic of the dynamics of RD&D priority setting illustrates that the exercise is often based 
on a long‐term energy technology vision and a country’s national energy plan, both of which feed 
into the energy RD&D strategy (Figure 3). Tools, such as scenario analysis, foresight, technology 
assessments and roadmapping, can  help identify a  range of opportunities and provide insights 
Korea has an energy RD&D strategy represented by the “Green Energy Strategy Roadmap”, which includes 
a strategic plan for market penetration, international co‐operation, human resources development and 
education, and collaboration with private sector. Industry has provided input into the strategy and helped 
define which areas of energy RD&D should be developed by the government, and which should be left to 
industry.  
The strategy adopts a clear priority‐setting process and transparent criteria to identify 15 technology areas 
for focused development. Roadmaps for each technology area were completed with input from industry. 
Clear milestones for each technology area are listed, and categorised by short‐, medium‐ and long‐term 
objectives. This strategic approach aims to ensure that RD&D priorities and investment levels well reflect 
energy policy objectives. In 2009, the Korean government established KETEP (Korea Energy Technology 
Evaluation and Planning) to improve the efficiency of energy RD&D and merge the scattered energy RD&D 
functions. KETEP has introduced a culture of ex ante, interim and ex post evaluations in energy RD&D.  
Market Attractiveness
•Market potential
•Contribution to the environment
•Competitiveness in the global market
Technical Importance
•Technical innovation
•Technology development capacity
•Government support required
Early 
Development
PV, Wind Power, Fuel Cells, LED, Smart Grid
IGCC, Energy Storage, Clean Fuels, CCS
Next 
Generation 
Development
Nuclear Power, Green Cars, Heat Pumps, Energy 
Efficient Buildings, CHP
Superconductivity
Criteria for Selecting Key Technologies
 
Source: IEA, forthcoming. 
control software platform:C# PDF Page Insert Library: insert pages into PDF file in C#.net
C# programmers are capable of adding and inserting (empty) PDF page or pages from various file formats, such as PDF, Tiff, Word, Excel, PowerPoint, Bmp, Jpeg
www.rasteredge.com
control software platform:C# PDF insert text Library: insert text into PDF content in C#.net
Supports adding text to PDF in preview without adobe reader installed in ASP.NET. Powerful .NET PDF edit control allows modify existing scanned PDF text.
www.rasteredge.com
© OECD/IEA 2011 
Good Practice Policy Framework for Energy Technology RD&D
 
 
Page | 23 
into the  scope for technology progress in different areas.  They may  therefore help  in  setting 
priorities, assessing potential impacts and informing the design of policies and programmes.  
In addition, several factors must be taken into consideration, such as a country’s natural resource 
endowment,  human  resources,  comparative  advantage  and  historical  context.  Monitoring 
international  developments  and  identifying  selective  fields  of  energy  RD&D where  the  use of 
resources could be optimised through international co‐operation should also be included as part 
of the priority‐setting process. Countries should develop procedures for establishing an overview 
and prioritising this engagement on both a multilateral and bilateral basis. Intelligent choice of 
energy RD&D priorities will facilitate market deployment of new and improved technologies; yet 
it is also true that priority setting is an ongoing process that requires regular evaluations. 
Figure 3 Priority setting for energy RD&D 
 
 
Source: IEA. 
Box 10 Energy RD&D priority setting in Norway and the role of ENERGI 21 Strategy  
Norway has two strategies for RD&D in the energy sector. Since 2001, the “Oil and Gas in the 21st Century” 
strategy (OG21 strategy) has brought together public‐ and private‐sector stakeholders. The long timeframe 
of the strategy has helped research institutions to plan their work constructively. As the OG21 provides 
stability of focus and funding, industry and academics claim to be satisfied with the model. 
In fact, the success of OG21 inspired Norway to supplement the programme in 2008 with the Energi 21 
strategy for the non‐petroleum sector. Early signs show that this strategy is also on the right path with 
strong participation from the private sector and additional funding. It has an industry‐led board, with 15 
representatives  from  energy  companies,  technology  suppliers,  research  communities  and  authorities. 
Energi 21 will be revised in the second half of 2011. 
Norway bases energy RD&D priorities on: 
•  Energi 21 recommandations. 
•  Technologies with export potential for which Norway has a competitive advantage. 
•  Key technologies in national energy and climate policy. 
Instruments to achieve the priority goals include increased funding for basic science, new research centres, 
focus on test/pilot projects and international co‐operation, in particular with EU member states. 
Source: IEA, 2011b. 
control software platform:VB.NET PDF insert text library: insert text into PDF content in vb
VB.NET PDF - Insert Text to PDF Document in VB.NET. Providing Demo Code for Adding and Inserting Text to PDF File Page in VB.NET Program.
www.rasteredge.com
control software platform:VB.NET PowerPoint: Add Image to PowerPoint Document Slide/Page
add, insert or delete any certain PowerPoint slide without guide on C#.NET PPT image adding library. powerful & profession imaging controls, PDF document, tiff
www.rasteredge.com
Good Practice Policy Framework for Energy Technology RD&D 
© OECD/IEA 2011 
 
Page | 24
Energy RD&D priorities in various countries  
A  review  of  stated  energy  RD&D  priorities  and  recent  spending  trends  shows  considerable 
variation among countries; it also reveals some important deviations from stated priorities and 
actual RD&D funding (Table 1).  
Although the United Kingdom has no strategy that specifies individual technology priorities, work 
in  the  Department  of  Energy  and  Climate  Chance (DECC)  shows  that  the  country has  a  clear 
leading‐edge capability in ocean energy, wind power and certain aspects of CCS. Together, these 
areas account for  only 20% of  the total energy RD&D budget while  spending remains  high on 
energy efficiency (23%) and nuclear power (16%). 
In  the  United  States,  several  cross‐cutting  initiatives  guide  technology  RD&D  investments. 
Funding priorities are clearly stated in the Advanced Energy Initiative and account for 40% of the 
total energy RD&D budget. However, there are other initiatives where priorities are not clearly 
defined. For this reason, the 40% noted in Table 1 is likely to be a low estimate.  
Australia  is  investing  through the  Clean Energy  Initiative  (CEI)  to support the  development  of 
clean energy and energy efficiency technologies. The initiative prioritises CCS, low emissions from 
coal,  renewable  energy  and,  more  specifically,  solar  energy.  The  priorities  stated  in  the  CEI 
account  for  50%  of  the  country’s  total  energy  RD&D  budget.  This  figure  does  not  take  into 
account Australia’s recently announced clean energy package. Australia is also investing heavily 
in RD&D in oil, gas and coal, as well as energy efficiency. 
Spending by the other countries listed in the Table 1 is generally in line with the priorities stated 
in their national programmes. France, Brazil, Japan and Norway spend over 75% of their energy 
RD&D budgets on technology areas specified in their national strategies.  
Some of the priorities specified in Korea’s Green Energy Strategy Roadmap are not represented 
in IEA data, particularly on “green” cars, LED and smart grids, which makes it difficult to analyse 
the  level  of spending  in  these  areas.  The  50%  noted  in  Table  1 may  underestimate  the  total 
spending on the roadmap strategy. 
Table 1 Review of stated energy RD&D priorities for governments based on announced technology 
programmes or strategies 
Country 
Name of 
Programme or 
Strategy 
Programme or strategy 
priorities 
Share of RD&D spending on 
priorities 
Do stated 
priorities and 
actual spending 
match? 
Australia 
Clean Energy 
Initiative 
CCS, low emissions coal, 
renewable energy (specifically 
solar) 
CCS 19%, low emissions coal 
8.3%, renewables 22% of which 
14.5% is solar (PV 11%)) 
Stated priorities 
account for 50% of 
total energy RD&D 
budgets 
Brazil 
Science, Tech-
nology and Inno-
vation Platform 
for National 
Development 
2007 - 2010 
biofuels, T&D, hydrogen, 
renewables, oil, gas, coal and 
nuclear 
biofuels 14%, T&D 23.5%, 
hydrogen 2%, hydro 11% and 
nuclear 23% 
Stated priorities 
account for 81% of 
total energy RD&D 
budgets 
Canada 
Energy RD&D 
programme 
divided into 9 
portfolios 
Oil and gas, clean coal, CCS, 
distributed power, generation 
IV nuclear, bio-based energy 
systems, industrial systems, 
clean transportation, built 
environment  
non-conventional oil & gas 6%, 
coal 7%, CCS 15.5%, fuel cells 
3.66%, EE in industry 3.22%, 
EE in the transport 2.5% and 
nuclear 29% 
Stated priorities 
account 67% of 
total energy RD&D 
budgets 
control software platform:C# PDF Annotate Library: Draw, edit PDF annotation, markups in C#.
Provide users with examples for adding text box to PDF and edit font size and color in text box field in C#.NET program. C#.NET: Draw Markups on PDF File.
www.rasteredge.com
control software platform:VB.NET PDF File & Page Process Library SDK for vb.net, ASP.NET
page modifying page, you will find detailed guidance on creating, loading, merge and splitting PDF pages and Files, adding a page into PDF document, deleting
www.rasteredge.com
© OECD/IEA 2011 
Good Practice Policy Framework for Energy Technology RD&D
 
 
Page | 25 
France 
National Strategy 
for Energy 
Research 2007 
nuclear, renewables, fuel 
cells, energy storage, CCS, 
EE in buildings, biofuels, low 
carbon vehicles 
nuclear 50%, renewable energy 
11%, fuel cells 3%, CCS 4.5%, 
EE in buildings 3%, and biofuels 
4.5% 
Stated priorities 
account for 80% of 
total energy RD&D 
budgets 
Germany 
Innovation and 
New Energy 
Technologies 
2005 
CCS , PV , Solar Thermal , 
Wind , Fuel Cells and 
Hydrogen , Technologies and 
processes for energy-
optimised buildings , 
Technologies and processes 
for use of biomass for energy 
CCS 1%, PV 9%, Solar Thermal 
1.3%, Wind 5%, Fuel Cells and 
Hydrogen 5.1%, Technologies 
and processes for energy-
optimised buildings 3%, Tech. 
and processes for use of 
biomass for energy 1.32%, 
nuclear 34% 
Stated priorities 
account for 60% of 
total energy RD&D 
budgets 
Japan 
Science and 
Technology 
Basic Plan 2006 
energy efficiency, nuclear, 
transport, fuel cells, hydrogen, 
solar PV and biomass energy, 
oil, gas and coal 
energy efficiency 10% , nuclear 
64%, transport, fuel cells 3%, 
hydrogen 1.4%, solar PV 1.4% 
and biomass energy .27%, oil 
gas and coal 9.3% 
Stated priorities 
account for 80% of 
total energy RD&D 
budgets 
Korea 
Green Energy 
Strategy 
Roadmap 2009  
PV, wind power, fuel cells, 
LED, Smart Grids, IGCC, 
Energy Storage, Clean Fuels, 
CCS, Nuclear Power, Green 
Cars, Heat Pumps, Energy 
efficient buildings, CHP, 
superconductivity 
wind power 6.5%, fuel cells 
8.6%, IGCC.1%, energy storage 
3.8%, CCS 4.5%, nuclear power 
16%, energy efficient buildings 
5% 
Stated priorities 
account for over 
50% of total 
energy RD&D 
budgets 
Netherlands 
Energy Report 
2008 
biofuels, clean fossil fuels, 
renewables, sustainable 
mobility, industrial efficiency, 
building efficiency,  
biofuels .62%, clean fossil fuels 
9.3%, industrial efficiency 13%, 
building efficiency 9% other 
energy efficiency including 
agriculture and horticultural 
sectors 13% 
Stated priorities 
account for 68% of 
total energy RD&D 
budgets 
Norway 
OG 21 2001 and 
Eneri 21 2008  
Oil and gas, energy systems, 
renewable electricity, energy 
efficiency in industry, 
renewable thermal energy 
and CCS 
Oil and gas 37%, energy 
systems 4.7%, renewable 
electricity 15.5%, energy 
efficiency in industry 2.3, 
renewable thermal energy 1.2% 
and CCS 15.6% 
Stated priorities 
account for 76% of 
total energy RD&D 
budgets 
Spain 
National Strategy 
for Science and 
Technology 2006 
- 2015 
energy efficiency, clean 
combustion, renewable 
energy, sustainable mobility, 
modal shift in transport, 
sustainable buildings 
energy efficiency 8.3%, 
renewable energy 43%, coal 
1%, energy efficiency in the 
transport sector 1%, energy 
efficiency in buildings 5% 
Stated priorities 
account for 60% of 
total energy RD&D 
budgets 
Sweden 
National Energy 
Research 
Programme 2006  
energy systems studies, 
buildings as energy systems, 
transport, energy-intensive 
industry, electricity generation 
and distribution, bioenergy, 
CHP 
energy systems studies, energy 
efficiency in buildings 4.7%, 
transport 22%, energy intensive 
industry, 8.4%, electricity 
generation and distribution 7.7% 
and bioenergy 10.6% 
Stated priorities 
account for 70% of 
total energy RD&D 
budgets 
United 
Kingdom 
wind 10%, ocean energy 4%, 
CCS 6% 
Technologies 
where the UK has 
a leading edge 
capability account 
for 20% of total 
energy RD&D 
budgets 
United 
States 
Advanced 
Energy Initiative 
2006  
Solar power, biofuels, wind 
power, hydrogen, buildings 
technologies programme, 
clean coal research 
solar power 3.5%, biofuels 
9.5%, wind energy 1.4%, 
hydrogen and fuel cells 5.4%, 
energy efficiency in buildings 
2.2%, CCS 4.3% and nuclear 
16.2% 
Stated priorities of 
AEI account for 
40% of total 
energy RD&D 
budgets 
Notes: This sample cannot be considered as an exhaustive list, but rather as a showcase of the variety of practices across countries and 
institutions. Analysis is based on data  for  the  following years: Australia,  Canada,  Japan,  Norway, Spain  and the United States:  2007‐11; 
Germany, Sweden and the United Kingdom: 2006‐10; Brazil: 2009‐10; France: 2007‐09; Korea: 2009‐11; the Netherlands: 2008‐09.  
Good Practice Policy Framework for Energy Technology RD&D 
© OECD/IEA 2011 
 
Page | 26
Chapter 3. Monitoring and evaluating  
energy technology RD&D  
Government  support  for  energy  technology  RD&D  should  be  conditional  on  performance. 
Increased  emphasis  on  technology  development  policies  and  measures  calls  for  careful 
assessment  of  their  effectiveness  and  measures  and  their  associated  benefits  and  costs.  To 
facilitate such an assessment, realistic targets for energy RD&D should be clear, quantified and 
preferably categorised by short‐, medium‐ and long‐term objectives. 
Effective  review  involves  both  monitoring  and  evaluation;  the  two  activities  are  highly 
complementary  and  should  not  be  confused.  The  aim  of  monitoring  is  to  track  progress  in 
relation to programme or project objectives and provide interim indicators of change; it is carried 
out primarily through routine collection of data that reflects ongoing activities, and generation of 
selected indicators from the data. In fact, the first step in monitoring is to find ways to translate 
the  objectives  into  specific  targets  and  “performance  indicators”  that  provide  a  means  of 
measuring progress.    
High  quality  monitoring  is  vital  to  and  should be  paired  with effective  evaluation,  the  aim  of 
which is to analyse both end results (outputs) and the contributing factors (processes), often as a 
means of examining the entire implementation process and helping to improve the performance 
of future interventions. Evaluation is conducted by using defined processes and methodologies to 
assess  the  project  or programmes’ impact  or  effectiveness.  Ultimately,  an  evaluation seeks to 
determine  the worth or value  of the  intervention, and feed this information into the  decision 
making process. In effect, monitoring provides the data needed to make sound judgement calls 
at the evaluation phase.  
Monitoring and evaluation can only be conducted if clear targets for energy RD&D were set in 
the beginning, along with means to quantify progress. 
A  noteworthy  challenge  is  that  energy RD&D  goals  and  strategies  evolve over  time,  often  as 
government agendas change. Monitoring and evaluation exercises may reveal the need to adjust 
the  intervention  objectives  as  some  originally  set  targets  might  not  have  been  realistic  or 
attainable.  These  activities  can  also  serve  as  a  means  of  assessing  whether  previously  set 
priorities still support new aims.  
Monitoring progress as it happens 
Monitoring is an ongoing process designed to keep track of what a given programme or policy is 
achieving, as  the activity  progresses.  Logically,  most  of  the  data  being  collected will  focus on 
implementation,  assessing the  programme itself and its achievements.  Thus, monitoring  often 
involves looking at inputs and outputs ‐ and possibly the results of those outputs.  
In theory, developing a monitoring system should be quite straightforward if a programme has 
been designed with a framework that sets out clear objectives. In principle, the data needed to 
judge whether these are being achieved should fall  naturally from  the framework. Difficulty in 
establishing a monitoring system may indicate a need to re‐assess the objectives. 
In the case of a research programme, the key question is its efficiency; thus, monitoring should 
focus directly on the data needed for programme management. Relevant metrics might include: 
how long it takes from application to grant award; the number of applicants; the proportion of 
successful applicants; whether  projects are on schedule as per  their plans,  among others. In a 
© OECD/IEA 2011 
Good Practice Policy Framework for Energy Technology RD&D
 
 
Page | 27 
relatively  open  programme,  monitoring  would  also  follow  which  technology  areas  attract  the 
most/fewest applications, thereby identifying the need to refocus the programme or steer it in 
another direction.  
In practice, monitoring systems can be challenging to design and conduct. Some systems may be 
quite  limited  in  scope  (e.g.  collecting  only  financial  data)  but  rather  extensive  and  complex. 
Others  are  very  wide ranging and seem  to  take a  shot‐gun  approach, collecting  anything that 
might  eventually  be  useful.  These  typically  result  in  a  huge  administrative  burden  on  the 
programme participants and administrators.  
The Ministry of Economy, Trade and Industry of Japan (METI) has been remarkably successful in 
five‐year follow‐up of participants in some programmes, in part because funding is conditional on 
participation  in  the  monitoring  process.  Other  programmes  rely  on  voluntary  participation  in 
surveys of various types, which inevitably produce less data. 
In order to create a successful monitoring system, it is important to: 
 Build simple, user‐friendly monitoring elements into everyday activities, collecting data at the 
most natural point. 
 Get commitment from those collecting the data by explaining why their support is of benefit 
to the programme and to their own participation in it. 
 Develop clear and consistent guidelines to ensure that everyone responsible for monitoring 
can fulfil their role easily.  
 Make sure that monitoring records are user‐friendly, and can be completed fully and 
accurately with minimal effort; people may not regard monitoring as a high‐priority activity, 
particularly if it is complicated and time consuming.  
 Provide feedback to people collecting the data regarding the results of their inputs; for 
example, how data are being used to make the programme more effective. 
As stated above, monitoring ensures that progress – both performance and financial – is on track 
and allows proper steering of a programme. Beyond this, it is a crucial tool to support evaluation.  
Evaluating outcomes 
What ensures that funds allocated are well‐managed or that programmes are successful? 
Programme  evaluation,  whether  it  takes  place  before,  during,  or  after  project  completion,  is 
essential.  Whether  carried  out  systematically  or  on  an  ad‐hoc  basis,  evaluations  provide  key 
information  that  enables  more  balanced,  informed  decision‐making,  and,  as  a  result,  save 
precious resources. 
The following are golden rules for evaluation: 
 It is impossible to evaluate something for which no evaluation method has been designed. 
 Evaluating only “after the fact” is too late. 
 It is better to evaluate a few important things well, rather than many things poorly. 
 Programme managers should be realistic in their evaluation ambitions. 
In the last decade, evaluation of energy RD&D programmes, and to a less extent of policies, has 
become standard practice in many IEA member countries. Indeed, all publicly funded bodies are 
increasingly  being asked by  governments and  civil society  to  create  an evaluation culture that 
embeds the practice across all stages of project and programme planning.  
Good Practice Policy Framework for Energy Technology RD&D 
© OECD/IEA 2011 
 
Page | 28
The IEA Experts’ Group on R&D Priority Setting and Evaluation describes different approaches to 
energy RD&D evaluation through five leading questions:  
 What is evaluated? 
 Why does this evaluation take place? 
 When does this evaluation take place? 
 Who is evaluating whom? 
 How is the evaluation designed? 
These questions can serve as a classification framework for RD&D policy evaluation (Table 2). 
Table 2 Classification framework for energy RD&D evaluation 
Indicator 
Description 
What? 
Unit of analysis 
Programme / project / technology 
Scope 
National / Regional 
Why? 
Strategic Intent 
Learning / allocation of funds / advocacy / accountability / legitimacy 
Who? 
Actors 
Commissioners / evaluators / stakeholders 
When? 
Timing 
Ex ante / in-process / ex-post 
Frequency 
Systematic / ad hoc 
How? 
Measures/indicators 
Input / output / impact / attribution / 
technological / economic / environmental / security / other 
Feedback 
Ensured yes / no 
Burden 
High / medium / low 
Source: IEA EGRD, 2010a. 
 
Indicators  are  an  important  part  of  any  evaluation  as they allow  for  the measurement of  the 
effectiveness of the policy or programme. Several types of indicators are needed to reflect the 
five leading questions. Ideally, evaluations should be carried out in all stages of the programme 
or  project.  Ex  ante  evaluations  help  to  identify  future  priorities  and  can  help  to  inform 
programmes, while  in‐process evaluations  at  various  stages  of programmes can  help  to  keep 
projects focused, in budget and on time. Ex post evaluations help to pinpoint why a programme 
succeeded or failed.  
Evaluation methods 
Effective evaluation relies on a structured approach to answering a set of questions to assist in 
the design, management and reporting on public or other interventions. A range of evaluation 
structures exist depending on the nature of the intervention, the purpose of the evaluation, the 
culture of the topic or sector and the timing of the evaluation. It is essential that the results of 
evaluations are used by RD&D planners when designing programmes or investing in technologies 
and by policy makers when setting targets. The evaluation design should include feedback into 
the design of future programmes and policies.  
A number of different evaluation methods exist and can be categorised as either quantitative or 
qualitative. Quantitative evaluation methods provide a formal, objective and systematic empirical 
investigation of quantitative properties and phenomena, as well as the relationships among such 
Documents you may be interested
Documents you may be interested