Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
116
Kennedy, C., & Miceli, T. (2010). Corpus-assisted creative writing: Introducing intermediate Italian 
learners to a corpus as a reference resource. Language Learning & Technology, 14(1), 28-44. Retrieved 
from http://llt.msu.edu/vol14num1/kennedymiceli.pdf 
Lee, D., & Chen, S. (2009). Making a bigger deal of the smaller words: Function words and other key 
items in research writing by Chinese learners. Journal of Second Language Writing, 18, 149-165. 
Lee, D., & Swales, J. (2006). A corpus-based EAP course for NNS doctoral students: Moving from 
available specialized corpora to self-compiled corpora. English for Specific Purposes, 25, 56-75. 
McCay, S. (1980), Teaching the syntactic, semantic and pragmatic dimensions of verbs. TESOL 
Quarterly, 14(1), 17-26. 
Mukherjee, J. (2006)
. Corpus linguistics and language pedagogy: The state of the art − and beyond. In S. 
Braun, K. Kohn & J. Mukherjee (Eds.), Corpus Technology and Language Pedagogy (pp.5-24). Frankfurt 
am Main: Peter Lang. 
Newman, R. S. (1991). Goals and self-regulated learning: What motivates children to seek academic 
help? In M. L. Maehr & P. R. Pintrich (Eds.), Advances in motivation and achievement (Vol. 7, pp. 151–
183). Greenwich, CT: JAI Press. 
Newman, R. S., & Goldin, L. (1990). Children’s reluctance to seek help with schoolwork. Journal of 
Educational Psychology, 82, 92–100. 
O’Malley, J., & Chamot.A. (1990). Learning strategies in second language acquisition. Cambridge, UK: 
Cambridge University Press. 
O’Sullivan, Í. (2007). Enhancing a process-oriented approach to literacy and language learning: The role 
of corpus consultation literacy. ReCALL, 19(3), 269–286.  
O’Sullivan, Í., & Chambers, A. (2006). Learners’ writing skills in French: Corpus consultation and 
learner evaluation. Journal of Second Language Writing15(1), 49–68. 
Oxford, R. (1990). Language learning strategies: What every teacher should know. New York, NY: 
Newbury House.  
Oxford, R. (Ed.). (1996). Language learning strategies around the world: Cross-cultural perspectives. 
Honolulu, HI: University of Hawai`i Press. 
Pérez-Paredes, P., Sánchez-Tornel, M., Calero, J., & Jiménez, P. (2011). Tracking learners’ actual uses of 
corpora: guided vs non-guided corpus consultation. Computer Assisted Language Learning, 24(3), 233–
253. 
Roca de Larios, J., Murphy, L., & Marín, J. (2002). A critical examination of L2 writing process research. 
In S. Ransdell, & M. Barbier (eds.), New directions for research in L2 writing (pp.11–47). Dordrecht, The 
Netherlands: Kluwer Academic Publishers.  
Römer, U. (2008). Corpora and language teaching. In A. Lüdeling & Kytö (Eds.), Corpus linguistics: An 
international handbook (pp.112–130). Berlin, Germany: Mounton de Gruyter. 
Rubin, J. (1975). What the “good learner” can teach us? TESOL Quarterly, 9(1), 41–51. 
Shi, L. (2006). The successors to Confucianism or a new generation? A questionnaire study on Chinese 
students’ culture of learning English. Language, Culture and Curriculum19(1), 122–147.  
Sinclair, J. (2004). How to use corpora in language teaching. Amsterdam, The Netherlands: John 
Benjamins. 
Sripicharn, P. (2004). Examining native speakers’ and learners’ investigation of the same concordance 
Pdf move pages - re-order PDF pages in C#.net, ASP.NET, MVC, Ajax, WinForms, WPF
Support Customizing Page Order of PDF Document in C# Project
change pdf page order reader; change page order pdf
Pdf move pages - VB.NET PDF Page Move Library: re-order PDF pages in vb.net, ASP.NET, MVC, Ajax, WinForms, WPF
Sort PDF Document Pages Using VB.NET Demo Code
how to reverse page order in pdf; how to move pages in pdf files
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
117
data and its implications for classroom concordancing with ELF learners. In G. Aston, S. Bernardini, & 
D. Stewart (Eds), Corpora and language learners (pp.233–245). Amsterdam, The Netherlands: John 
Benjamins. 
Stevens, V. (1991). Classroom concordancing: Vocabulary materials derived from relevant authentic text. 
English for Specific Purposes, 10(1), 35–46. 
St. John, E. (2001). A case for using a parallel corpus and concordance for beginners of a foreign 
language. Language Learning & Technology, 5(3), 185–203. Retrieved from 
http://llt.msu.edu/vol5num3/stjohn/default.html 
Sun, Y. (2003). Learning processes strategies and web-based concordances: A case study. British of 
Educational Technology, 34(5), 601–613.  
Sun, Y. (2007). Learner perceptions of a concordancing tool for academic writing. Computer Assisted 
Language Learning, 20(4), 323–343. 
Tian, S. (2005). The impact of learning tasks and learner proficiency on the effectiveness of data-driven 
learning. Journal of Pan-Pacific Association of Applied Linguistics, 9(2), 263–275.  
Tribble, C. (1991). Concordancing and an EAP writing programme. CAELL Journal, 1(2), 10–15. 
Tribble, C. (1997). Put a corpus in your classroom: Using a computer in vocabulary development. In T. 
Boswood (Ed.), New ways of using computers in language teaching (pp. 266–268). Alexandria, VA: 
TESOL. 
Tribble, C., & Jones, G. (1990). Concordances in the classroom. London, UK: Longman. 
Yoon, H. (2008). More than a linguistic reference: The influence of corpus technology on L2 academic 
writing. Language Learning & Technology, 12(2), 31–48. Retrieved from 
http://llt.msu.edu/vol12num2/yoon/ 
Yoon, H., & Hirvela, A. (2004). ESL students toward corpus use in L2 writing. Journal of Second 
Language Writing13, 257–283. 
Zimmerman, B. J., & Martinez-Pons, M. (1986). Development of a structured interview for assessing 
student use of self-regulated learning strategies. American Educational Research Journal, 23, 614–628. 
Zimmerman, B., & Martinez-Pons, M. (1988). Construct validation of a strategy model of student self-
regulated learning. Journal of Educational Psychology, 80(3), 284–290. 
C# TIFF: How to Reorder, Rearrange & Sort TIFF Pages Using C# Code
Using this C#.NET Tiff image management library, you can easily change and move the position of any two or more Tiff file pages or make a totally new order for
how to rearrange pages in a pdf reader; reverse pdf page order online
C# Word - Sort Word Pages Order in C#.NET
page reorganizing library control, developers can swap or adjust the order of all or several Word document pages, or just C# DLLs: Move Word Page Position.
move pages in pdf acrobat; rearrange pages in pdf reader
Language Learning & Technology
http://llt.msu.edu/issues/february2014/monteroperezetal.pdf 
February 2014, Volume 18, Number 1 
pp. 118-141 
Copyright © 2014, ISSN 1094-3501 
118
EFFECTS OF CAPTIONING ON VIDEO COMPREHENSION AND 
INCIDENTAL VOCABULARY LEARNING 
Maribel Montero Perez, iMinds - ITEC KU Leuven Kulak 
Elke Peters, KU Leuven 
Geraldine Clarebout, KU Leuven 
Piet Desmet, iMinds - ITEC KU Leuven Kulak 
This study examines how three captioning types (i.e., on-screen text in the same language 
as the video) can assist L2 learners in the incidental acquisition of target vocabulary words 
and in the comprehension of L2 video. A sample of 133 Flemish undergraduate students 
watched three French clips twice. The control group (
= 32) watched the clips without 
captioning; the second group (
= 30) watched fully captioned clips; the third group (
34) watched keyword captioned clips; and the fourth group (
= 37) watched fully 
captioned clips with highlighted keywords. Prior to the learning session, participants 
completed a vocabulary size test. During the learning session, they completed three 
comprehension tests; four vocabulary tests measuring (a) form recognition, (b) meaning 
recognition, (c) meaning recall, and (d) clip association, which assessed whether 
participants associated words with the corresponding clip; and a final questionnaire.  
Our findings reveal that the captioning groups scored equally well on form recognition and 
clip association and significantly outperformed the control group. Only the keyword 
captioning and full captioning with highlighted keywords groups outperformed the control 
group on meaning recognition. Captioning did not affect comprehension nor meaning 
recall. Participants’ vocabulary size correlated significantly with their comprehension 
scores as well as with their vocabulary test scores. 
Keywords: 
Video, Listening, Vocabulary, Multimedia, CALL 
APA Citation
: Montero Perez, M., Peters, E., Clarebout, G., & Desmet, P. (2014). Effects 
of Captioning on Video Comprehension and Incidental Vocabulary Learning. 
Language 
Learning & Technology 18
(1), 118–141. Retrieved from 
http://llt.msu.edu/issues/february2014/monteroperezetal.pdf 
Received:
May 10, 2012; 
Accepted: 
April 8, 2013; 
Published: 
February 1, 2014 
Copyright:
© Maribel Montero Perez, Elke Peters, Geraldine Clarebout, Piet Desmet 
INTRODUCTION 
The emergence of multimedia learning environments (Brett, 1995) and the overall accessibility of video 
(DVD, YouTube, etc.) have created important platforms for enhancing second language (L2) listening 
development (Vandergrift, 2011). These platforms are increasingly being used in classroom practice 
(Grgurović & Hegelheimer, 2007; Vanderplank, 2010) and provide learners with a number of listening 
support options, mostly realized in the form of a “technological overlay” (Robin, 2007, p. 109) such as 
native language (L1) subtitles (L2 video, L1 on-screen text), reversed subtitles (L1 video, L2 text), and 
captioning (L2 video, L2 text). This study focuses on captioning, which maximally exposes learners to 
the L2, and which has been proven to be beneficial for augmenting comprehension (Baltova, 1999; 
Chung, 1999; Markham, 2001) and fostering vocabulary learning (Markham, 1999; Sydorenko, 2010).  
While extensive research has addressed the potential of full captioning for video comprehension and 
vocabulary learning, research studies have not provided answers to several questions. Researchers have 
suggested simplifying full captions (Garza, 1991; Winke, Gass, & Sydorenko, 2010) but research that has 
C# PowerPoint - Sort PowerPoint Pages Order in C#.NET
library control, developers can swap or adjust the order of all or several PowerPoint document pages, or just change the C# DLLs: Move PowerPoint Page Position.
pdf reverse page order; how to reverse pages in pdf
C# PDF File & Page Process Library SDK for C#.net, ASP.NET, MVC
RasterEdge XDoc.PDF allows you to easily move PDF document pages position, including sorting pages and swapping two pages. Copying and Pasting Pages.
reorder pages in pdf preview; change page order pdf acrobat
Maribel Montero Perez, Elke Peters, Geraldine Clarebout, & Piet Desmet 
Effects of Captioning 
Language Learning & Technology
119
attempted to reduce the textual density by offering only keyword captions has yielded inconclusive results 
(Guillory, 1998; Park, 2004). Additionally, research on vocabulary learning has identified attention as 
being a crucial component for vocabulary learning (Hulstijn, 2001), yet no study has looked at the effects 
of salience in the captioning line for drawing L2 learners’ attention to target vocabulary and enhancing 
incidental vocabulary learning, that is, vocabulary learning as a by-product of listening for meaning 
(Gass, 1999).  
This study expands on previous captioning research by investigating not only video with full captions but 
also video with keyword captions and video with full captions and highlighted keywords in order to 
reveal the effectiveness for L2 learners’ vocabulary learning and comprehension of video content in the 
context of L2 French.  
Literature Review  
Our literature review focuses on three elements: (a) the importance of lexical coverage for successful 
listening comprehension and vocabulary learning, (b) the effectiveness of captions for L2 video 
comprehension, and (c) the effectiveness of captioned video for L2 vocabulary acquisition.  
Research has indicated that comprehension of written or aural input is crucial for acquiring new linguistic 
items incidentally (Gass, 1997; Lee & Van Patten, 2003). Although Rost (2002) identified listening as 
one of the most important sources for L2 acquisition, only a handful of researchers have investigated the 
relationship between listening comprehension and vocabulary learning and tried to discover which factors 
affect comprehension and chances for word learning. In a series of studies, Webb (2010, 2011) and Webb 
and Rodgers (2009) investigated the importance of the lexical coverage of television programs in relation 
to incidental vocabulary learning and text comprehension. They found that knowledge of the 2,000 to 
4,000 most frequent word families provides 95% coverage of television programs, which, according to 
Nation (2006), is the coverage required for incidental learning and adequate text comprehension. Webb 
and Rodgers’ results indicated that to achieve 98% coverage, 5,000 to 9,000 word families are necessary, 
depending on the television genre. van Zeeland and Schmitt (2012) suggested that learners with a 
vocabulary size between 2,000 and 3,000 word families have 95% coverage, which is sufficient for 
adequate understanding of storytelling passages (audio only). Although the findings of the 
aforementioned studies present slightly different figures on the number of words needed, they provide 
accumulative evidence for the claim that vocabulary size is highly correlated with listening success 
(Staehr, 2009) and vocabulary learning (Neuman & Koskinen, 1992). A general finding, however, is that 
most L2 learners have not yet developed a sufficiently large vocabulary to understand L2 video. In spite 
of the richness of video material (Baltova, 1999), it is not necessarily appropriate for adequate 
comprehension and learning (Danan, 2004). One solution to help learners is to provide them with L2 
subtitles or captioning.  
The bulk of captioning research has focused on the effectiveness of captioning for L2 learners’ 
comprehension of video content (Baltova, 1999; Chung, 1999; Garza, 1991; Huang & Eskey, 1999-2000; 
Markham, 2001; Neuman & Koskinen, 1992; Park, 2004; Winke et al., 2010). In general, researchers 
have found that captioning enhances comprehension of L2 clips. Bird and Williams (2002) suggested that 
captions aid speech decoding and segmentation by helping listeners visualize the speech stream and 
clearly indicating word boundaries. Captioning has therefore been characterized as a “mediating device” 
(Vanderplank, 1988, p. 280), helping the learner when automated sound-script recognition falls short. 
Markham (1999) suggested that captions also help the development of word recognition skills. By doing 
so, it makes ambiguous speech clearer the next time it will be encountered (Bird & Williams, 2002; 
Garza, 1991) and enables learners to successfully cope with input that is slightly above their actual 
proficiency level (Danan, 2004; Neuman & Koskinen, 1992).  
While it is generally acknowledged that captioning improves L2 listeners’ understanding (e.g. Baltova, 
1999; Huang & Eskey, 1999-2000), Pujolá (2002) and King (2002) have argued that the presence of 
C# PDF insert text Library: insert text into PDF content in C#.net
int pageIndex = 0; // Move cursor to (400F, 100F). String outputFilePath = Program.RootPath + "\\" output.pdf"; doc.Save(outputFilePath);
how to move pages in pdf converter professional; move pages in pdf file
VB.NET PDF insert text library: insert text into PDF content in vb
Dim pageIndex As Integer = 0 ' Move cursor to (400F, 100F). Dim outputFilePath As String = Program.RootPath + "\\" output.pdf" doc.Save(outputFilePath).
move pages in pdf; move pages within pdf
Maribel Montero Perez, Elke Peters, Geraldine Clarebout, & Piet Desmet 
Effects of Captioning 
Language Learning & Technology
120
captions makes it difficult to conclude whether comprehension scores reflect participants’ listening or 
reading skills. Although this claim has not been tested empirically, studies have shown that the 
availability of captions does not compromise successful auditory processing (Bird & Williams, 2002; 
Markham, 1999, as cited in Danan, 2004; and Vanderplank, 2010). Other researchers have tried to find 
out if the amount of textual density in the captioning line can be reduced by exploring the potential of 
keyword captioned video (Guillory, 1998; Park, 2004), as suggested by Garza (1991) and more recently 
by Winke et al., (2010). Keywords are expected to tackle the problem of textual density (Guillory, 1998) 
while still providing support. Guillory’s study examined to what extent keywords can support 
understanding of L2 video for beginning learners of French. The results showed that learners in the 
keyword group (receiving only 14% of the full captioning text) performed as well as the full captioning 
group on the comprehension questions. Moreover, the keyword group significantly outperformed the no 
captioning group. Unlike Guillory’s study, Park’s research (2004) indicated that only the more advanced 
students were able to benefit from keyword captions; lower-level students did not significantly 
outperform the no captioning group. It is, however, unclear to what extent this finding can be attributed to 
the keyword captions or to the video input selected for his study. Since Park used the same input for both 
lower-level and higher-level learners, there might have been a mismatch between lower-level learners’ 
proficiency and the level needed for the video (Vanderplank, 2010; Winke, et al., 2010).  
Although far fewer studies have investigated the effects of captioned video on L2 learners’ vocabulary 
learning (e.g. Baltova, 1999; Danan, 1992; Sydorenko, 2010), two general conclusions can be drawn from 
the results of previous research. First of all, it has been shown that captions significantly help learners on 
written form recognition (Neuman & Koskinen, 1992; Sydorenko, 2010) and aural form recognition tests 
(Markham, 1999). However, Sydorenko (2010) found that learners in the video only group outperformed 
the captioning group on an aural form recognition test and therefore concluded that captioning success 
may depend on test modality. Yet, previous research has tended to suggest that captions help L2 learners 
isolate word forms (Winke et al., 2010) and pay attention to them, which may subsequently stimulate 
noticing of these forms. With regard to noticing, it is well documented in the literature on vocabulary 
acquisition that noticing unknown words in the input is the first step in the acquisition process (Huckin & 
Coady, 1999; Hulstijn, 2001). The crucial role of attention is also at the basis of Vanderplank’s  
“speculative model” (1990, p. 228) on language learning through captioned video. In his model, the 
“taking out” of language from captioned video consists of both attention and adaptation. Vanderplank 
defines attention as a conscious selection process that is based on systematically “noting and gathering” 
(p. 229) information and on a reflective component in which learners notice a gap while comparing their 
L2 knowledge with the captioned video input. Adaptation, the selection of linguistic elements that 
learners pay attention to “for [their] own purposes” (Vanderplank, p. 229), aligns with Gass’ position that 
learners have “their own focus of attention” (1999, p. 321). 
Second, captions also help learners make form-meaning connections in the mental lexicon, which 
constitutes a crucial process in the acquisition of lexical items (Van Patten, Williams, & Rott, 2004). With 
regard to those form-meaning connections, studies have found that captions help learners not only to 
recognize the meaning of target words (Huang & Eskey, 1999-2000; Neuman & Koskinen, 1992) but also 
to provide translations (Sydorenko, 2010; Winke et al., 2010) or to produce the target forms themselves 
(Baltova, 1999; Danan, 1992). While these studies provide valuable information on the potential of 
captions for vocabulary acquisition, further research is needed to investigate whether captions can be 
enhanced in order to stimulate vocabulary learning. 
As shown in this section, previous research has lent support to the use of captioning in classroom 
contexts. Yet, it also reveals a number of issues that require further research. One of the recurring 
questions has been whether captions can be enhanced by providing L2 learners with salient keywords 
rather than full captions (Garza, 1991; Guillory, 1998; Park, 2004), or by visually enhancing keywords in 
the captioning line (Winke et al., 2010). While two studies have examined the effectiveness of keywords 
C# PDF Image Extract Library: Select, copy, paste PDF images in C#
Get image information, such as its location, zonal information, metadata, and so on. Able to edit, add, delete, move, and output PDF document image.
pdf reorder pages; reorder pdf page
VB.NET PDF Library SDK to view, edit, convert, process PDF file
Rapidly and multiple PDF document (pages) creation and edit methods file formats; merge, append, and split PDF files; insert, delete, move, rotate, copy
reorder pdf pages online; how to move pages in pdf reader
Maribel Montero Perez, Elke Peters, Geraldine Clarebout, & Piet Desmet 
Effects of Captioning 
Language Learning & Technology
121
for L2 learners’ understanding of video, they produced conflicting results (Guillory, 1998; Park, 2004). 
Moreover, although attention has been identified as a crucial component of vocabulary learning (Hulstijn, 
2001), we are not aware of studies that have focused on the effects of salience in the captioning line, 
either through keywords or highlighted items in full captions, in the context of vocabulary learning. A 
study comparing full captions to (highlighted) keywords may provide more information on (a) what 
learners notice in the input and (b) how full captions and keywords can enhance attention and processing 
quality in terms of vocabulary gains.  
Research Questions 
This study investigates the potential of three types of captioned video, varying in the amount of text and 
the salience of the lexical items in the captioning line, for content comprehension and incidental 
vocabulary learning. In particular, we have included three captioning groups (see Table 1): full captioning 
(FC), keyword captioning (KC), and full captioning with highlighted keywords (FCHK) and compared 
their results with those of a control group (NC). 
Table 1.
Overview of Experimental Conditions 
Name of condition 
No captioning 
(NC) 
Full captioning 
(FC) 
Keyword 
captioning (KC  
Full captioning with 
highlighted keywords 
(FCHK) 
Participants per condition  
32 
30 
34 
37 
Amount of textual support 
None 
Full 
Partial 
Full 
Amount of salience 
No salience 
No salience 
Salience 
Salience of keywords 
We were guided by two main research questions:  
1) Does the type of captioning have a differential effect on L2 learners’ understanding of video 
content, as measured by three comprehension tests consisting of global and detailed questions?  
We hypothesize that learners in the captioning groups will outperform the NC group because of the 
availability of on-screen text. With regard to the differences between FCHK, FC, and KC, we adopt a null 
hypothesis as earlier studies have provided no or inconclusive results in this respect. 
2) Does the type of captioning have a differential effect on L2 learners’ incidental learning of 
target vocabulary words, as measured by a form recognition, clip association, meaning 
recognition, and meaning recall test?  
We expect KC and FCHK to outperform FC and NC and for FC to outperform NC on the form 
recognition and clip association tests because the lexical items’ salience may help the groups to notice 
words (Brett, 1998) and associate them with the correct clip more easily. With regard to meaning 
recognition, we hypothesize that FCHK will outperform KC and FC as the availability of highlighted 
keywords and full captioning may facilitate the inference of word meaning and initial form-meaning 
mapping. We also expect the differences between the captioning groups to disappear for meaning recall as 
the latter might be hard to achieve after the relatively short exposure to the target words. Yet, the 
captioning groups are still expected to outperform NC. Table 2 summarizes our hypotheses.  
Maribel Montero Perez, Elke Peters, Geraldine Clarebout, & Piet Desmet 
Effects of Captioning 
Language Learning & Technology
122
Table 2
Research Hypotheses 
Test 
Hypothesis 
Listening comprehension 
FC, KC, and FCHK > NC 
Form recognition and clip association  KC and FCHK > FC > NC 
Meaning recognition 
FCHK > FC and KC > NC 
Meaning recall 
FC, KC, and FCHK > NC 
METHODS 
Participants  
The participants were 133 undergraduate law students (55 males, 78 females) at a Flemish university 
(
M
age
= 17.98 years, 
SD
= .51). All were native speakers of Dutch, except for four French-speaking 
students whose data were excluded from the analysis. All students had an obligatory course in Legal 
French, which focuses on communicative competence and legal vocabulary. Classes were organized in 
six parallel groups of approximately 25 students.  Participants were informed that attending the 
experiment would count as two of the 14 obligatory hours of online training. The participants could be 
considered as (high-) intermediate learners of French, as measured by the self-designed vocabulary size 
test (see Instruments and Results section). 
The four conditions (NC, FC, KC, and FCHK) were randomly assigned to the six groups. Four groups 
were assigned to one of the four conditions, while the other two groups were divided equally over the four 
conditions in order to obtain a balanced composition.  
Materials  
Video Selection 
Since our study was embedded in a formal classroom setting, we selected three relatively short,
1
but 
authentic French clips
2
from a Belgian and Swiss current affairs program for native speakers of French. 
The clips, which were available online, had a single narrator and included short interviews in which at 
least one interlocutor was shown. The first video (2’25’’, 376 words) discussed the production and export 
strategy of a French brewery. The second and third clip presented the marketing strategy (4’24’’, 772 
words) and history (3’32’’, 576 words) of the Lego © factory. The first and second clip were used without 
modifications. We removed a two-minute section of the third clip because it required too much economic 
knowledge. The three clips were manually transcribed and captions were added with MAGpie  
(http://ncam.wgbh.org/invent_build/web_multimedia/tools-guidelines/magpie).  
Target Word Selection 
An important criterion for selection was that the clips contained a number of words that were very likely 
to be unfamiliar to the participants, that is, the target words (TWs) of this study. We adopted two 
procedures to verify familiarity with the TWs: 
First, we compiled a list of 140 possible TWs appearing in the clips and a set of pseudowords. A 
representative group of students (
N
= 40) of the same university, with a proficiency level similar to that of 
the actual participants of this study, indicated whether or not they knew each of the 140 words. We 
retained all the words that were not known by at least 70% of the students, which resulted in a set of 20 
TWs (see Appendix A). We did not set the cognition level at 100% because students did not need to 
provide the actual translation and may have overestimated their knowledge. 
Second, prior knowledge of the TWs in the present study was controlled for by means of a pretest. The 
prior knowledge test was administered to the participants four weeks before the learning session and 
Maribel Montero Perez, Elke Peters, Geraldine Clarebout, & Piet Desmet 
Effects of Captioning 
Language Learning & Technology
123
contained the 20 potential TWs and 18 distracters (easier words). The test format was similar to the 
Vocabulary Knowledge Scale (VKS) (Wesche & Paribakht, 1996) and measured participants’ depth of 
vocabulary knowledge. For each item, participants indicated the corresponding level (see Instruments 
section, Table 4, Test 3). We left out the fifth level (
I can use this word in a sentence, write a sentence
because it was very unlikely that the learners would be familiar with the TWs. In addition, it is hard to 
determine objectively whether the sentence demonstrates knowledge of the word (Bruton, 2009; Nation & 
Webb, 2011). Results of the prior knowledge test showed that learners were familiar with three TWs, 
which were subsequently excluded from the TWs (see Appendix A).  
Of the 17 retained TWs, there were seven nouns, four verbs, and six multiword units (verb and noun or 
pronoun and verb). None of the TWs were cognates. Since we selected authentic videos, it was not 
possible to control for the frequency of the TWs.
3
Four TWs occurred more than once in the clip (see 
Appendix A).  All TWs appeared as highlighted keywords in the FCHK condition and in isolation in the 
KC condition. The four TWs with a higher occurrence were keyword captioned for every occurrence in 
the clip. 
Five experienced lecturers of French were asked to verify the appropriateness of the clips for the target 
audience and to rate the correlation between the audio and visual images in the clips. In their judgment, 
the clips were appropriate and visual images were considered supportive of the dialog but did not provide 
explicit information on the meaning of the TWs. There were, however, contextual clues available in the 
sentences containing the TWs. These clues are important to infer word meaning (Nation, 2001) and 
establish initial form-meaning connections. For example, in the sentence 
Lego est revenue à la une après 
avoir frôlé le naufrage, il y a dix ans à cause des jeux électroniques 
(“Lego made it back to the top, after 
being on the verge of disaster, ten years ago because of electronic games”), the context makes it possible 
to infer the meaning of the underlined TWs.  
Keyword Determination Procedure  
We define keywords as words that are important for the meaning of the sentence or paragraph. The 
keywords were presented like the TWs: either in isolation (KC) or as highlighted words (FCHK). The 
same five experienced lecturers of French were asked to highlight keywords for comprehension in the 
three video transcripts (as in Guillory, 1998, and Park, 2004). We processed their selections, compared 
them with our keywords and selected a final set of keywords, representing 17.11% (or 295 out of 1,724 
words) of the total number of words in the three videos. 
Instruments  
Vocabulary Size Test 
Previous research has revealed that vocabulary size is linked to listening success (Staehr, 2009; van 
Zeeland & Schmitt, 2012; Webb & Rodgers, 2009) and vocabulary learning (Baltova, 1999; Webb & 
Rodgers, 2009). Vocabulary size is also claimed to give a rough estimate of learners’ language 
proficiency (Milton, Wade, & Hopkins, 2010). Therefore, we designed a 50-item
4
multiple choice test 
that comprised three parts corresponding to the following word frequency bands: 2,001-4,000 (21 items), 
4,001-5,000 (15 items), and 5,001-7,000 (14 items), based on the Routledge (Lonsdale & Le Bras, 2009), 
Verlinde (Selva, Verlinde, & Binon, 2002), and DPC corpus (Paulussen, Macken, Trushkina, Desmet, & 
Vandeweghe, 2006) frequency lists.  Every test item was a written multiple choice question containing 
four Dutch translation options of the item (see Figure 1). Although a study on aural input should ideally 
include a spoken vocabulary size test, previous studies have shown that the use of a written vocabulary 
size test did not compromise the findings regarding the significant correlation between vocabulary size 
and listening comprehension (e.g., Staehr, 2009; van Zeeland & Schmitt, 2012).  
Maribel Montero Perez, Elke Peters, Geraldine Clarebout, & Piet Desmet 
Effects of Captioning 
Language Learning & Technology
124
Figure 1.
Sample of vocabulary size test where the first row contains the French word and its correct 
translation is in italics. 
Three Comprehension Tests 
We developed a comprehension test for each clip. Together, the three tests included 41 items: 19 short 
open-ended questions, 14 true-false items, and eight combination items (see Table 3). All participants 
were native speakers of Dutch and were asked to answer the open-ended questions in their L1 (Buck, 
2001). The development of the test items was inspired by Buck’s “competency-based” default listening 
construct (p. 114), which measures general understanding, detailed content, and inferencing ability. Of the 
41 items, 25 items focused on understanding the main ideas and 16 items targeted more detailed yet 
relevant elements. We did not include inferencing questions due to two limitations: (a) we used relatively 
short clips, providing very concrete and factual information; and (b) in order to prevent a task effect on 
vocabulary learning, the comprehension tests did not focus on the sections containing the TWs, posing 
extra limitations on the information that could be included in the tests.  
The comprehension questions targeted the keywords, which means that questions only focused on 
important ideas. Moreover, if we had focused on ideas that were not represented in the keywords, we 
would not have been able to investigate differences between NC and KC (see Table 3). 
Table 3. 
Sample of Comprehension Questions
Question Type 
Comprehension Questions* 
Short open-ended 
question 
1.  Explain why the French Craftworks association was established.  
(video 1) 
Answer:   In order to 
stimulate the export
of French beer. 
2.  Explain why Lego is a classic marketing example. (video 2) 
Answers:  Lego has an 
online platform
where customers can present their creations. 
By 
posting pictures of their creations
on the 
online platform
, they  
provide inspiration for new Lego sets. 
3.  According to the interviewee, what caused the crisis at Lego? (video 3) (with picture 
of the interviewee). 
Answer:  Lego wanted to 
grow so fast
that they started to 
manufacture new 
Maribel Montero Perez, Elke Peters, Geraldine Clarebout, & Piet Desmet 
Effects of Captioning 
Language Learning & Technology
125
products
. They did however 
not have the expertise
to do so. 
True/False 
questions 
Indicate if the statement is true or false and, if false, correct the sentence. 
Annick states that the brewery’s export rate is satisfactory since they 
export more than the national average. (video 1) 
Lego refunds purchases when customers put pictures or videos of their 
Lego constructions on the Internet. (video 2) 
Combination task 
Who says what? Combine each statement with the corresponding picture**  
(video 2). 
« Il y a 
une révolution
dans la brique de mon enfance »   
(picture of toy store communication manager) 
« On a un laboratoire de 20.000, 200.000 
utilisateurs
»  
(picture of marketing specialist) 
« C’est 
un jouet
qu’on garde longtemps »  (picture of Lego retailer) 
Note: 
*
We checked the internal consistency of the 41 items and found acceptable reliability (N = 133, Cronbach’s alpha = .73). 
**
The pictures are not reproduced due to copyright restriction. The words in italics were keyword captioned for KC and FHCK.
Four Vocabulary Tests 
It is generally assumed that vocabulary acquisition is not an “all or nothing phenomenon” (Laufer, Elder, 
Hill, & Congdon, 2004, p. 209) but an incremental process with noticing as initial step (Hulstijn, 2001). 
Therefore, we assessed vocabulary learning by means of multiple tests, as suggested by Nation and Webb 
(2011). We first measured three aspects of word knowledge: form recognition, clip association, and 
meaning recall.
5
The form recognition test assessed whether learners were able to recognize the TWs, a 
selection of keywords that were not TWs, and some distracters.  Learners ticked off “yes” if they thought 
the word appeared in the clips, and “no” if they did not (see Table 4, Test 1). This test did not include 
non-words but we controlled for guessing by also presenting a clip association test. The clip association 
test contained the same TWs, keywords, and distracters as the form recognition test and built on learners’ 
answers on the previous test. If learners had checked “yes” on the form recognition test, they were asked 
to indicate in which clip the word had occurred (Brewery or Lego). This allowed us to check if they could 
associate the word with a vague meaning (see Table 4, Test 2). The form recognition and clip association 
tests were combined with a VKS identical to the one used in the prior knowledge test (see Table 4, Test 
3). The VKS enabled us to check whether learners were able to translate the TWs into their L1 (meaning 
recall). 
Table 4. 
Target Word "amertume" in the Four Vocabulary Tests 
Test 
 Form recognition 
Word used in the clips?  Yes No 
 Clip association 
If yes, in which clip?  Brewery Lego 
 VKS (meaning recall)  Amertume 
I don’t remember having seen this word before.  
I have seen this word before but I don’t know the meaning. 
I think I know the meaning:… (provide translation). 
Documents you may be interested
Documents you may be interested