Language Learning & Technology 
http://llt.msu.edu/issues/february2014/yoonjo.pdf 
February 2014, Volume 18, Number 1 
pp. 96–117 
Copyright © 2014, ISSN 1094-3501 
96
DIRECT AND INDIRECT ACCESS TO CORPORA: AN EXPLORATORY 
CASE STUDY COMPARING STUDENTS’ ERROR CORRECTION AND 
LEARNING STRATEGY USE IN L2 WRITING 
Hyunsook YoonHankuk University of Foreign Studies 
Jung Won JoHankuk University of Foreign Studies 
Studies on students’ use of corpora in L2 writing have demonstrated the benefits of 
corpora not only as a linguistic resource to improve their writing abilities but also as a 
cognitive tool to develop their learning skills and strategies. Most of the corpus studies, 
however, adopted either direct use or indirect use of corpora by students, without 
comparing the effectiveness between the two applications. This case study seeks to 
develop new lines of inquiry by comparing the effectiveness and learning strategy use in 
corpus-based writing revision. Four Korean EFL students used introspective and 
retrospective research instruments in an investigation of the effects of corpus use on error 
correction, error correction patterns, and learning strategy use between the two 
approaches. While we caution about drawing a conclusion from this small case study, the 
needs-based approach to corpus use in L2 writing was found to be effective for 
restructuring the learners’ errant knowledge about language use. The approach drove 
students to actively adopt cognitive learning strategies by performing as “language 
detectives.” Different effectiveness and learning strategy uses were also observed relative 
to the corpus use contexts as well as according to student proficiency levels. We also 
found pedagogical implications, which will be discussed, in relation to the two different 
corpus applications.  
APA Citation: Yoon, H., & Jo, J. W. (2014). Direct and indirect access to corpora: An 
exploratory case study comparing students’ error correction and learning strategy use in 
L2 writing. Language Learning & Technology 18(1), 96–117. Retrieved from 
http://llt.msu.edu/issues/february2014/yoonjo.pdf 
Received: August 21, 2012; Accepted: March 29, 2013; Published: February 1, 2014 
Copyright: © Hyunsook Yoon & Jung Won Jo 
INTRODUCTION 
An ever-expanding body of work has demonstrated the benefits of corpus-based activities in second 
language (L2) writing pedagogy (e.g. Charles, 2007; Gaskell & Cobb, 2004; Gilmore, 2009; Kennedy & 
Miceli, 2010; Lee & Chen, 2009; Lee & Swales, 2006; O’Sullivan & Chambers, 2006; Sun, 2007; Yoon, 
2008; Yoon & Hirvela, 2004). Those studies have generally shown the positive effects of corpus use on 
the development of students’ linguistic and rhetorical aspects of L2 writing. Given that the linguistic 
domain often leaves a major challenge even for advanced L2 writers (Lee & Chen, 2009; Yoon, 2008), 
corpus-based learning can provide learners with a valuable resource to deal with chronic linguistic 
problems. Many corpus studies in L2 writing have exploited corpora as resources to educe feedback on 
learners’ writing (Gaskell & Cobb, 2004; Gilmore, 2009; O’Sullivan & Chambers, 2006). For example, 
Gilmore (2009) showed how learners are able to integrate corpus observations into the redrafting stage of 
writing to improve the naturalness of writing.  
In addition to the benefits of corpus use as a linguistic tool, corpus-based studies have also observed the 
contribution of corpus investigation as a cognitive tool to develop learners’ thinking skills in the learning 
process (O’Sullivan, 2007; Sun, 2003). The analysis of students’ corpus examples is widely known as 
“data-driven learning” (DDL) (Johns, 1991). DDL is said to not only raise students’ awareness of 
Pdf page order reverse - re-order PDF pages in C#.net, ASP.NET, MVC, Ajax, WinForms, WPF
Support Customizing Page Order of PDF Document in C# Project
how to reorder pages in pdf; reorder pdf pages
Pdf page order reverse - VB.NET PDF Page Move Library: re-order PDF pages in vb.net, ASP.NET, MVC, Ajax, WinForms, WPF
Sort PDF Document Pages Using VB.NET Demo Code
how to reorder pdf pages in reader; how to rearrange pdf pages in preview
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
97
conventional language patterns in L2 but can also develop strategies for learning the language and thus 
encourage inductive learning. O’Sullivan (2007) argues that DDL inevitably involves the focus on the 
learning process, which enhances learners’ mental activity, cognitive abilities and metalinguistic 
knowledge.  With the growing recognition of corpora as a learning tool, there has been increased attention 
to the integration of corpus activities into the language classrooms as part of L2 instruction.  
Corpora can be accessed in the language classrooms in two different ways: students’ direct use of 
concordancing software, i.e. computer-based activities, and the presentation of teacher-prepared 
concordance data in handouts, i.e. paper-based activities. Researchers have used these respective labels 
for the two techniques: hands-on concordancing (Cobb, 1997) and corpus-printouts (Stevens, 1991), hard 
and soft version (Gabrielatos, 2005), direct and indirect consultation of corpora (Chambers, 2007), 
deductive and inductive DDL (Creswell, 2007), teacher-corpus interaction and learner-corpus interaction 
(Römer, 2008), and teacher-led concordance-based activities and learner-centered corpus-browsing 
projects (Mukherjee, 2006). For the sake of convenience, this study will label the techniques “direct 
corpus use” and “indirect corpus use.”   
In direct corpus use, learners have direct access to concordancers to find language rules for themselves. If 
the concordances do not offer enough clues, learners can get more texts by typing another key word or 
clicking on an additional button. The sheer volume of corpus studies has examined the direct use 
approach. Those studies demonstrated the potential of corpus use in a wide variety of implementations in 
writing classes, including students’ corpus use to improve their knowledge about common usage patterns 
of words and to increase confidence in L2 writing (Yoon, 2008; Yoon & Hirvela, 2004), enhancing 
students’ awareness of lexico-grammatical patterning and rhetorical functions in EAP writing classes 
(Charles, 2007), writing revisions based on the corpus information (Gaskell & Cobb, 2004; Gilmore, 
2009), evaluating apprenticeship in corpus use (Kennedy & Miceli, 2001; 2010), examining students’ 
evaluations of, and changes in, the use of lexical and grammatical features in writing (O’Sullivan & 
Chambers, 2006), for proofreading activities centering on students’ learning processes and strategies 
using a web-based concordancer (Sun, 2003), using a web-based scholarly writing template to enhance 
students’ genre-specific language use (Sun, 2007), and using direct observation methodology, i.e. 
computer tracking, to examine learners’ use of corpus data (Pérez-Paredes, Sánchez-Tornel, Calero, & 
Jiménez, 2011).  
On the other hand, voices have raised concerns about the difficulties students encounter in the direct use 
of corpora. St. John (2001) commented that especially lower-level students are challenged by the daunting 
amount of concordance examples, even for frequent words, which can easily become too numerous and 
even meaningless. Charles (2007) stated that teacher control can help students manage the onerous 
quantity of data and help them to gradually develop a better sense of corpus use without affecting the 
original meaning of discovery learning. Boulton (2010a) argued that without losing the essential 
characteristics of DDL, “the use of published materials can help DDL to reach a wider audience of 
teachers and learners” (p.44). In this respect, where DDL is a new concept to new learners using 
computers, corpus work in the familiar paper format can make the activities more accessible to harvest 
long-term learning benefits. In other words, indirect corpus use is “a compromise in an attempt to 
reconcile the extraordinary (DDL) with the ordinary (published materials)” (p.43).  
In indirect use of corpora, the teacher has access to a concordancer and prints out examples from the 
corpus. Here teachers can edit the concordances that may be too difficult for the learners. Then the 
learners work with these edited concordances (Bernardini, 2004; Tribble, 1997; Tribble & Jones, 1990). A 
relatively fewer number of studies have been reported on the implementation of indirect use of corpora in 
the classroom. Stevens' (1991) study was the first attempt to explore concordance-based vocabulary 
exercises as a viable alternative to the traditional gap-filler. He found that students showed better 
performance on concordance-based exercises in contrast to those deployed with gap-filler exercises. 
Tian's (2005) experimental study of 98 Taiwanese university students determined the distinctive 
C# Word: How to Use C# Code to Print Word Document for .NET
document pages in original or reverse order within entire C# Class Code to Print Certain Page(s) of powerful & profession imaging controls, PDF document, image
how to reorder pages in pdf online; how to move pages within a pdf
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
98
effectiveness of DDL relative to learning tasks and proficiency levels. The study adopted paper-based 
corpus activities that were considered more feasible with the large class size. The results found that the 
DDL group outperformed the control group in their learning of grammar and syntactic features of news 
headlines, except for learning word usage, while there was no significant difference in learning outcomes 
between students’ proficiency levels.    
In more recent studies of indirect corpus use, Boulton (2008, 2009, 2010b) conducted several sequenced 
studies to test the effects of corpus printed materials in language learning. He was mostly interested in the 
effectiveness of paper-based corpus materials especially for teaching and learning phrasal verbs to lower-
level students (2008), linking adverbials (2009), and 15 language items (2010b). He consistently found 
that indirect corpus outputs were more effective than traditional references such as bilingual dictionaries 
and grammar manuals. Boulton (2010a) argued that printed materials provided the conditions for 
“individual exploration later on with the accompanying benefits of greater autonomy, learner 
centeredness, and life-long learning” (p.44).  
However, indirect use of corpora also has come under criticism for its limited access to the corpus data. 
We do acknowledge Boulton’s (2010a) point that use of paper-based materials can be a transitional step 
to train learners to become successful hands-on corpus users, but the teacher-edited limited sample of data 
can restrict learners’ own discoveries – so-called “serendipitous learning” (Bernardini, 2000). 
Furthermore, it is difficult to ensure the representativeness of the sample in terms of frequency in the 
editing process (Gabrielatos, 2005). 
While direct and indirect corpus use have distinctive advantages and disadvantages as discussed above, 
most of the studies have examined either approach exclusive of the other in L2 instruction. Earlier, 
Chambers (2005) called for a comparative study on “the benefit of direct consultation of corpora by 
learners as opposed to consultation of concordances provided by teachers” (p.121). Nevertheless, Boulton 
(2010a) still noted that “no studies to date directly compare the benefits of hands-on corpus consultation 
with those of prepared materials” (p.25). We need those comparative studies to understand pedagogical 
effectiveness in writing development depending on the different use contexts. If either method can 
differentially affect how L2 is taught and learned, it would have implications for course design and 
material development. Following Chambers' (2005) and Boulton’s (2010a) suggestions, thus, this study 
aims to demonstrate both methods’ respective influences on students’ error correction in a writing class. 
It is tempting to succumb to a technological-determinist view that the most advanced technology is the 
most effective tool for learning, i.e. direct corpus use. However, a critical pedagogical issue is how 
students process the corpus information, relative to corpus use type, to deal with their linguistic problems. 
For example, Zimmerman and Martinez-Pons (1988) found a high correlation between learners’ use of 
self-directed learning strategy and learning achievements. That is, using the appropriate learning strategy 
can lead to higher learning outcomes. Conversely, in order to obtain successful learning experiences in 
corpus pedagogy, there should be an understanding of learning strategy, which can cultivate the 
motivation of active learners. Consequently the important questions to examine in corpus investigation 
are the strategies learners use to analyze the corpus data, whether there is a more effective strategy, and 
whether there are differences in strategies relative to student proficiency levels and the two corpus use 
settings.  
Only a few studies have investigated learner strategies in corpus use and concordance analysis (Kennedy 
& Miceli, 2001; 2010; Sripicharn, 2004; Sun, 2003). Kennedy and Miceli (2001) conducted a detailed 
qualitative analysis of how students progressed towards becoming independent corpus users in Italian 
writing instruction. They identified four steps in learners’ corpus execution: formulating the question, 
devising a search strategy, observing the data and selecting examples, and drawing conclusions. The 
study found that students had problems in all the steps mainly due to the lack of knowledge in L2. Sun 
(2003) used a think-aloud protocol to analyze the learning process and strategies used by three English as 
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
99
a foreign language (EFL) students when accessing the corpus data to proofread texts with grammar 
mistakes. She identified four factors that influenced learners' investigations and strategies: learner’s prior 
knowledge of the language, cognitive skills, concordancer skills, and the teacher's intervention. Sripicharn 
(2004) conducted an interesting study that compared strategies used in concordance investigations 
between learners and native-speakers. The results showed that while the learners mainly adopted data-
driven strategies such as concordance-based generalization and hypothesis testing, the native speakers 
depended more upon their intuitive knowledge, and they generalized beyond the concordance output.    
While those innovative studies are very instructive, it is critical to garner more insights into the sorts of 
strategies learners use to comprehend and process the information in corpus-based contexts. Learning 
strategies are “specific actions taken by the learner to make learning easier, faster, more enjoyable, more 
self-directed, more effective, and more transferable to new situations” (Oxford, 1990, p. 8). The need for 
teaching the student learning strategy, i.e. to learn how to learn, has been front and center in L2 
pedagogical research since Rubin’s (1975) seminal investigation of good language learners’ behaviors. 
More generally, learners' approaches are contextual; they employ specific strategies to approach their 
specific task and to achieve their particular purpose depending on the learning environment in which they 
occur (O’Malley & Chamot, 1990; Oxford, 1990; 1996). 
The notion of enhancing “discovery” or “learner autonomy” in learning strategies has played a pivotal role in the 
pedagogical investigations of corpus-based approaches to language learning. Numerous analyses have found that 
concordances can contribute to the development of students’ cognitive skills and learning strategies 
(Cheng, Warren, & Xun-feng, 2003; Kennedy & Miceli, 2001; O’Sullivan, 2007; Sun, 2003). Many 
researchers have argued that corpus-based activities give learners more control over their language 
learning process, which in turn promotes inductive learning and learner autonomy (Chambers, 2005; 
O’Sullivan & Chambers, 2006; O’Sullivan, 2007). Given the premises shared in the literature of learning 
strategy and corpus pedagogy, situating corpus-based activities within the theoretical framework of 
learning strategy research is wholeheartedly legitimate and relevant. Nevertheless, very few attempts have 
been made to integrate corpus-based research findings into the general classifications of learning 
strategies used in L2 education literature such as those developed by O’Malley and Chamot (1990) and 
Oxford (1990). This is the critical missing link that should be established for corpus-based learning in the 
whole framework of L2 pedagogy. Chambers (2005), who asked for a comparative study between direct 
corpus use and indirect corpus use, also calls for further study on “the learner strategies used in corpus 
consultation and analysis, and the teacher’s role in providing guidance” (p.121). Studies such as these are 
essential for directing instructors to teach students how to exploit corpora more effectively and to devise 
corpus-specific strategy training for teachers. 
In short, we designed this study to examine a) the sorts of results that learners achieve in error correction 
depending on the corpus use context, i.e. direct or indirect, and b) to investigate the sorts of learning 
strategies students employ in either context.   
The study is guided by three main research questions: 
1.
Can corpus-based writing revision improve the students' grammatical and lexical accuracy? 
2.
What are students' error correction patterns relative to direct and indirect corpus use, and is 
there any difference in the effectiveness of such patterns?  
3.
What learning strategies do the learners employ in direct and indirect corpus use?  
This study is original in two novel attempts to a) explore possible differences in students’ correction 
behaviors in concordance analysis relative to corpus use settings, and b) incorporate corpus-based 
activities into the general framework of L2 pedagogy by analyzing learners’ cognitive processes in 
concordance investigations in relation to the language learning strategy literature. Given its exploratory 
nature, the study adopted a case study methodology in order to obtain in-depth insights into the topic of 
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
100
investigation.   
METHODS 
Participants  
Four freshmen EFL students were chosen to participate in this study from a mid-sized university in Korea 
in accordance with their different levels and degrees of interest in English writing. These students 
participated with a self-professed interest to improve their English writing skills. Table 1 provides an 
overview of the learners’ background information considered relevant to this study.
1
Table 1Overview of the Participants 
Students  Age  Gender  Pre-test: 
t: 
grammar 
Pre-test: 
lexis 
Level of English  Interest in English writing 
Young 
20  F 
20/20  
18/20 
High 
Intermediate 
Joon 
20  M 
19/20  
17/20 
High 
Very high 
Hyun 
20  M 
15/20  
12/20 
Intermediate 
Very low 
Min 
20  F 
14/20  
12/20 
Intermediate 
High 
The participants were two females, Young and Min, and two males, Joon and Hyun, all aged 20. Their 
language proficiencies were determined by administering a pre-test consisting of 20 questions each for 
grammar and lexis respectively, followed by a personal interview. Based on the results, Young and Joon 
were considered high-level, and Hyun and Min were intermediate-level students.  
The interviews showed that the participants regarded English writing as fairly difficult relative to other 
English skills. They began studying English at ages 10 or 11, and were educated by rote methods focusing 
on grammar and reading. However, their interest in English writing varied greatly. Joon and Min had a 
higher interest because they desired to study abroad, make foreign friends, and explore American culture. 
On the other hand, Hyun emphasized no interest in English as did Young, who had relatively good 
writing skills. Additionally, none of the four participants knew about a corpus, thus we can assume that 
lack of prior exposure would produce no spurious effects.  
Data Collection and Procedures 
The main data set of the study includes a collection of students’ writings, and introspective and 
retrospective reports from the students to establish their writing strategies. Table 2 demonstrates the 
overview of the procedures for the data collection.  
Table 2Procedure of Data Collection  
Pre-meeting 
Experiment 
Post-meeting 
• Interview 
• Pre-test 
• Pre-writing 
•Indirect corpus use 
•Five week in-class writing  
•Think-aloud protocol 
•Students ’ learning journal 
•Direct corpus use  
•Five week in-class writing 
•Think-aloud protocol 
•Students ’ learning journal 
• Interview 
• Post-writing 
The experiment took place over 10 weeks, from March 28 to May 30, 2011. At the beginning, we oriented 
the students about the purpose of the study and corpus-based learning, and then trained them about how to 
utilize a corpus. We chose a free online corpus source, “Lextutor,” because of its easy accessibility and 
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
101
operation. Lextutor is among the most well-known Web-based programs (www.lextutor.ca), which has a 
built-in concordancer. A variety of corpora such as Brown, BNC, and other small-scale corpora can also 
be accessed through this Web site. Students’ basic command of the software did not seem to be at issue 
because Lextutor is quite simple to use. 
The participants then took the grammar and vocabulary pre-test to determine their general English 
proficiency. The pre-test required students to select 10 correct grammar items and to identify 10 
grammatical errors. The lexical portion required students to fill in 15 blanks with appropriate words and 
to supply five synonyms to a word list. They were also asked to write an essay on the topic, “Why do you 
have to learn English in 21st Century?” on which no feedback was given. Finally we conducted an 
individual interview to gather personal information and to corroborate the pre-test results. 
During the experiment, the class met weekly for one and a half hours. Each class consisted of three tasks: 
error correction, writing, and reflection. The in-class writings were returned with errors underlined, and 
the participants corrected the errors by using concordance examples for 40 minutes. The students were 
then asked to write 150-word essays within 30 minutes without consulting peers or dictionaries. The in-
class writing topics were limited to opinion essays about general issues, such as “Where do you prefer to 
live in the country or in the city?” and “What is the most important quality of a good reader?” Finishing 
their essays, the students reflected by writing about the lesson in Korean in their learning journals. This 
lasted 10 to 20 minutes.  
After each class, the second author, who worked as a teacher in the experiment, evaluated the students’ 
in-class writing with a native speaker teacher. We worked together to identify grammatical and lexical 
errors in each student’s writing. Indirect use of corpora was implemented for the first five weeks in order 
to familiarize with the students to the concordance and to raise their DDL awareness. During the lessons, 
error-underlined writings were returned to the students with five to 15 pre-edited concordance examples 
related to their errors. The errors and concordances were numbered and given as a one-page handout. The 
concordances for grammatical errors provided answers for correct usage, while the handout for lexical 
errors provided examples of two or three synonyms relative to the target word (Figure 1).  
Figure 1An example of concordance-based feedback of lexical errors  
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
102
The last five lessons were designed to develop student self-discovery. The sessions met at the multimedia 
classroom so each participant could access a computer to use the concordancer. Students were given their 
error-underlined writings and access to Lextutor to search concordances to investigate their errors for a 
solution.  
The final procedure of the whole experiment required the participants to repeat the pre-writing essay on 
the same topic. Ten weeks were considered enough time to avoid the sensitization effects of the topic. 
These samples were evaluated to compare error rates in order to assess improvement in grammatical and 
lexical knowledge.  
Students’ subjective feedback was gathered by using introspective and retrospective types of instruments. 
An introspective instrument is a think-aloud protocol in which participants verbally report their thoughts 
during process-oriented tasks. The think-aloud protocol allowed the researcher to identify learning 
strategies in using the corpus. A practice session demonstrated to students how to verbalize their thoughts 
so they could easily perform think-aloud tasks. Other subjective-feedback instruments deployed were 
retrospective reports: students’ learning journals and interviews. Those instruments have the advantage of 
not interfering with the writing process, though the data may be distorted because they reflect the best 
recollection of the subject (Roca de Larios, Murphy, & Marín, 2002). The participants also wrote 
thoughts in learning journals, and interviews gave them the opportunity to express their evaluation of the 
lesson, their perceptions of corpus use and any attitudinal changes. These reports allowed the researcher 
to note affective aspects as well as learning strategies they used. 
Data Analysis 
Pre- and post-writings were analyzed to investigate the students’ overall improvement of grammar and 
vocabulary use. Accuracy was evaluated by measuring the frequency of errors per 100 words (Chandler, 
2003). A reduced error rate in the post-writing was regarded as an improvement.  
The 10 in-class writings and the students’ introspective feedback were analyzed to understand individual 
progress and error correction patterns. Any differences between the patterns and any effects of error 
correction were sought relative to the first five lessons of indirect corpus use and the last five lessons of 
direct corpus use. The students’ grammatical and lexical errors were coded by referring to the 
classification used by O'Sullivan and Chambers (2006).  
Different types of feedback resources were deployed respective to the first five and the last five sessions. 
Voice recordings were used and analyzed for the first five lessons, because listening to their voices was 
sufficient for identifying the participants in indirect corpus use as they were working with pre-edited 
concordance examples. Video recordings were available for analysis of the last five sessions, so the 
researcher was able to watch the students operating concordancers while concordantly listening to their 
think-aloud reports. One camera was installed per computer to access each student’s computer-screen. 
The voice and video recordings were transcribed, and every learning strategy was identified by referring 
to the categories that were adopted from O’Melley and Charmot’s (1990) and Oxford’s (1990) 
classifications.  
FINDINGS 
The findings are categorized in the order of the three research questions: a) learners' overall improvement 
of grammatical and lexical knowledge, b) error correction patterns in indirect and direct use of corpora, 
and c) use of learning strategies according to the two corpus use contexts. 
Overall Improvement of Grammatical and Lexical Knowledge 
After exposure to direct and indirect use of corpora, the students' overall grammatical and lexical 
knowledge increased, as evidenced by pre-writing and post-writing evaluations of the same writing topic. 
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
103
Table 3 provides the results on the error rates in pre- and post-writing. 
Table 3. Number of Errors in Pre- and Post-writing 
Grammatical errors  Pre-writing 
Post-writing 
Young  Joon  Hyun  Min  Total(%)    Young  Joon  Hyun  Min  Total(%) 
Preposition 
 11(18.6) 
 11(28.9) 
Noun agreement 
5(8.5) 
 4(10.5) 
Verb form/mood 
 12(20.3) 
 7(18.4) 
Article 
 15(25.4) 
 6(15.8) 
Pronoun 
4(6.8) 
8(21) 
Use of negative 
2(3.4) 
0(0) 
Elision 
 6 (10.2) 
1(2.6) 
Conjunction 
4(6.8) 
0(0) 
Total 
11 
21 
18  59(100) 
12 
11  37(100) 
Words in writing 
136 
159 
169 
131 
595 
137 
152 
161 
140 
590 
Rate of grammatical 
errors (%) 
6.6 
6.9 
12.4 
13.7 
9.9 
5.1 
4.6 
7.5 
7.8 
6.3 
Lexical errors 
Pre-writing 
Post-writing 
Young  Joon  Hyun  Min  Total(%)    Young  Joon  Hyun  Min  Total(%) 
Word choice/ 
inappropriate 
vocabulary 
21(95.4) 
 12(100) 
Informal usage 
1(4.6) 
0(0) 
Total 
22(100) 
 12(100) 
Words in writing 
136 
159 
169 
131 
595 
137 
152  161 
140 
590 
Rate of lexical errors 
(%) 
2.2 
4.1 
3.7 
1.5 
2.6 
1.8 
2.1 
The rate of grammatical errors decreased from 9.9 percent in pre-writing to 6.3 percent in post-writing, 
and lexical errors decreased from 3.7 percent to 2.0 percent, illustrating that the learners' overall 
knowledge of grammar and lexis increased. 
In pre-writing, there were individual differences in the number of grammatical errors, but all learners 
were weak regarding uses of article, verb form/mood, and preposition. There also were some differences 
in the frequency of lexical errors because Joon and Hyun tried to use new vocabulary and various lexical 
constructions. Despite the errors, their initiative and motivation is apparent in their effort to try novel 
constructions on their own. This is evidence of self-directed learning. 
After the experiment, the learners corrected many errors in the pre-writing, especially the uses of article 
and verb form/mood. Originally, the misuse of articles and verb form/mood accounted for more than 45 
percent of the errors, but the students greatly improved by using concordance resources to make 
corrections. In contrast, the rate of preposition and pronoun errors increased in the post-writing. In 
interviews, the participants revealed they tried a variety of expressions using prepositions because the 
more they wrote, the more they gained confidence. Again, as earlier argued, the commission of errors is a 
positive sign of self-directed learning. 
In summary, although learners made more mistakes for certain grammatical error types in the post-
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
104
writing, their grammatical and lexical knowledge increased overall. This comports to previous findings 
that showed the positive role of corpus activities in error correction (Gaskell & Cobb, 2004; Gilmore, 
2009; O’Sullivan & Chambers, 2006). We argue that students made more improvement as they made 
more errors because they received immediate feedback from the corpus to correct errors. There is also a 
cultural counterpoint given that East Asian pedagogies are based on rote learning methods following a 
Confucian philosophical ethic. Students are expected to comply with the instructor who is considered the 
master of the teaching material (Shi, 2006). However, corpus can be used to set students toward self-
directed strategies that this study shows are demonstrably effective.  
Learners' Error Correction Patterns in Indirect and Direct Corpus Use 
Our study begs the question about the effectiveness of indirect corpus use relative to direct use. This 
section gets at the answer in regards to students’ error correction patterns relative to the two types of 
corpus use. Table 4 provides correction patterns and rates for each student according to the two uses. 
After 10 in-class-writings and corpus-based revisions, three major patterns were found. They are self- 
correction using concordance data (Pattern A), correction with teacher assistance (Pattern B), and no 
correction (Pattern C). 
Table 4Correction Frequencies in Indirect and Direct Corpus Use  
Indirect Use 
Direct Use 
Pattern A:  
Self Correction 
Pattern B: 
Correction  
w/teacher 
assistance 
Pattern C: 
No 
Correction 
Pattern A:  
Self Correction 
Pattern B: 
Correction 
w/teacher 
assistance 
Young 
G
a
35/40
c
(88%) 
5/5 
(100%)   
30/34 
(88%) 
4/4 
(100%) 
L
b
13/18 
(72%) 
4/5 
(80%)  0/1 
(0%)  19/24 
(79%) 
5/5 
(100%) 
Joon 
32/38 
(84%) 
6/6 
(100%)   
25/39 
(64%)  14/14  (100%) 
16/28 
(57%) 
8/12 
(67%)  0/4 
(0%)  10/26 
(38%)  16/16  (100%) 
Hyun 
56/66 
(85%) 
10/10  (100%)   
36/59 
(61%)  23/23  (100%) 
18/27 
(67%) 
9/9/  (100%)   
12/25 
(48%)  13/13  (100%) 
Min 
52/57 
(91%) 
5/5 
(100%)   
34/66 
(52%)  32/32  (100%) 
14/20 
(70%) 
6/6 
(100%)   
7/17 
(41%)  10/10  (100%) 
Total 
175/201  (87%) 
26/26  (100%)   
125/198  (63%)  73/73  (100%) 
00%) 
61/93 
(66%) 
27/32  (84%)  0/5 
(0%)  48/92 
(52%)  44/44  (100%) 
%) 
Notes: * 
a
: G – Grammar, 
b
: L – Lexis, 
c
: number of correction/number of errors  
Overall, the rate of self-correction was higher in the indirect use than in the direct use. In the indirect use 
of corpora, the learners corrected 87 percent of the grammatical errors and 66 percent of the lexical errors 
by using concordance data on their own (Pattern A). The learners could not correct the rest of the errors 
by themselves, so they asked for the teacher’s help. The teacher’s intervention helped the learners correct 
most of the errors successfully (Pattern B). However, not all students followed the teacher’s advice. A 
pattern emerged in which these learners rejected the suggested corrections and deliberately continued 
their lexical errors (Pattern C). 
On the other hand, the self-error correction rate was lower in the direct corpus use than in the indirect use 
for most learners (Pattern A). When they could not find the relevant examples, students were able to 
correct all their errors with the help of simple interventions by the teacher (Pattern B).  
Hyunsook Yoon and Jung Won Jo 
Direct and Indirect Access to Corpora 
Language Learning & Technology 
105
Reproduced in italic below are examples of students’ writing with errors underlined, as well as 
introspective thoughts (translated from Korean to English) within quotation marks following think-aloud 
protocol. 
*butter, sugar and white powder: “I didn't know the word for 'flour', so I just wrote ‘white 
powder.’ According to the examples, 'flour' is the correct word I’m trying to say.” (Min, third 
composition, indirect corpus use) 
*nonhuman lifestyle in Korea: “In Lextutor, I can't find any examples of 'nonhuman'. I want to 
say ‘it is not human.’ Is it unhuman? inhuman? or not-human? Well, I will type containing 
'human', then I can find negative prefix... Ah, I think [humane] is the right word I’m trying to 
say. I will type containing [humane] again.” (Joon, seventh composition, direct corpus use) 
Regardless of direct or indirect use, the students did not need to look over all the relevant examples 
because the resources were understandable and compatible with their knowledge. In the case of indirect
use (1), Min successfully analyzed the error with translation though she did not know the word ‘flour.’ 
She was able to correct the error with only a few examples. In the case of direct use (2), Joon typed 
‘human’ and detecting the relevant examples, he realized that he really wanted the word ‘humane.’ He 
returned to the start-up page to look up ‘humane,’ after which he found the negative prefix to correct the 
error. Students generally took much longer to correct errors in the direct use of corpora, but while 
discovering examples, they seemed to naturally acquire new language information. The corpus 
investigation enabled the learners to experience “serendipitous learning” (Bernardini, 2000) as well as 
giving them opportunities to develop their cognitive skills (O’Sullivan, 2007).   
Although direct corpus use can promote self-directed learning, students did need the teacher’s assistance 
to find examples and correct errors. Below is a case of how Min described how she negotiated an error: 
*In young people case, they are willing to stay… : “Is it a word choice error of ‘young people,’ or 
a grammatical error? Which word do I need to type in the concordancer? … There is usually a 
possessive form between ‘in’ and ‘case.’ Is that right? … (Min, ninth composition, direct corpus 
use) 
As a result of the teacher’s scaffolding, Min found the right examples. The teacher typed in the clue ‘case’ 
preceded by ‘in’ to the left side, so Min was able to analyze it correctly. She also found more examples 
for ‘in the case of’ than ‘in + possessive + case,’ and thus she correctly changed it to ‘in the case of young 
people.’ While the teacher’s guidance was also helpful in the indirect use, a certain degree of teacher’s 
intervention is also crucial in the direct use, which challenges a popular techno-deterministic assumption 
that computers will replace teachers in the classroom. In contrast, we observed that computer use requires 
continued teacher vigilance and attention for learners’ successful experiences with corpus activities 
(Chambers, 2005; Sun, 2003). 
Like Min, the other learners often asked for the teacher’s help, but Young, the highest level student, spent 
much time exploring examples herself and did not need as much from the teacher. Young became very 
skilled in scanning. She was in no hurry to find the answers, and she was able to winnow appropriate 
examples among excessive data. This single case cannot be generalized, but it begs further exploration to 
establish if direct corpus use appeals to learners who are patient, analytic, and fast enough to read and 
scan the data. 
Other interesting findings concern lower-level students’ successes in using both types of corpora. The 
lowest level student, Min, got the highest rate of self-correction (91 percent) for grammatical errors in 
indirect corpus use, while exhibiting the lowest correction rate (52 percent) in direct corpus use. Another 
lower-level student, Hyun, showed a similar pattern: a higher rate of self-correction comparable with 
higher-level students in indirect corpus use. We cannot generalize from these few cases, but it may be 
Documents you may be interested
Documents you may be interested