open pdf file in asp.net using c# : Adding text pdf application software tool html winforms asp.net online 2012-Keyphrases-TOCHI1-part635

Descriptive Keyphrases for Text Visualization
19:11
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
G
2
Weighted Log-Odds Ratio
BM25
tf.idf (1-grams)
tf.idf (hierarchical)
log tf
tf.idf (2-grams)
tf.idf (3-grams)
tf.idf (5-grams)
WordScore
(a) Frequency statistics.
P
r
e
c
i
s
i
o
n
Recall
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
log tf + All Commonness
log tf + Corpus Com
log tf + Web Com
G2
log tf
(b) Adding term commonness.
P
r
e
c
i
s
i
o
n
Recall
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
log tf + Com + All Grammar
log tf + Com + Tagger
log tf + Com + Parser
log tf + All Commonness
G2
log tf
(c) Adding grammatical features.
P
r
e
c
i
s
i
o
n
Recall
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
Best-Performing Model
Corpus-Independent Model
log tf + All Commonness
G
2
log tf
(d) Adding positional features.
P
r
e
c
i
s
i
o
n
Recall
Fig. 4. Precision-recall curves for keyphrase regression models. Legends are sorted by decreasing initial
precision. (a) Frequency statistics only; G
2
and log-odds ratio perform well. (b) Adding term commonness;
asimple combination of log(tf) and commonness performs competitively to G
2
.(c) Grammatical features
improveperformance. (d)Positionalfeaturesprovide furthergainsforboth acomplete model andasimplified
corpus-independent model.
As shown in Figure 4(b), the performance of log(tf) + commonness matches that of
statistical methods such as G
2
.As corpus and Web commonness are highly correlated,
the addition of both commonness features yields only a marginal improvement over
the addition of either feature alone. We also measured the effects due to bin count.
Precision-recall increases as the number of bins are increased up to about five bins,
and there is marginal gain between five andeight bins. Examining the regression coef-
ficients for a large number of bins (ten bins or more) shows large random fluctuations,
indicating overfitting. As expected, the coefficients for commonness peak at middle
frequency (see Table V). Adding an interaction term between frequency statistics and
commonness yields no increase in performance. Interestingly, the coefficient for tf.idf
is negative when combined with Web commonness; tf.idf scores have a slight negative
correlation with keyphrase quality.
4.2. Grammatical Features
Computing grammatical features requires either parsing or part-of-speech tagging. Of
note is the higher computational cost of parsing—nearly two orders of magnitude in
ACM Transactions onComputer-HumanInteraction,Vol.19, No.3,Article19,Publicationdate:October 2012.
Adding text pdf - insert text into PDF content in C#.net, ASP.NET, MVC, Ajax, WinForms, WPF
XDoc.PDF for .NET, providing C# demo code for inserting text to PDF file
how to add text to pdf file with reader; add text to pdf acrobat
Adding text pdf - VB.NET PDF insert text library: insert text into PDF content in vb.net, ASP.NET, MVC, Ajax, WinForms, WPF
Providing Demo Code for Adding and Inserting Text to PDF File Page in VB.NET Program
how to add text field to pdf form; add text pdf acrobat
19:12
J. Chuang et al.
runtime. We measure the effectiveness of these two classes of features separately to
determine if the extra computational cost of parsing pays dividends.
4
.
2
.
1
.
P
a
r
s
e
r
F
e
a
t
u
r
e
s
.
For each term extracted from the text, we tag the term as a
full noun phrase or full verb phrase if it matches exactly a noun phrase or verb phrase
identified by the parser.A term is tagged as a partial noun phrase or partial verb phrase
if it matches a substring within a noun phrase or verb phrase. We add two additional
features that are associated with words at the boundary of a noun phrase. Leading
words in a noun phrase are referredtoas optional leading words if their part-of-speech
is oneof cardinalnumber,determiner,orpre-determiner.Thelastwordin a nounphrase
is the head noun. If the first word of a term is an optional leading word or if the last
word of a term is a head noun, then the term is tagged accordingly. These two features
occur only if the beginning or end of the term is aligned with a noun phrase boundary.
4
.
2
.
2
.
T
a
g
g
e
r
f
e
a
t
u
r
e
s
.
Phrases that match technical term patterns (Table I) are tagged
as either a technical term or compound technical term. Phrases that match a substring
in a technical term are tagged as partial or partial compound technical terms.
As shown in Figure 4(c), adding parser-derived grammar information yields an im-
provement significantly greater than the differences between leading frequency statis-
tics. Adding technical terms matched using POS tags improves precision and recall
more than parser-related features. Combining both POS and parser features yields
only a marginal improvement. Head nouns (cf., [Barker and Cornacchia 2000]) did not
have a measurable effect on keyphrase quality. The results indicate that statistical
parsing may be avoided in favor of POS tagging.
4.3. Positional Features and Final Models
Finally, we introduce relativefirst occurrence and presence in first sentence as positional
features; both predictors are statistically significant.
4
.
3
.
1
.
F
i
r
s
t
O
c
c
u
r
r
e
n
c
e
.
The absolute first occurrence of a term is the earliest position
in the document at which a term appears, normalized between 0 and 1. If a term is the
first word of a document, its absolute first occurrence is 0. If the only appearance of a
term is as the last word of a document, its absolute first occurrence is 1. The absolute
first occurrences of frequent terms tend to be earlier in a document, due to their larger
number of appearances.
We introduce relative firstappearance tohavea measureof early occurrence of a word
independent of its frequency. Relative first occurrence measures how likely a term is
to initially appear earlier than a randomly sampled phrase of the same frequency.
Let P(W) denote the the expected position of words W in the document. As a null
hypothesis, we assume that words are uniformly distributed P(W) ∼ Uniform[0,1].
Theexpectedabsolute first occurrenceof a randomly selectedtermthat appearsk times
in the document is the minimum of the k instantiations of the term P(w
1
), ..., P(w
k
)
and is given by the following probability distribution.
k
min
i=1
P(w
i
)= η(1 − x)
k−1
,
for position x ∈ [0, 1] and some normalization constant η. Suppose a term w
occurs k
times in the document and its first occurrence is observed to be at position a ∈ [0,1].
Its relative first occurrence is the cumulative probability distribution from a to 1.
Relative first occurrence of w
=
1
a
k
min
i=1
P(w
i
)=
1
a
η(1 − x)
k−1
dx = (1 − a)
k
.
ACMTransactions on Computer-Human Interaction,Vol. 19,No.3,Article19,Publication date:October 2012.
VB.NET PDF Text Box Edit Library: add, delete, update PDF text box
Provide VB.NET Users with Solution of Adding Text Box to PDF Page in VB.NET Project. Adding text box is another way to add text to PDF page.
how to add text fields to a pdf document; adding text to pdf form
C# PDF Text Box Edit Library: add, delete, update PDF text box in
Provide .NET SDK library for adding text box to PDF document in .NET WinForms application. Adding text box is another way to add text to PDF page.
how to add text fields to a pdf; add text field pdf
Descriptive Keyphrases for Text Visualization
19:13
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
Best-Performing Model
Corpus-Independent Model
Humans
(a) Comparison with human-selected phrases.
P
r
e
c
i
s
i
o
n
Recall
0.1
0.2
0.3
0.4
0.5
0.0
0.1
0.2
0.3
0.4
0.5
SemEval Maximum
SemEval Median
Corpus-Independent Model
SemEval Minimum
(b) Comparison with SemEval 2010.
P
r
e
c
i
s
i
o
n
Recall
Fig. 5. Precision-recall curves for keyphrase regression models. Legends are sorted by decreasing initial
precision. (a) Comparison with human-selected keyphrases; our models provide higher precision at low
recall values. (b) Comparison with SemEval 2010 [Kim et al. 2010] results for 5, 10, and 15 phrases; our
corpus-independent model closely matches the median scores.
Combining log(tf ), commonness (five bins), grammatical, and positional features we
built two final models for predicting keyphrase quality. Our full model is based on all
significant features using our dissertation corpus as reference. In our simplified model
(Table V), we excluded corpus commonness and statistical parsing to eliminate corpus
dependencies and improve runtime. Omitting the more costly features incurs a slight
decrease in precision, as shown in Figure 4(d).
4.4. Model Evaluation
We evaluated our models in two ways. First, we compared the performance of our mod-
els with that of our human judges. Second, we compared our techniques with results
from the Semantic Evaluation (SemEval) contest of automatic keyphrase extraction
methods [Kim et al. 2010].
4
.
4
.
1
.
C
o
m
p
a
r
i
s
o
n
w
i
t
h
H
u
m
a
n
-
S
e
l
e
c
t
e
d
K
e
y
p
h
r
a
s
e
s
.
We compared the precision-recall of
keyphrases extracted using our methods tohuman-generatedkeyphrases.In our previ-
ous comparisons of model performance, a candidate phrase was considered “correct” if
it matched a termselectedby any of the K human subjects who reada document. When
evaluating human performance, however, phrases selected by one participant can only
be matched against responses from the K − 1 other remaining participants. A na¨ıve
comparison would thus unfairly favor our algorithm, as human performance would
suffer due the smaller set of “correct” phrases. To ensure a meaningful comparison,
we randomly sample a subset of K participants for each document. When evaluating
human precision, a participant’s response is considered accurate if it matches any
phrase selected by another subject. We then replace the participant’s responses with
our model’s output, ensuring that both are compared to the same K − 1 subjects. We
chose K = 6, as on average each document in our study was read by 5.75 subjects.
Figure 5(a) shows the performance of our two models versus human performance. At
low recall (i.e., for the top keyphrase), our full model achieves higher precision than
human responses, while our simplified model performs competitively. The full model’s
precision closely matches that of human accuracy until mid-recall values.
4
.
4
.
2
.
C
o
m
p
a
r
i
s
o
n
w
i
t
h
S
e
m
E
v
a
l
2
0
1
0
C
o
n
t
e
s
t
T
a
s
k
#
5
.
Next we compared the precision-
recall performance of our corpus-independent model to the results of the SemEval
ACM Transactions onComputer-HumanInteraction,Vol.19, No.3,Article19,Publicationdate:October 2012.
VB.NET PDF Text Add Library: add, delete, edit PDF text in vb.net
VB.NET PDF - Annotate Text on PDF Page in VB.NET. Professional VB.NET Solution for Adding Text Annotation to PDF Page in VB.NET. Add
how to insert text into a pdf using reader; how to insert a text box in pdf
VB.NET PDF Page Insert Library: insert pages into PDF file in vb.
Support adding PDF page number. Offer PDF page break inserting function. DLLs for Adding Page into PDF Document in VB.NET Class. Add necessary references:
how to add text to a pdf document using reader; adding text field to pdf
19:14
J. Chuang et al.
Table IV. Regression Coefficients for the Full (Corpus-Dependent) Model
Based on the Ph.D. Dissertations
Model Feature
Regression Coefficients
(intercept)
−2.88114
∗∗∗
log(tf)
0.74095
∗∗∗
WC ∈(0%,20%]
0.08894
WC ∈(20%,40%]
0.04390
WC ∈(40%,60%]
−0.19786
WC ∈(60%,80%]
−0.46664
WC ∈(80%,100%]
−1.26714
∗∗∗
CC∈ (0%,20%]
0.20554
CC∈ (20%,40%]
0.39789
∗∗
CC∈ (40%,60%]
0.24929
CC∈ (60%,80%]
−0.34932
CC∈ (80%,100%]
−0.97702
∗∗
relative first occurrence
0.52950
∗∗∗
first sentence
0.83637
∗∗
partial noun phrase
0.14117
noun phrase
0.29818
head noun
−0.16509
optional leading word
0.46481
partial verb phrase
0.15639
verb phrase
1.12310
full technical term
−0.58959
partial technical term
1.37875
full compound technical term
1.09713
partial compound technical term
1.10565
Note: WC = Web commonness, CC = corpus commonness; statistical sig-
nificance =
:p< 0.05,
∗∗
:p < 0.01,
∗∗∗
:p < 0.001.
TableV. Regression Coefficients forCorpus-Independent Model
Regression Coefficients
Model Feature
Dissertations
SemEval
(intercept)
−2.83499
∗∗∗
−5.4624
∗∗
log(tf)
0.93894
∗∗∗
2.8029
WC ∈(0%,20%]
0.17704
0.8561
WC ∈(20%,40%]
0.23044
0.7246
WC ∈(40%,60%]
0.01575
0.4153
WC ∈(60%,80%]
−0.62049∗∗∗
−0.5151
WC ∈(80%,100%]
−1.90814
∗∗∗
−2.2775
relative first occurrence
0.48002
∗∗
−0.2456
first sentence
0.93862
∗∗∗
0.9173
full tech. term
−0.50152
1.1439
partial tech. term
1.44609
∗∗
3.4539
∗∗∗
full compound tech.term
1.13730
1.0920
partial compound tech. term
1.18057
2.0134
Note: WC = webcommonness;statistical significance =
:p< 0.05,
∗∗
:p< 0.01,
∗∗∗
:p< 0.001.
2010 contest. Semantic Evaluation (SemEval) is a series of workshops focused on
evaluating methods for specific text analysis problems. Task 5 of SemEval 2010 [Kim
et al. 2010] compared 21 keyphrase extraction algorithms for scientific articles. A total
of 244 articles from four different subdisciplines were chosen from the ACM Digital
Library. Contestants received 144 articles for training; the submitted techniques were
then tested on the remaining 100 articles. Three classes of keyphrases were evalu-
ated: author-assigned, reader-assigned, and the combination of both. Reader-assigned
phrases were provided by volunteers who were given five papers and instructed to
ACMTransactions on Computer-Human Interaction,Vol. 19,No.3,Article19,Publication date:October 2012.
VB.NET PDF Library SDK to view, edit, convert, process PDF file
Support adding protection features to PDF file by adding password, digital signatures and redaction feature. Various of PDF text and images processing features
how to enter text in a pdf document; add text to pdf without acrobat
C# PDF Annotate Library: Draw, edit PDF annotation, markups in C#.
Provide users with examples for adding text box to PDF and edit font size and color in text box field in C#.NET program. C#.NET: Draw Markups on PDF File.
add text to pdf online; how to add text to a pdf file
Descriptive Keyphrases for Text Visualization
19:15
spend 10–15 minutes per paper generating keyphrases. For each class, precision and
recall were computed for the top 5, 10, and 15 keyphrases.
We used this same data to evaluate the performance of our corpus-independent
modeling approach trained on the SemEval corpus. The coefficients of our SemEval
model differ slightly from those of our Stanford dissertations model (Table V), but the
relativefeatureweightings remain similar, including a preferencefor mid-commonness
terms, a strong negative weight for high commonness, and strong weights for technical
term patterns.
Figure 5(b) compares our precision-recall scores against the distribution of
SemEval results for the combined author- and reader-assigned keyphrases. Our
corpus-independent model closely matches the median scores. Though intentionally
simplified, our approach matches or outperforms half of the contest entries. This
outcome is perhaps surprising, as competing techniques include more assumptions
and complex features (e.g., leveraging document structure and external ontologies)
and more sophisticated learning algorithms (e.g., bagged decision trees vs. logistic
regression). We believe these results argue in favor of our identified features.
4
.
4
.
3
.
L
e
x
i
c
a
l
V
a
r
i
a
t
i
o
n
a
n
d
R
e
l
a
x
e
d
M
a
t
c
h
i
n
g
.
While we are encouraged by the results of
our precision-recall analysis, some skepticism is warranted. Up to this point, our anal-
ysis has concerned only exact matches of stemmed terms. In practice, it is reasonable
to expect that both people and algorithms will select keyphrases that do not match ex-
actly but are lexically and/or conceptually similar (e.g., “analysis” vs. “data analysis”).
How might the results change if we permit a more relaxed matching?
To gain a better sense of lexical variation among keyphrases,weanalyzed the impact
of a relaxedmatching scheme.Weexperimented with a number of matching approaches
by permitting insertion or removal of terms in phrases or re-arrangement of terms in
genitive phrases. For brevity, we report on just one simple but effective strategy: we
consider two phrases “matching” if they either match exactly or if one can induce an
exact match by adding a single word to either the beginning or the end of the shorter
phrase.
Permitting relaxed matching significantly raises the proportion of automatically ex-
tracted keyphrases that match human-selected terms. Considering just the top-ranked
termproducedby our model for each document in theSemEval contest,30.0% are exact
matches,while 75.0% are relaxed matches.Looking at thetop fiveterms per document,
27.4% exactly match a human-selected term, permitting a relaxedmatch increases this
number to 64.2%. These results indicate that human-selected terms regularly differ
from our automatically extractedterms by a single leading or trailing word. This obser-
vation suggests that (a) precision-recall analysis may not reveal the whole picture and
(b) related keyphrases might vary in length but still provide useful descriptions. We
now build upon this insight to provide means for parameterizing keyphrase selection.
5. KEYPHRASE GROUPING AND SELECTION
The previous section describes a method for scoring keyphrases in isolation. However,
candidate keyphrases may overlap (e.g., “visualization”, “interactive visualization”) or
reference the same entity (e.g., “Barack Obama”, “President Obama”). Keyphrase se-
lection might be further improved by identifying related terms. An intelligent grouping
can also provide a means to interactively parameterizing the display of keyphrases.
Users might request shorter/longer—or more general/more specific—terms. Alterna-
tively, a user interface might automatically vary term length or specificity to optimize
the use of the available screen space. Once we have extracted a set of candidate key-
phrases, we can next optimize the overall quality of that set. Here we present a simple
ACM Transactions onComputer-HumanInteraction,Vol.19, No.3,Article19,Publicationdate:October 2012.
C# PDF insert image Library: insert images into PDF in C#.net, ASP
application? To help you solve this technical problem, we provide this C#.NET PDF image adding control, XDoc.PDF for .NET. Similar
adding text to pdf; adding text to pdf reader
C# PDF Page Insert Library: insert pages into PDF file in C#.net
By using reliable APIs, C# programmers are capable of adding and inserting (empty) PDF page or pages from various file formats, such as PDF, Tiff, Word, Excel
add text in pdf file online; adding text to a pdf in reader
19:16
J. Chuang et al.
route 
(2.35098) 
map 
(2.37236) 
hand-designed 
(-1.46399) 
route map 
(3.25849) 
hand-designed route map 
(1.27821) 
hand-designed map 
(0.66357) 
hand-designed route 
(0.64336) 
Fig. 6. Term grouping. The graph shows a subset of unigrams, bigrams, and trigrams considered to be
conceptually similar by our algorithm. Connected terms differ by exactly one word at the start or the end
of the longer phrase. Values in parentheses are the scores from our simplified model for the dissertation
“Visualizing Route Maps.” By default, our algorithm displays the keyphrase “route map” and suppresses
“route”, “map”, and “hand-designed route maps”. Users may choose to display a shorter word (“map”) or
longer phrase (“hand-designed route map”) to describe thisdocument.
approach for filtering and selecting keyphrases—sufficient for removing a reasonable
amount of redundancy and adapting keyphrase specificity on demand.
5.1. Redundancy Reduction
Redundancyreduction suppresses phrases similar in concept. Thegoal is to ensurethat
each successive output keyphrase provides a useful marginal information gain instead
of lexical variations. For example, the following list of keyphrases differ lexically but
are similar, if not identical, in concept: “Flash Player 10.1”, “Flash Player”, “Flash.”
We propose that an ideal redundancy reduction algorithm should group phrases that
are similar in concept (e.g., perhaps similar to synsets in WordNet), choose the most
prominent lexical form of a concept, and suppress other redundant phrases.
We use string similarity to approximate conceptual similarity between phrases. We
consider two phrases Aand Btobe similarif Acan beconstructedfrom Bby prepending
or appending a word. For example, “Flash Player 10.1” and “Flash Player” are consid-
ered similar. For many top-ranked keyphrases, this assumption is true. Figure 6 shows
an example of terms considered conceptually similar by our algorithm.
We also account for the special case of names. We apply named entity recognition
[Finkel et al. 2005] to identify persons, locations,and organizations.To resolveentities,
we consider two people identical if the trailing substring of one matches the trailing
substring of theother.For example,“Obama”, “PresidentObama”, and“Barack Obama”
are considered the same person. If the name of a location or organization is a substring
of another, we consider the two to be identical, for example, “Intel” and “Intel Corpo-
ration.” We also apply acronym recognition [Schwartz and Hearst 2003] to identify the
long and short forms of the same concept, such as “World of Warcraft” and “WoW.”
For most short texts, our assumptions hold; however, in general, a more principled
approach will likely beneededfor robust entity andacronym resolution. Figure7 shows
additional typed edges connecting terms that our algorithm considers as referring to
the same entity.
ACMTransactions on Computer-Human Interaction,Vol. 19,No.3,Article19,Publication date:October 2012.
Descriptive Keyphrases for Text Visualization
19:17
Barack 
(1.61472) 
President 
(0.76839) 
H. 
(-0.32276) 
Barack H. 
(0.71780) 
Obama 
(2.43130) 
Barack H. Obama 
(1.34950) 
President Obama 
(2.26657) 
H. Obama 
(0.71722) 
President Barack Obama 
(1.77101) 
Barack Obama 
(0.64336) 
Fig.7. Term groupingfornamed entitiesand acronyms. The graph showstypededgesthat embedadditional
relationships between terms in a document about President Obama. Black edges represent basic term
grouping based on string similarity. Bold blue edges represent people: terms that share a common trailing
substring and are tagged as “person” by a named entity recognition algorithm. By default, our algorithm
displays “Obama” to summarize the text. Users may choose to show a longer phrase “President Obama”
or display a longer and more specific description “President Barack Obama” by shifting the scores along
the typed edges. Users may also apply type-specific operations, such as showing the longest name without
honorifics, “BarackH. Obama.”
5.2. Length and Specificity Adjustment
Once similar terms have been grouped, we must select which term to present. To pa-
rameterizefinal keyphraseselection, weallow users tooptionally chooselonger/shorter
and more generic or specificterms.We usetwosimple features todetermine which form
of similar phrases to display: term length and term commonness. When two terms are
deemed similar, we can bias for longer keyphrases by subtracting the ranking score
from the shorter of the two terms and adding that to the score of the longer term, in
proportion to the difference in term length. Similarly, we can bias for more generic or
specific terms by shifting the ranking score between similar terms in proportion to the
difference in term commonness. The operation is equivalent to shifting the weights
along edges in Figures 6 and 7.
Other adjustments can be specifieddirectlyby users.For recognized people,users can
choose to expand all names to full names or contract to last names. For locations and
organizations, users can elect to use the full-length or shortened form. For identified
acronyms, users may choose to expand or contract the terminology. In other words, for
each subgraph of terms connected by named entity typed edges, the user may choose
to assign the maximum node weight to any other nodes in the subgraph. In doing so,
the chosen term is displayed suppressing all other alternative forms.
6. QUALITATIVE INSPECTION OF SELECTED KEYPHRASES
As an initial evaluation of our two-stage extraction approach, we compared the top
50 keyphrases produced by our models with outputs from G
2
,BM25, and variance-
weighted log-odds ratio. We examined both dissertation abstracts from our user study
and additional documents described in the next section. Terms from the 9,068 Ph.D.
dissertations are used as the reference corpus for all methods except our simplified
model, which is corpus independent. We applied redundancy reduction to the output of
each extraction method.
ACM Transactions onComputer-HumanInteraction,Vol.19, No.3,Article19,Publicationdate:October 2012.
19:18
J. Chuang et al.
Our regression models often choose up to 50 or more reasonable keyphrases. In
contrast, we find that G
2
,BM25, and variance-weighted log-odds ratio typically select
afew reasonable phrases but start producing unhelpful terms after thetop ten results.
The difference is exacerbated for short texts. For example, in a 59-word article about
San Francisco’s Mission District, our algorithm returns noun phrases such as “colorful
Latino roots” and “gritty bohemian subculture”, while the other methods produce only
one to three usable phrases: “Mission”, “the District”, or “district.” In these cases, our
method benefits from grammatical information.
Our algorithm regularly extracts salient longer phrases, such as “open-source dig-
ital photography software platform” (not chosen by other algorithms), “hardware-
accelerated video playback” (also selected by G2
, but not others), and “cross plat-
form development tool” (not chosen by others). Earlier in the exploratory analysis,
we found that the inclusion of optional leading words degrades the quality of descrip-
tive phrases. However, many phrases tend to be preceded by the same determiner and
pre-determiner.Without a sufficiently largereference corpus,statistics aloneoften can-
not separate meaningful phrases from common leading words. By applying technical
term matching patterns, our model naturally excludes most types of non-descriptive
leading words and produces more grammatically appropriate phrases, such as “long
exposure” (our models) versus “a long exposure” (G2, BM25, weighted log-odds ratio).
Even though termcommonness favors mid-frequency phrases, ourmodel can still select
salient words from all commonness levels. For example, from an articleabout the tech-
nologies in Googleversus Bing,our models choose “search” (common word), “navigation
tools” (mid-frequency phrase), and“colorful background” (low-frequency phrase),while
all other methods output only “search”.
We observe few differences between our full and simplified models. Discernible dif-
ferences aretypically due to POS tagging errors. In onecase, the full model returns the
noun phrase “interactive visualization”, but the simplified model returns “interactive
visualization leverage”, as the POS tagger mislabels “leverage” as a noun.
On the other hand, the emphasis on noun phrases can cause our algorithm to omit
useful verb phrases, such as “civilians killed” in a news article about the NATO forces
in Afghanistan. Our algorithm chooses “civilian casualties” but places it significantly
lower down the list. We return several phrases with unsuitable prefixes, such as “such
scenarios” and “such systems”, because the word “such” is tagged as an adjective in the
Penn Treebank tag set, and thus the entirety of the phrase is marked as a technical
term. Changes to the POS tagger, parser, or adding conditions to the technical term
patterns could ameliorate this issue. We also notethat numbers are not handledby the
original technical term patterns [Justeson and Katz 1995]. We modified the definition
toincludetrailingcardinal numbers to allow for phrases such as “H.264”and“Windows
95”, dates such as “June 1991”, and events such as “Rebellion of 1798.”
Prior to redundancy reduction, we often observe redundant keyphrases similar in
term length, concept, or identity. For example, “Mission”, “Mission District”, and “Mis-
sion Street” in an article about San Francisco.Our heuristics basedon string similarity,
named entity recognition, and acronym recognition improve the returned keyphrases
(see Tables VI and VII). As we currently consider single-term differences only, some
redundancy is still present.
7. CROWDSOURCED RATINGS OF TAG CLOUDS
We evaluated our extracted keyphrases in a visual form and asked human judges to
rate the relative quality of tag cloud visualizations with terms selected using both our
technique (i.e., simplified model) and G
2
scores of unigrams (cf., [Collins et al. 2009;
Dunning 1993; Rayson and Garside 2000]). We chose to compare tag cloud visualiza-
tions for multiple reasons. First, keyphrases are often displayed as part of a webpage
ACMTransactions on Computer-Human Interaction,Vol. 19,No.3,Article19,Publication date:October 2012.
Descriptive Keyphrases for Text Visualization
19:19
Table VI. Top Keyphrases
Our Corpus-Independent Model
G
2
Adobe
Flash
Flash Player
Player
technologies
Adobe
H. 264
video
touch-based devices
Flash Player is
runtime
264
surge
touch
fair amount
open source
incorrect information
10.1
hardware-accelerated video playback
Flash Player 10.1
Player10.1
SWF
touch
the Flash Player
SWF
more about
misperceptions
content
mouse input
H.
mouse events
battery life
Seventy-five percent
codecs
codecs
browser
many claims
desktop
content protection
FLV/F4V
desktop environments
Flash Player team
Adobe Flash Platform
Player 10.1will
CPU-intensive task
actively maintained
appropriate APIs
Anyone can
battery life
both open and proprietary
further optimizations
ecosystem ofboth
Video Technology Center
ecosystem ofboth open and
memoryuse
forthe Flash
Interactive content
hardware-accelerated
Adobe Flash Playerruntime
hardware-accelerated video playback
staticHTML documents
include support
rich interactive media
multitouch
tablets
of both open
new content
on touch-based
complete set
open source and is
Note: Top 25 keyphrases for an open letter from Adobe about Flash technologies.
We apply redundancy reduction to both lists.
Table VII.Term-Length Adjustment
Flash
Flash Player
Flash Player 10.1
devices
mobile devices
Apple mobile devices
happiness
national happiness
Gross national happiness
emotion
emotion words
use ofemotion words
networks
social networks
online social networks
Obama
President Obama
Barack H. Obama
Bush
President Bush
George H.W. Bush
WoW
World ofWarcraft
Note: Examples ofadjustingkeyphrase length. Termsin boldface are selected
byourcorpus-independent model. Adjacent terms showthe resultsofdynam-
icallyrequesting shorter(←) or longer (→)terms.
or text visualization; we hypothesize that visual features such as layout, sizing, term
proximity, and other aesthetics are likely to affect the perceived utility of and prefer-
ences for keyphrases in real-world applications. Tag clouds are a popular form used by
adiverse set of people [Vi´egas et al. 2009]. Presenting selected terms in a simple list
would fail to reveal the impact of these effects. Second, keyphrases are often displayed
in aggregate;wehypothesize that the perceived quality of a collectiveset of keyphrases
ACM Transactions onComputer-HumanInteraction,Vol.19, No.3,Article19,Publicationdate:October 2012.
19:20
J. Chuang et al.
differs from that of evaluating each term independently. Tag clouds encourage readers
to assess the quality of keyphrases as a whole.
Parallel Tag Clouds [Collins et al. 2009] use unigrams weighted by G
2
for text ana-
lytics, making G
2
statistics an interesting and ecologically valid comparison point. We
hypothesized that tag clouds created using our technique would be preferred due to
more descriptive terms and complete phrases. We also considered variable-length G2
that includes phrases up to 5-grams. Upon inspection,many of thebigrams (e.g.,“more
about”, “anyone can”) and the majority of trigrams and longer phrases selected by G
2
statistics are irrelevant to the document content. We excluded the results from the
study, as they were trivially uncompetitive. Including only unigrams results in shorter
terms, which may lead to a more densely-packed layout (this is another reason that we
chose to compare to G
2
unigrams).
7.1. Method
We asked subjects to read a short text passage and write a 1–2 sentence summary.
Subjects then viewed two tag clouds and were asked to rate which they preferred on
a5-point scale (with 3 indicating a tie) and provide a brief rationale for their choice.
We asked raters to “consider to what degree the tag clouds use appropriate words,
avoid unhelpful or unnecessary terms, and communicate the gist of the text.” One tag
cloudconsistedof unigrams with term weights calculated using G2;the other contained
keyphrases selected using our corpus-independent model with redundancy reduction
and with the default preferred length. We weighted our terms by their regression
score: the linear combination of features used as input to the logistic function. Each
tag cloud contained the top 50 terms, with font sizes proportional to the square root
of the term weight. Occasionally our method selected less than 50 terms with positive
weights; we omitted negatively weighted terms. Tag cloud images were generated by
Wordle [Vi
´
egas et al. 2009] using the same layout and color parameters for each. We
randomized the presentation order of the tag clouds.
We included tag clouds of 24 text documents. To sample a variety of genres, we used
documents in four categories: CHI 2010 paper abstracts, short biographies (three U.S.
presidents, three musicians), blog posts (two each from opinion, travel, and photogra-
phy blogs), and news articles. Figure 8 shows tag clouds from a biography of the singer
Lady Gaga; Figures 9 and 10 show two other clouds used in our study.
We conducted our study using Amazon’s Mechanical Turk (cf., [Heer and Bostock
2010]). Each trial was posted as a task with a US$0.10 reward. We requested 24
assignments per task, resulting in 576 ratings.Upon completion,wetallied the ratings
for each tag cloud and coded free-text responses with the criteria invoked by raters’
rationales.
7.2. Results
On average, raters significantly preferred tag clouds generated using our keyphrase
extraction approach (267 ratings vs.208 for G
2
and101 ties; χ
2
(2) = 73.76, p < 0.0001).
Moreover, our techniquegarneredmorestrong ratings:49%(132/267) of positiveratings
were rated as “MUCH better,” compared to 38% (80/208) for G2.
Looking at raters’ rationales, we find that 70% of responses in favor of our technique
cite the improved saliency of descriptive terms, compared to 40% of ratings in favor of
G
2
.More specifically, 12% of positive responses note the presence of terms with mul-
tiple words (“It’s better to have the words ‘Adobe Flash’ and ‘Flash Player’ together”),
while 13% cite the use of fewer, unnecessary terms (“This is how tag clouds should
be presented, without the clutter of unimportant words”). On the other hand, some
(16/208, 8%) rewarded G
2
for showing more terms (“Tag cloud 2 is better since it has
more words used in the text.”).
ACMTransactions on Computer-Human Interaction,Vol. 19,No.3,Article19,Publication date:October 2012.
Documents you may be interested
Documents you may be interested