c# pdf reader text : Delete pages from a pdf document Library application component .net windows azure mvc SzeliskiBook_20100903_draft66-part643

13.5 Video-based rendering
639
Figure 13.12 Video Rewrite (Bregler,Covell,andSlaney1997)  c 1997 ACM: the video
frames are composedfrom bits and pieces of old video footage matchedto a new audio track.
create virtual camera paths between the source cameras as part of a real-time viewing expe-
rience. Finally, we discuss capturing environments by driving or walking through them with
panoramic video cameras in order to create interactive video-based walkthrough experiences
(Section13.5.5).
13.5.1 Video-based animation
As we mentioned above, an early example of video-based animation is Video Rewrite, in
which frames from original video footage are rearranged in order to match them to novel
spoken utterances, e.g., for movie dubbing (Figure13.12). This is similar in spirit tothe way
that concatenative speech synthesis systems work (Taylor2009).
In their system,Bregler,Covell,andSlaney(1997) first use speech recognition to extract
phonemes from both the source video material and the novel audio stream. Phonemes are
grouped into triphones (triplets of phonemes), since these better model the coarticulation
effect present when people speak. Matching triphones are then found in the source footage
and audio track. The mouth images corresponding to the selected video frames are then
cut and pasted into the desired video footage being re-animated or dubbed, with appropriate
geometric transformations to account for head motion. During the analysis phase, features
corresponding to the lips, chin, and head are tracked using computer vision techniques. Dur-
ing synthesis, image morphingtechniques are used to blend andstitchadjacent mouth shapes
into a more coherent whole. In more recent work,Ezzat,Geiger,andPoggio(2002) describe
how to use a multidimensional morphable model (Section12.6.2) combined withregularized
trajectory synthesis to improve these results.
Amore sophisticated version of this system, called face transfer, uses a novel source
video, insteadof justanaudio track, todrivetheanimationof apreviously capturedvideo, i.e.,
tore-render avideo of atalkingheadwith the appropriate visual speech, expression, and head
pose elements (Vlasic,Brand,Pfisteretal.2005). This work is one of many performance-
driven animation systems (Section4.1.5), which are often used to animate 3D facial models
Delete pages from a pdf document - remove PDF pages in C#.net, ASP.NET, MVC, Ajax, WinForms, WPF
Provides Users with Mature Document Manipulating Function for Deleting PDF Pages
delete pdf page acrobat; delete page pdf online
Delete pages from a pdf document - VB.NET PDF Page Delete Library: remove PDF pages in vb.net, ASP.NET, MVC, Ajax, WinForms, WPF
Visual Basic Sample Codes to Delete PDF Document Page in .NET
delete page in pdf file; delete blank page in pdf
640
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
(Figures12.1812.19). Whiletraditional performance-drivenanimationsystems usemarker-
based motion capture (Williams1990;LitwinowiczandWilliams1994;Ma,Jones,Chiang
et al. 2008),videofootagecannowoftenbeuseddirectlytocontroltheanimation(Buck,
Finkelstein, Jacobs et al. 2000; Pighin, Szeliski, and Salesin 2002; Zhang, Snavely, Curless
et al. 2004; Vlasic, Brand, Pfister et al. 2005; Roble and Zafar 2009).
In addition to its most common application to facial animation, video-based animation
can also be applied to whole body motion (Section12.6.4), e.g., by matching the flow fields
betweentwodifferent source videos and using one todrive the other (Efros,Berg,Morietal.
2003).Anotherapproachtovideo-basedrenderingistouseflowor3Dmodelingtounwrap
surface textures into stabilized images, which can then be manipulated and re-rendered onto
the original video (Pighin, Szeliski,andSalesin2002;Rav-Acha,Kohli, Fitzgibbonetal.
2008).
13.5.2 Video textures
Video-basedanimationisa powerfulmeans of creatingphoto-realistic videos byre-purposing
existing video footage to match some other desired activity or script. What if instead of
constructing a special animation or narrative, we simply want the video to continue playing
in a plausible manner? For example, many Web sites use images or videos to highlight their
destinations, e.g., to portray attractive beaches with surf and palm trees waving in the wind.
Instead of using a static image or a video clip that has a discontinuity when it loops, can we
transform the video clip into an infinite-length animation that plays forever?
This idea is the basis of video textures, in which a short video clip can be arbitrarily
extended by re-arranging video frames while preserving visual continuity (Sch¨odl,Szeliski,
Salesin et al. 2000). Thebasicproblemincreatingvideotexturesishowtoperformthis
re-arrangement without introducing visual artifacts. Can you thinkof how you might do this?
The simplest approach is to match frames by visual similarity (e.g., L
2
distance) and to
jump between frames that appear similar. Unfortunately, if the motions in the two frames
are different, a dramatic visual artifact will occur (the video will appear to “stutter”). For
example, if we fail to match the motions of the clock pendulum in Figure13.13a, it can
suddenly change direction in mid-swing.
How can we extend our basic frame matching to also match motion? In principle, we
could compute optic flow at each frame and match this. However, flow estimates are often
unreliable (especially in textureless regions) and it is not clear how to weight the visual and
motion similarities relative to each other. As an alternative,Sch¨odl,Szeliski,Salesinetal.
(2000) suggest matching triplets or larger neighborhoods of adjacent video frames, much
in the same way as Video Rewrite matches triphones. Once we have constructed an n 
nsimilarity matrix between all video frames (where n is the number of frames), a simple
C# PDF Page Insert Library: insert pages into PDF file in C#.net
how to merge PDF document files by C# code, how to rotate PDF document page, how to delete PDF page using C# .NET, how to reorganize PDF document pages and how
delete pdf pages; cut pages out of pdf file
C# PDF File & Page Process Library SDK for C#.net, ASP.NET, MVC
Page Process. File: Merge, Append PDF Files. File: Split PDF Document. File: Compress PDF. Page: Create Thumbnails. Page: Insert PDF Pages. Page: Delete Existing
delete pages from pdf acrobat; delete a page from a pdf
13.5 Video-based rendering
641
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(i)
Figure 13.13 Video textures (Sch¨odl,Szeliski,Salesinetal.2000)
c
2000 ACM: (a) a
clock pendulum, with correctly matched direction of motion; (b) a candle flame, showing
temporal transition arcs; (c) the flag is generated using morphing at jumps; (d) a bonfire
uses longer cross-dissolves; (e) a waterfall cross-dissolves several sequences at once; (f) a
smiling animated face; (g) two swinging children are animated separately; (h) the balloons
are automatically segmentedinto separate movingregions; (i) a synthetic fish tank consisting
of bubbles, plants, and fish. Videos corresponding to these images can be found athttp:
//www.cc.gatech.edu/gvu/perception/projects/videotexture/.
C# PDF Page Extract Library: copy, paste, cut PDF pages in C#.net
Create the new document with 3 pages. String outputFilePath = Program.RootPath + "\\" Output.pdf"; newDoc.Save(outputFilePath);
delete pages out of a pdf file; cut pages from pdf preview
VB.NET PDF Page Extract Library: copy, paste, cut PDF pages in vb.
' Create the new document with 3 pages. Dim outputFilePath As String = Program.RootPath + "\\" Output.pdf" newDoc.Save(outputFilePath).
cut pages from pdf online; delete page from pdf reader
642
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
finite impulse response (FIR) filtering of each match sequence can be used to emphasize
subsequences that match well.
The results of this match computation gives us a jump table or, equivalently, a transition
probability between any two frames in the original video. This is shown schematically as
red arcs in Figure13.13b, where the red bar indicates which video frame is currently be-
ing displayed, and arcs light up as a forward or backward transition is taken. We can view
these transition probabilities as encoding the hidden Markov model (HMM) that underlies a
stochastic video generation process.
Sometimes, it is not possible tofindexactly matching subsequences in the original video.
In this case, morphing, i.e., warping and blending frames during transitions (Section3.6.3)
can be used to hide the visual differences (Figure13.13c). If the motion is chaotic enough,
as in a bonfire or a waterfall (Figures13.13d–e), simple blending (extended cross-dissolves)
may be sufficient. Improved transitions can alsobe obtained byperforming3D graph cuts on
the spatio-temporal volume around a transition (Kwatra,Sch¨odl,Essaetal.2003).
Video textures need not be restricted to chaotic random phenomena such as fire, wind,
and water. Pleasing video textures can be created of people, e.g., a smiling face (as in Fig-
ure13.13f) or someone running on a treadmill (Sch¨odl,Szeliski,Salesinetal.2000). When
multiple people or objects are moving independently, as in Figures13.13g–h, we must first
segment the video into independently moving regions and animate each region separately.
It is also possible to create large panoramic video textures from a slowly panning camera
(Agarwala,Zheng,Paletal.2005).
Instead of just playing back the original frames in a stochastic (random) manner, video
textures can also be used to create scripted or interactive animations. If we extract individual
elements, such as fish ina fishtank (Figure13.13i) intoseparate videosprites, we can animate
them alongpre-specifiedpaths (bymatchingthe pathdirectionwiththeoriginalspritemotion)
to make our video elements move in a desired fashion (Sch¨odlandEssa2002). In fact, work
onvideo textures inspiredresearch on systems that re-synthesize new motionsequences from
motion capture data, which some people refer to as “mocapsoup” (ArikanandForsyth2002;
Kovar, Gleicher, and Pighin 2002; Lee, Chai, Reitsmaet al. 2002; Li, Wang, and Shum 2002;
Pullen and Bregler 2002).
While video textures primarily analyzethe video as a sequenceof frames (or regions) that
can be re-arranged in time, temporal textures (SzummerandPicard1996;Bar-Joseph,El-
Yaniv, Lischinski et al. 2001)anddynamictextures(Doretto, Chiuso, Wu et al. 2003; Yuan,
Wen, Liuetal. 2004; Dorettoand Soatto2006)treatthevideoasa3Dspatio-temporalvolume
with textural properties, which can be described using auto-regressive temporal models.
VB.NET PDF Page Insert Library: insert pages into PDF file in vb.
Able to add and insert one or multiple pages to existing adobe PDF document in VB.NET. Add and Insert Multiple PDF Pages to PDF Document Using VB.
delete pages in pdf; delete pages from pdf reader
C# PDF metadata Library: add, remove, update PDF metadata in C#.
C#.NET PDF SDK - Edit PDF Document Metadata in C#.NET. Allow C# Developers to Read, Add, Edit, Update and Delete PDF Metadata in .NET Project.
delete a page from a pdf file; delete blank page from pdf
13.5 Video-based rendering
643
displacement map
...
(a)
(b)
(c)
(d)
(e)
...
...
=
=
=
=
=
L
1
L
2
L
l-2
L
l-1
L
l
 (t)
1
L  (t)
2
L    (t)
l-2
L    (t)
l-1
L (t)
l
displacement map
displacement map
displacement map
displacement map
   (t)
l-1
d (t)
l
d    (t)
l-2
d  (t)
2
d  (t)
1
type=boat
type=still
type=tree
type=cloud
type=water
Figure 2 Overviewof our system.Theinputstillimage(a)ismanuallysegmentedintoseverallayers(b).Eachlayer
L
i
isthen animatedwith a
different stochastic motiontexture
d
i
(t)
(c).Finally,the animatedlayers
L
i
(t)
(d)are compositedback togethertoproduce the final animation
I(t)
(e).
[Griffiths1997],buttheresultingeffectmaynotmaintainaviewer
'
s
interestovermorethan ashort period oftime, on accountofits pe-
riodicityandpredictability.
Theapproach we ultimately settled upon — which has the advan-
tages of being quite simple for users to specify, and of creating
interesting, complex, and plausibly realisticmotion — is to break
the image up into several layers and to then synthesize a differ-
entmotiontexture
1
for each layer. A motion texture is essentially
atime-varyingdisplacementmap defined by a motion type, a set
of motion parameters, and in some cases a motion armature. This
displacement map
d(p,t)
is a function of pixel coordinates
p
and
time
t
.Applying itdirectlytoan image layer
L
results in aforward
warpedimagelayer
L
suchthat
L
(p+d(p,t))= L(p)
(1)
However, since forward mapping is fraught with problems suchas
aliasing and holes, weactually use inversewarping,definedas
L
(p)= L(p+d
(p,t))
(2)
Wedenote this operationas
L
=L⊗d
.
Wecould computethe inverse displacement map
d
from
d
using
the two-pass method suggested by Shade etal. [1998]. Instead,
since ourmotion fields areall very smooth, wesimply dilatethem
by theextent ofthelargest possiblemotion and reversetheirsign.
Withthisnotation inplace,wecannowdescribethebasicworkflow
ofoursystem(Figure2),whichconsists ofthreesteps:layeringand
matting,motionspecificationand editing,andfinally rendering.
Layering and matting. Thefirststep,layering,istosegment
the input image
I
into layers so that, within each layer, the same
motiontexturecan beapplied. Forexample,forthepaintinginFig-
ure 2(a), we have the following layers: one for each of thewater,
sky,bridge and shore; one for each ofthe three boats; and one for
eachoftheeleventreesinthebackground (Figure2(b)). To accom-
plishthis,weuseaninteractiveobjectselection toolsuchasapaint-
ing tool or intelligent scissors [Mortensen and Barrett 1995]. The
tool is used to specifyatrimap foralayer; wethen applyBayesian
1Weuse thetermsmotiontexture andstochasticmotiontextureinter-
changeablyinthis paper.The termmotiontexturewasalsousedby Liet.
al [2002]toreferto a lineardynamic system learnedfrommotion capture
data.
matting to extract thecolor image and a soft alpha matte for that
layer[Chuanget al. 2001].
Because some layers will be moving, occluded parts of the back-
ground might become visible. Hence, after extracting a layer, we
use an enhanced inpainting algorithm to fill the hole in the back-
ground behind the foreground layer. We usean example-based in-
painting algorithmbased on theworkofCriminisietal.[2003]be-
cause of its simplicity and its capacity to handleboth linear struc-
turesandtexturedregions.
Notethat theinpaintingalgorithmdoesnot havetobeperfectsince
only pixels neartheboundary of thehole are likely tobecomevis-
ible. Wecan therefore accelerate the inpainting algorithmby con-
sidering only nearby pixels in the search for similarpatches. This
shortcutmaysacrificesomequality,so incases wheretheautomatic
inpainting algorithmproduces poorresults,weprovide atouch-up
interfacewith which ausercan select regions to berepainted. The
automatic algorithm is then reapplied to these smaller regions us-
ing alargersearch radius. Wehavefound that most significant in-
painting artifacts can be removedafteronly oneortwo such brush-
strokes.Althoughthismayseemlessefficientthanafullyautomatic
algorithm,wehavefound that exploitingthehumaneyeinthissim-
plefashion can produce superior results in less than half the time
of thefully automatic algorithm. Notethat ifa layer exhibits large
motions (such as a wildly swinging branch), artifacts deep inside
the inpainted regions behind that layer may be revealed. In prac-
tice,theseartifactsmaynot beobjectionable,asthemotiontends to
draw attention away from them. When they are objectionable, the
userhas theoption ofimproving theinpaintingresults.
After the background image has been inpainted, we work on this
image to extract the next layer. We repeat this process from the
closest layertothefurthest layer to generatethedesired numberof
layers. Each layer
L
i
contains acolor image
C
i
,a matte
α
i
,and a
compositing order
z
i
.Thecompositing orderispresently specified
by hand, but could in principle be automatically assigned with the
order in which the layers areextracted.
Motion specificationandediting. Thesecondcomponentof
oursystemletsusspecify andeditthemotiontextureforeachlayer.
Currently, weprovidethe following motion types:trees (swaying),
water(rippling),boats(bobbing),clouds(translation),and still(no
motion).Foreachmotiontype,theusercan tunethemotion param-
etersandspecify amotion armature,whereapplicable. Wedescribe
themotionparametersand armaturesinmoredetailforeach motion
typeinSection 3.
Figure 13.14 Animatingstill pictures (Chuang,Goldman,Zhengetal.2005)  c 2005ACM.
(a) The input still image is manually segmented into (b) several layers. (c) Each layer is
then animated with a different stochastic motion texture (d) The animated layers are then
composited to produce (e) the final animation
13.5.3 Application: Animating pictures
While video textures can turn a short video clip into an infinitely long video, can the same
thing be done with a single still image? The answer is yes, if you are willing to first segment
the image into different layers and then animate each layer separately.
Chuang, Goldman, Zheng et al.(2005)describehowanimagecanbedecomposedinto
separate layers using interactive matting techniques. Each layer is then animated using a
class-specific synthetic motion. As shown in Figure13.14, boats rock back and forth, trees
swayin the wind, clouds move horizontally, andwater ripples, usinga shaped noise displace-
ment map. All of these effects can be tied to some global control parameters, such as the
velocity and direction of a virtual wind. After being individually animated, the layers can be
composited to create a final dynamic rendering.
13.5.4 3D Video
In recent years, the popularity of 3D movies has grown dramatically, with recent releases
rangingfrom Hannah Montana, throughU2’s 3Dconcertmovie, to James Cameron’s Avatar.
Currently, such releases are filmed using stereoscopic camera rigs and displayed in theaters
(or at home) to viewers wearing polarized glasses.
8
In the future, however, home audiences
may wishtoview such movies with multi-zone auto-stereoscopic displays, where each person
gets his or her own customized stereo stream and can move around a scene to see it from
8
http://www.3d-summit.com/.
C# Word - Delete Word Document Page in C#.NET
Delete Consecutive Pages from Word in C#. How to delete a range of pages from a Word document. How to delete several defined pages from a Word document.
delete page from pdf file online; delete page on pdf
C# PowerPoint - Delete PowerPoint Document Page in C#.NET
C#. How to delete a range of pages from a PowerPoint document. C#. How to delete several defined pages from a PowerPoint document.
delete blank pages in pdf files; delete pages from a pdf file
644
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
Render
background
B
i
Render
foreground
F
i
Over
composite
Camera 
i
Render
background
B
i+1
Render
foreground
F
i+1
Over
composite
Blend
Camera
i+1
(a)
(b)
d
i
M
i
B
i
strip
width
strip
width
depth
discontinuity
matte
(c)
(d)
(e)
(f)
Figure 13.15 Video view interpolation (Zitnick,Kang,Uyttendaeleetal.2004)  c 2004
ACM: (a) the capture hardware consists of eight synchronized cameras; (b) the background
and foreground images from each camera are rendered and composited before blending; (c)
the two-layer representation, before and after boundary matting; (d) background color esti-
mates; (e) background depth estimates; (f) foreground color estimates.
different perspectives.
9
The stereo matching techniques developed in the computer vision community along with
image-based rendering(viewinterpolation) techniques from graphics are both essential com-
ponents insuch scenarios, whichare sometimes calledfree-viewpointvideo(Carranza,Theobalt,
Magnor et al. 2003)orvirtualviewpointvideo(Zitnick, Kang, Uyttendaele et al. 2004). In
addition to solving a series of per-frame reconstruction and view interpolation problems, the
depth maps or proxies produced by the analysis phase must be temporally consistentin order
to avoid flickering artifacts.
Shum, Chan, and Kang(2007)and Magnor(2005)presentniceoverviewsofvarious
video view interpolation techniques and systems. These include the Virtualized Reality sys-
tem ofKanade,Rander,andNarayanan(1997) andVedula,Baker,andKanade(2005), Im-
mersiveVideo (Moezzi,Katkere,Kuramuraetal.1996), Image-Based VisualHulls (Matusik,
Buehler, Raskar et al. 2000; Matusik, Buehler, and McMillan 2001), andFree-Viewpoint
Video (Carranza,Theobalt,Magnoretal.2003), which all use global 3D geometric models
(surface-based (Section12.3) or volumetric (Section12.5)) as their proxies for rendering.
The work ofVedula,Baker,andKanade(2005) also computes scene flow, i.e., the 3Dmotion
between corresponding surface elements, which canthen be used to perform spatio-temporal
interpolation of the multi-viewvideo stream.
The Virtual Viewpoint Video system ofZitnick,Kang,Uyttendaeleetal.(2004), on the
9
http://www.siggraph.org/s2008/attendees/caf/3d/.
13.5 Video-based rendering
645
other hand, associates a two-layer depth map with each input image, which allows them to
accurately model occlusion effects such as the mixed pixels that occur at object boundaries.
Their system, which consists of eight synchronized video cameras connected to a disk array
(Figure13.15a), first uses segmentation-based stereo to extract a depth map for each input
image (Figure13.15e). Near object boundaries (depth discontinuities), the background layer
is extended along a strip behind the foreground object (Figure13.15c) and its color is es-
timated from the neighboring images where it is not occluded (Figure13.15d). Automated
matting techniques (Section10.4) are then used to estimate the fractional opacity and color
of boundary pixels in the foreground layer (Figure13.15f).
At render time, given a new virtual camera that lies between two of the original cameras,
the layers in the neighboring cameras are rendered as texture-mapped triangles and the fore-
ground layer (which may have fractional opacities) is then composited over the background
layer (Figure13.15b). The resulting two images are merged and blended by comparing their
respective z-buffer values. (Whenever thetwoz-values are sufficientlyclose, a linear blend of
the two colors is computed.) The interactive rendering system runs in real time using regular
graphics hardware. It can therefore be used to change the observer’s viewpointwhile playing
the video or to freeze the scene and explore it in 3D. More recently,Rogmans,Lu,Bekaert
et al.(2009)havedevelopedGPUimplementationsofbothreal-timestereomatchingand
real-time rendering algorithms, which enable them to explore algorithmic alternatives in a
real-time setting.
At present, the depth maps computed from the eight stereo cameras using off-line stereo
matching have produced the highest quality depth maps associated with live video.
10
They
are therefore often used in studies of 3D video compression, which is an active area of re-
search (SmolicandKauff2005;GotchevandRosenhahn2009). Active video-rate depth
sensing cameras, such as the 3DV Zcam (IddanandYahav2001 ), which we discussed in
Section12.2.1, are another potential source of such data.
When large numbers of closely spaced cameras are available, as in the Stanford Light
Field Camera (Wilburn,Joshi,Vaishetal.2005), it may not always be necessary to compute
explicit depth maps to create video-based rendering effects, although the results are usually
of higher quality if you do (Vaish,Szeliski,Zitnicketal.2006).
13.5.5 Application: Video-based walkthroughs
Video camera arrays enable the simultaneous capture of 3D dynamic scenes from multiple
viewpoints, which can then enable the viewer to explore the scene from viewpoints near the
original capture locations. What if instead we wish to capture an extended area, such as a
home, a movie set, or even an entire city?
10
http://research.microsoft.com/en-us/um/redmond/groups/ivm/vvv/.
646
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
In this case, it makes more sense to move the camera through the environment and play
back the video as an interactive video-based walkthrough. In order to allow the viewer to
look around in all directions, it is preferable to use a panoramic video camera (Uyttendaele,
Criminisi, Kang et al. 2004).
11
One wayto structure the acquisitionprocess is to capture these images in a 2D horizontal
plane, e.g., over a grid superimposed inside a room. The resulting sea of images (Aliaga,
Funkhouser, Yanovsky et al. 2003)canbeusedtoenablecontinuousmotionbetweenthe
captured locations.
12
However, extending this idea to larger settings, e.g., beyond a single
room, can become tedious and data-intensive.
Instead, a natural way to explore a space is often to just walk through it along some pre-
specified paths, just as museums or home tours guide users along a particular path, say down
the middle of each room.13 Similarly, city-level exploration can be achieved by driving down
the middle of eachstreet and allowing the user tobranch at each intersection. This idea dates
back to the Aspen MovieMap project (Lippman1980), which recorded analog video taken
from moving cars onto videodiscs for later interactive playback.
Recent improvements in video technology now enable the capture of panoramic (spheri-
cal) video using a small co-located array of cameras, such as the Point Grey Ladybug cam-
era
14
(Figure13.16b) developed byUyttendaele,Criminisi,Kangetal.(2004) for their inter-
active video-based walkthroughproject. Intheir system, thesynchronized videostreams from
the six cameras (Figure13.16a) are stitched together into 360 panoramas using a variety of
techniques developed specifically for this project.
Because the cameras do not share the same center of projection, parallax between the
cameras can lead to ghosting in the overlapping fields of view (Figure13.16c). To remove
this, a multi-perspective plane sweep stereo algorithm is used to estimate per-pixel depths at
each column in the overlap area. To calibrate the cameras relative to each other, the camera
is spun in place and a constrained structure from motion algorithm (Figure7.8) is used to
estimate the relative camera poses and intrinsics. Feature tracking is then run on the walk-
through video in order to stabilize the video sequence—Liu,Gleicher,Jinetal.(2009) have
carried out more recent work along these lines.
Indoor environments with windows, as well as sunny outdoor environments with strong
shadows, often have a dynamic range that exceeds the capabilities of video sensors. For
this reason, the Ladybug camera has a programmable exposure capability that enables the
bracketing of exposures at subsequent video frames. In order to merge the resulting video
11 Seehttp://www.cis.upenn.edu/
kostas/omni.htmlfordescriptionsofpanoramic(omnidirectional)visionsys-
tems and associated workshops.
12(ThePhotoTourismsystemofSnavely,Seitz,andSzeliski(2006)appliesthisideatolessstructuredcollections.
13
In computer games, restricting a player to forward and backward motion along predetermined paths is called
rail-based gaming.
14
http://www.ptgrey.com/.
13.5 Video-based rendering
647
(a)
(b)
(c)
(d)
(e)
(f)
(g)
Figure 13.16 Video-based walkthroughs (Uyttendaele,Criminisi,Kangetal.2004)  c 2004
IEEE: (a) system diagram of video pre-processing; (b) the Point Grey Ladybug camera; (c)
ghost removal usingmulti-perspective plane sweep; (d) point tracking, used both for calibra-
tion and stabilization; (e) interactive garden walkthrough with map below; (f) overhead map
authoring and sound placement; (g) interactive home walkthrough with navigation bar (top)
and icons of interest (bottom).
648
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
frames intohigh dynamicrange (HDR) video, pixels from adjacent frames need to be motion-
compensated before being merged (Kang,Uyttendaele,Winderetal.2003).
The interactive walk-through experience becomes much richer and more navigable if an
overviewmap is availableas partof theexperience. InFigure13.16f, the maphasannotations,
which can show up during the tour, and localized sound sources, which play (with different
volumes) when the viewer is nearby. The process of aligning the video sequence with the
map can be automatedusing a process called map correlation (LevinandSzeliski2004).
All of these elements combine to provide the user with a rich, interactive, and immersive
experience. Figure13.16e shows a walk through the Bellevue Botanical Gardens, with an
overview map in perspective below the live video window. Arrows on the ground are used to
indicate potential directions of travel. The viewer simply orients his view towards one of the
arrows (the experience can be drivenusinga game controller) and “walks” forward along the
desired path.
Figure13.16g shows an indoor home tour experience. In addition to a schematic map
in the lower left corner and adjacent room names along the top navigation bar, icons appear
along the bottom whenever items of interest, such as a homeowner’s art pieces, are visible
in the main window. These icons can then be clicked to provide more information and 3D
views.
Thedevelopmentof interactivevideo tours spurredarenewedinterestin360
video-based
virtual travel and mapping experiences, as evidenced by commercial sites such as Google’s
Street View and Bing Maps. The same videos can also be used to generate turn-by-turn driv-
ing directions, taking advantage of both expanded fields of view and image-based rendering
to enhance the experience (Chen,Neubert,Ofeketal.2009).
As we continue to capture more and more of our real world with large amounts of high-
quality imagery and video, the interactive modeling, exploration, and rendering techniques
described in this chapter will play an even bigger role in bringing virtual experiences based
on remote areas of the world closer to everyone.
13.6 Additional reading
Two good recent surveys of image-based rendering are byKang,Li,Tongetal.(2006) and
Shum, Chan, and Kang(2007),withearliersurveysavailablefrom Kang(1999), McMillan
andGortler(1999),and Debevec(1999).Thetermimage-basedrenderingwasintroducedby
McMillan andBishop(1995),althoughtheseminalpaperinthefieldistheviewinterpolation
paper byChenandWilliams(1993).Debevec,Taylor,andMalik(1996) describe their Fac¸ade
system, which not only created a variety of image-based modeling tools but also introduced
the widely used technique of view-dependent texture mapping.
Documents you may be interested
Documents you may be interested