c# pdf reader table : Delete pdf page acrobat SDK control service wpf web page winforms dnn SzeliskiBook_20100903_draft43-part618

8.4 Optical flow
409
(a)
(b)
(c)
Figure 8.11 Octree spline-based image registration of twovertebral surfacemodels (Szeliski
and Lavall
´
ee 1996)
c
1996 Springer: (a) after initial rigid alignment; (b) after elastic align-
ment; (c) a cross-section through the adapted octree spline deformationfield.
maticmode butmore accurate results can be obtained bylocating a fewkey landmarks. More
recent papers on deformable medical image registration, including performance evaluations,
include (Klein,Staring,andPluim2007;Glocker,Komodakis,Tziritasetal.2008).
As with other applications, regular volumetric splines can be enhanced using selective
refinement. In the case of 3D volumetric image or surface registration, these are known as
octree splines (SzeliskiandLavall´ee1996) and have been used to register medical surface
models such as vertebrae and faces from different patients (Figure8.11).
8.4 Optical flow
The most general (and challenging) version of motion estimation is to compute an indepen-
dent estimate of motionat each pixel, whichis generally known as optical (or optic) flow. As
we mentioned in the previous section, this generally involves minimizing the brightness or
color difference between corresponding pixels summed over the image,
E
SSD OF
(fu
i
g) =
X
i
[I
1
(x
i
+u
i
)  I
0
(x
i
)]
2
:
(8.69)
Since the number of variables fu
i
gis twice the number of measurements, the problem is
underconstrained. The two classic approaches to this problem are to perform the summa-
tion locally over overlapping regions (the patch-based or window-based approach) or to
add smoothness terms on the fu
i
gfield using regularization or Markov random fields (Sec-
tion3.7) and tosearch for a global minimum.
The patch-based approach usually involves using a Taylor series expansion of the dis-
placed image function(8.35) inorder to obtain sub-pixel estimates (LucasandKanade1981).
Delete pdf page acrobat - remove PDF pages in C#.net, ASP.NET, MVC, Ajax, WinForms, WPF
Provides Users with Mature Document Manipulating Function for Deleting PDF Pages
delete pages from a pdf document; delete page numbers in pdf
Delete pdf page acrobat - VB.NET PDF Page Delete Library: remove PDF pages in vb.net, ASP.NET, MVC, Ajax, WinForms, WPF
Visual Basic Sample Codes to Delete PDF Document Page in .NET
delete pages from a pdf file; delete pages of pdf preview
410
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
Anandan(1989)showshowaseriesoflocaldiscretesearchstepscanbeinterleavedwith
Lucas–Kanade incremental refinement steps in a coarse-to-fine pyramid scheme, which al-
lows the estimation of large motions, as describedin Section8.1.1. He also analyzes how the
uncertainty in local motion estimates is related to the eigenvalues of the local Hessian matrix
A
i
(8.44), as shown in Figures8.38.4.
Bergen, Anandan, Hanna et al.(1992)developaunifiedframeworkfordescribingboth
parametric (Section8.2) and patch-based optic flow algorithms and provide a nice introduc-
tion to this topic. After each iteration of optic flow estimation in a coarse-to-fine pyramid,
they re-warp one of the images so that only incremental flow estimates are computed (Sec-
tion8.1.1). When overlapping patches are used, an efficient implementation is to first com-
pute the outer products of the gradients and intensity errors (8.408.41) at every pixel and
then perform the overlapping window sums using a moving average filter.
11
Instead of solving for each motion (or motion update) independently,HornandSchunck
(1981) develop a regularization-based framework where (8.69) is simultaneously minimized
over all flow vectors fu
i
g. In order to constrain the problem, smoothness constraints, i.e.,
squared penalties on flow derivatives, are added to the basic per-pixel error metric. Because
the technique was originally developed for small motions in a variational (continuous func-
tion) framework, the linearized brightness constancy constraint corresponding to (8.35), i.e.,
(8.38), is more commonly written as an analytic integral
E
HS
=
Z
(I
x
u+ I
y
v+ I
t
)
2
dxdy;
(8.70)
where (I
x
;I
y
) = rI
1
= J
1
and I
t
= e
i
is the temporal derivative, i.e., the brightness
change between images. The Horn and Schunck model can also be viewed as the limiting
case of spline-based motion estimation as the splines become 1x1 pixel patches.
It is also possible to combine ideas from local and global flow estimation into a single
framework by using a locally aggregated (as opposed to single-pixel) Hessian as the bright-
ness constancy term (Bruhn, Weickert, andSchn¨orr2005). Consider the discrete analog
(8.35) to the analytic global energy (8.70),
E
HSD
=
X
i
u
T
i
[J
i
J
T
i
]u
i
+2e
i
J
T
i
u
i
+e
2
i
:
(8.71)
If we replace the per-pixel(rank 1) Hessians A
i
=[J
i
J
T
i
]and residuals b
i
=J
i
e
i
witharea-
aggregated versions (8.408.41), we obtain a global minimization algorithm where region-
based brightness constraints are used.
Another extension to the basic optic flow model is to use a combination of global (para-
metric) and local motionmodels. For example, if we know that the motion is due to a camera
11
Othersmoothing oraggregation filters can also beused at this stage(Bruhn,Weickert,andSchn¨orr2005).
.NET PDF Document Viewing, Annotation, Conversion & Processing
Edit, update, delete PDF annotations from PDF file. Print. Support for all the print modes in Acrobat PDF. Print only specified page ranges.
delete pages on pdf; delete page on pdf
C# PDF Converter Library SDK to convert PDF to other file formats
using other external third-party dependencies like Adobe Acrobat. to image or document, or from PDF document to other file formats, like multi-page TIFF file
delete page pdf online; delete pages out of a pdf
8.4 Optical flow
411
moving in a static scene (rigid motion), we can re-formulate the problem as the estimation of
aper-pixel depth along with the parameters of the global camera motion (Adiv1989;Hanna
1991; Bergen, Anandan, Hanna et al. 1992; Szeliski and Coughlan 1997; Nir, Bruckstein,
andKimmel 2008; Wedel, Cremers, Pock et al. 2009).Suchtechniquesarecloselyrelatedto
stereo matching (Chapter11). Alternatively, we canestimate either per-image or per-segment
affine motion models combined with per-pixel residual corrections (BlackandJepson1996;
Ju, Black, and Jepson 1996; Chang, Tekalp, and Sezan 1997; M´emin and P´erez 2002). We
revisit this topic in Section8.5.
Of course, image brightness may not always be an appropriate metric for measuring ap-
pearance consistency, e.g., when the lighting in an image is varying. As discussed in Sec-
tion8.1, matching gradients, filtered images, or other metrics such as image Hessians (sec-
ond derivative measures) may be more appropriate. It is also possible to locally compute the
phase of steerable filters in the image, which is insensitive to both bias and gain transforma-
tions (FleetandJepson1990).Papenberg,Bruhn,Broxetal.(2006) reviewand explore such
constraints and also provide a detailed analysis and justification for iteratively re-warping
images during incremental flow computation.
Because the brightness constancy constraint is evaluated at each pixel independently,
rather than being summed over patches where the constant flow assumption may be violated,
global optimization approaches tend to perform better near motion discontinuities. This is
especially true if robust metrics are used in the smoothness constraint (BlackandAnandan
1996; Bab-Hadiashar and Suter 1998a).
12
One popular choice for robust metrics in the L
1
norm, also known as total variation (TV), which results in a convex energy whose global
minimum can be found (Bruhn, Weickert, andSchn¨orr2005;Papenberg, Bruhn, Broxet
al. 2006). Anisotropicsmoothnesspriors,whichapplyadifferentsmoothnessinthedirec-
tions parallel andperpendicular to the image gradient, are another popular choice (Nageland
Enkelmann 1986; Sun, Roth, Lewis et al. 2008; Werlberger, Trobin, Pock et al. 2009). It
is also possible to learn a set of better smoothness constraints (derivative filters and robust
functions) from a set of paired flow andintensity images (Sun,Roth,Lewisetal.2008). Ad-
ditional details on some of these techniques are given byBaker,Black,Lewisetal.(2007)
andBaker,Scharstein,Lewisetal.(2009).
Because of the large, two-dimensional search space in estimating flow, most algorithms
use variations of gradient descent and coarse-to-fine continuation methods to minimize the
global energy function. This contrasts starkly with stereo matching (which is an “easier”
one-dimensionaldisparity estimation problem), where combinatorialoptimizationtechniques
have been the method of choice for the last decade.
Fortunately, combinatorial optimization methods based on Markov random fields are be-
12 Robustbrightnessmetrics(Section8.1,(8.2))canalsohelpimprovetheperformanceofwindow-basedap-
proaches(BlackandAnandan1996).
C# powerpoint - PowerPoint Conversion & Rendering in C#.NET
without using other external third-party dependencies like Adobe Acrobat. PowerPoint to PDF Conversion. This page will tell you how to use XDoc.PowerPoint SDK
delete pages from a pdf reader; add remove pages from pdf
C# Word - Word Conversion in C#.NET
independently, without using other external third-party dependencies like Adobe Acrobat. Word to PDF Conversion. This page will tell you how to use XDoc.Word
delete pages pdf; delete page from pdf document
412
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
Figure 8.12 Evaluation of the results of 24 optical flow algorithms, October 2009, http:
//vision.middlebury.edu/flow/,(Baker,Scharstein,Lewisetal.2009).Bymovingthemouse
pointer over anunderlined performance score, the user caninteractively viewthe correspond-
ing flow and error maps. Clicking on a score toggles between the computed and ground truth
flows. Next to each score, the corresponding rank in the current column is indicated by a
smaller blue number. The minimum (best) score in each column is shown in boldface. The
tableis sortedbythe averagerank (computedover all24columns, threeregion masks for each
of the eight sequences). The average rank serves as an approximate measure of performance
under the selected metric/statistic.
C# Windows Viewer - Image and Document Conversion & Rendering in
standard image and document in .NET class applications independently, without using other external third-party dependencies like Adobe Acrobat. Convert to PDF.
delete page on pdf file; pdf delete page
VB.NET PDF: How to Create Watermark on PDF Document within
or image (such as business's logo) on any desired PDF page. And with our PDF Watermark Creator, users need no external application plugin, like Adobe Acrobat.
add or remove pages from pdf; delete pages pdf files
8.4 Optical flow
413
ginning to appear and tend to be among the better-performing methods on the recently re-
leased optical flow database (Baker,Black,Lewisetal.2007).
13
Examples of suchtechniques includetheonedevelopedbyGlocker,Paragios,Komodakis
etal.(2008),whouseacoarse-to-finestrategywithper-pixel2Duncertaintyestimates,which
are then used to guide the refinement and search at the next finer level. Instead of using gra-
dient descent to refine the flow estimates, a combinatorial search over discrete displacement
labels (whichis able tofindbetter energyminima) is performed usingtheir Fast-PDalgorithm
(Komodakis,Tziritas,andParagios2008).
Lempitsky, Roth, and Rother.(2008)usefusionmoves(Lempitsky, Rother, and Blake
2007)overproposalsgeneratedfrombasicflowalgorithms(Horn and Schunck 1981; Lucas
and Kanade 1981)tofindgoodsolutions. Thebasicideabehindfusionmovesistoreplace
portions of the current best estimate with hypotheses generated by more basic techniques
(or their shifted versions) and to alternate them with local gradient descent for better energy
minimization.
The field of accurate motion estimation continues to evolve at a rapid pace, with signif-
icant advances in performance occurring every year. The optical flow evaluation Web site
(http://vision.middlebury.edu/flow/) is a good source of pointers to high-performing recently
developed algorithms (Figure8.12).
8.4.1 Multi-frame motion estimation
So far, we have looked at motion estimation as a two-frame problem, where the goal is to
compute a motion field that aligns pixels from one image with those in another. In practice,
motion estimation is usually applied to video, where a whole sequence of frames is available
to perform this task.
One classic approach to multi-frame motion is to filter the spatio-temporal volume using
oriented or steerable filters (Heeger1988), in a manner analogous to oriented edge detec-
tion (Section3.2.3). Figure8.13 shows two frames from the commonly used flower garden
sequence, as well as a horizontal slice through the spatio-temporal volume, i.e., the 3D vol-
ume created by stacking all of the video frames together. Because the pixel motion is mostly
horizontal, theslopes of individual(textured) pixel tracks, whichcorrespondto their horizon-
tal velocities, can clearly be seen. Spatio-temporal filtering uses a 3D volume around each
pixel to determine the best orientation in space–time, which corresponds directly to a pixel’s
velocity.
Unfortunately, in order to obtain reasonably accurate velocity estimates everywhere in
an image, spatio-temporal filters have moderately large extents, which severely degrades the
quality of their estimates near motion discontinuities. (This same problem is endemic in
13
http://vision.middlebury.edu/flow/.
VB.NET PowerPoint: VB Code to Draw and Create Annotation on PPT
other documents are compatible, including PDF, TIFF, MS platform-friendly, this .NET PPT page annotating component more plug-ins needed like Acrobat or Adobe
cut pages from pdf; delete a page from a pdf file
C# Excel - Excel Conversion & Rendering in C#.NET
independently, without using other external third-party dependencies like Adobe Acrobat. Excel to PDF Conversion. This page will tell you how to use XDoc.Excel
delete pages in pdf reader; delete page pdf file
414
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
(a)
(b)
(c)
Figure 8.13 Slice through a spatio-temporal volume (Szeliski1999)  c 1999 IEEE: (a–b)
two frames from the flower garden sequence; (c) a horizontal slice through the complete
spatio-temporal volume, with the arrows indicating locations of potential key frames where
flowisestimated. Note that thecolorsfor theflower gardensequence are incorrect;thecorrect
colors (yellow flowers) are shown in Figure8.15.
2D window-based motion estimators.) An alternative to full spatio-temporal filtering is to
estimate more local spatio-temporal derivatives and use them inside a global optimization
framework to fill in textureless regions (Bruhn,Weickert,andSchn¨orr2005;Govindu2006).
Another alternative is to simultaneously estimate multiple motion estimates, while also
optionallyreasoning about occlusionrelationships(Szeliski1999). Figure8.13c shows schemat-
ically one potential approach to this problem. The horizontal arrows show the locations of
keyframes s where motion is estimated, while other slices indicate video frames t whose
colors are matched with those predicted by interpolating between the keyframes. Motion es-
timation can be cast as a global energy minimization problem that simultaneously minimizes
brightness compatibility and flow compatibility terms between keyframes and other frames,
in addition to using robust smoothness terms.
The multi-view framework is potentially even more appropriate for rigid scene motion
(multi-view stereo) (Section11.6), where the unknowns at each pixel are disparities and
occlusion relationships can be determined directly from pixel depths (Szeliski1999;Kol-
mogorov and Zabih 2002). However,itmayalsobeapplicabletogeneralmotion,withthe
addition of models for object accelerations and occlusion relationships.
8.4.2 Application: Video denoising
Video denoising is the process of removing noise and other artifacts such as scratches from
film and video (Kokaram2004). Unlike single image denoising, where the only information
available is in the current picture, video denoisers can average or borrow information from
adjacent frames. However, in order to do this without introducing blur or jitter (irregular
motion), they need accurate per-pixel motion estimates.
Exercise8.7 lists some of the steps required, which include the ability to determine if the
8.5 Layered motion
415
current motion estimate is accurate enough to permit averaging with other frames. Gaiand
Kang(2009)describetheirrecentlydevelopedrestorationprocess,whichinvolvesaseriesof
additional steps to deal with the special characteristics of vintage film.
8.4.3 Application: De-interlacing
Another commonly used application of per-pixel motion estimation is video de-interlacing,
which is the process of converting a video taken with alternating fields of even and odd
lines to a non-interlaced signal that contains both fields in each frame (deHaanandBellers
1998). Twosimplede-interlacingtechniquesarebob,whichcopiesthelineaboveorbelow
the missing line from the same field, and weave, which copies the corresponding line from
the field before or after. The names come from the visual artifacts generated by these two
simple techniques: bob introduces an up-and-down bobbing motion along strong horizontal
lines; weave can lead to a “zippering” effect along horizontally translating edges. Replacing
these copy operators with averages can help but does not completely remove these artifacts.
Awide variety of improved techniques have been developed for this process, which is
oftenembedded in specialized DSP chips found insidevideo digitizationboards in computers
(since broadcast video is often interlaced, while computer monitors are not). A large class
of these techniques estimates local per-pixel motions and interpolates the missing data from
the information available in spatially and temporally adjacent fields. Dai,Baker,andKang
(2009) review this literature and propose their own algorithm, which selects among seven
different interpolation functions at each pixel using an MRF framework.
8.5 Layered motion
In many situation, visual motion is caused by the movement of a small number of objects
at different depths in the scene. In such situations, the pixel motions can be described more
succinctly (and estimated more reliably) if pixels are grouped into appropriate objects or
layers (WangandAdelson1994).
Figure8.14 shows this approach schematically. The motion in this sequence is caused by
the translational motionof the checkered backgroundandthe rotationof theforeground hand.
The complete motion sequence can be reconstructed from the appearance of the foreground
andbackground elements, whichcan berepresented as alpha-mattedimages (sprites or video
objects) and the parametric motion corresponding to each layer. Displacing and compositing
these layers in back to front order (Section3.1.3) recreates the original video sequence.
Layered motion representations not only lead to compact representations (Wang and
Adelson 1994; Lee, ge Chen, lung Bruce Lin et al. 1997),buttheyalsoexploittheinfor-
mation available in multiple video frames, as well as accurately modeling the appearance of
416
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
Intensity map
Alpha map
Velocity map
Intensity map
Alpha map
Velocity map
Frame 1
Frame 2
Frame 3
Figure 8.14 Layered motion estimation framework (Wang andAdelson1994)  c 1994
IEEE:The top tworows describe the two layers, each of which consists of anintensity (color)
image, analphamask(black=transparent), anda parametric motionfield. Thelayers are com-
posited with different amounts of motion to recreate the video sequence.
pixels near motion discontinuities. This makes them particularly suited as a representation
for image-based rendering (Section13.2.1) (Shade,Gortler,Heetal.1998;Zitnick,Kang,
Uyttendaele et al. 2004)aswellasobject-levelvideoediting.
To compute a layered representation of a video sequence,WangandAdelson(1994) first
estimate affine motion models over a collection of non-overlapping patches and then cluster
these estimates using k-means. They then alternate between assigning pixels to layers and
recomputing motion estimates for each layer using the assigned pixels, using a technique
first proposed byDarrellandPentland(1991). Once the parametric motions and pixel-wise
layer assignments have been computed for each frame independently, layers are constructed
by warping and merging the various layer pieces from all of the frames together. Median
filtering is used to producesharpcompositelayers that are robustto smallintensity variations,
as well as to infer occlusion relationships between the layers. Figure8.15 shows the results
of this process on the flower garden sequence. You can see both the initial and final layer
assignments for one of the frames, as well as the composite flow and the alpha-matted layers
with their corresponding flow vectors overlaid.
In follow-on work,WeissandAdelson(1996) use a formal probabilistic mixture model
to infer both the optimal number of layers and the per-pixel layer assignments.Weiss(1997)
8.5 Layered motion
417
color image (input frame)
flow
initial layers
final layers
layerswith pixel assignments and flow
Figure 8.15 Layered motion estimation results (WangandAdelson1994)  c 1994 IEEE.
further generalizes this approach by replacingthe per-layer affine motionmodels withsmooth
regularized per-pixel motion estimates, which allows the system to better handle curved and
undulating layers, such as those seen in most real-world sequences.
The above approaches, however, still make a distinction between estimating the motions
and layer assignments and then later estimating the layer colors. In the system described by
Baker, Szeliski, and Anandan(1998),thegenerativemodelillustratedinFigure8.14isgen-
eralized toaccount for real-worldrigidmotion scenes. Themotion of eachframe is described
using a3D camera model andthe motion of each layer is described using a3D plane equation
plus per-pixel residual depth offsets (the plane plus parallax representation (Section2.1.5)).
The initial layer estimationproceeds in a manner similar tothatofWangandAdelson(1994),
except that rigid planar motions (homographies) are used instead of affine motion models.
The final model refinement, however, jointly re-optimizes the layer pixel color and opacity
values L
l
and the 3D depth, plane, and motion parameters z
l
,n
l
,and P
t
by minimizing the
discrepancybetweenthe re-synthesizedandobservedmotion sequences (Baker,Szeliski,and
Anandan 1998).
Figure8.16 shows the final results obtained with this algorithm. As you can see, the
motionboundariesandlayer assignments aremuch crisper thanthose in Figure8.15. Because
of the per-pixel depth offsets, the individual layer color values are also sharper than those
obtained with affine or planar motion models. While the original system ofBaker,Szeliski,
and Anandan(1998)requiredaroughinitialassignmentofpixelstolayers, Torr, Szeliski,
andAnandan(2001)describeautomatedBayesiantechniquesforinitializingthissystemand
determining the optimal number of layers.
Layered motion estimation continues to be an active area of research. Representative pa-
pers in this area include (SawhneyandAyer1996;JojicandFrey2001;XiaoandShah2005;
Kumar, Torr, and Zisserman 2008; Thayananthan, Iwasaki, and Cipolla 2008; Schoenemann
and Cremers 2008).
418
Computer Vision: Algorithms and Applications (September 3, 2010 draft)
Figure 8.16 Layered stereo reconstruction (Baker,Szeliski, andAnandan1998)  c 1998
IEEE: (a) first and (b) last input images; (c) initial segmentation into six layers; (d) and
(e) the six layer sprites; (f) depth map for planar sprites (darker denotes closer); front layer
(g) before and (h) after residual depth estimation. Note that the colors for the flower garden
sequence are incorrect; the correct colors (yellow flowers) are shown in Figure8.15.
o
Of course, layers are not the only way to introduce segmentation into motion estimation.
Alarge number of algorithms have been developed that alternate between estimating optic
flow vectors and segmenting them into coherent regions (BlackandJepson1996;Ju,Black,
and Jepson 1996; Chang, Tekalp, and Sezan 1997; M´emin and P´erez 2002; Cremers and
Soatto 2005). Someofthemorerecenttechniquesrelyonfirstsegmentingtheinputcolor
images and then estimating per-segment motions that produce a coherent motion field while
also modeling occlusions (Zitnick,Kang,Uyttendaeleetal.2004;Zitnick,Jojic,andKang
2005; Stein, Hoiem, and Hebert 2007; Thayananthan, Iwasaki, and Cipolla 2008).
8.5.1 Application: Frame interpolation
Frame interpolation is another widely used application of motion estimation, often imple-
mented in the same circuitry as de-interlacing hardware requiredto match an incoming video
Documents you may be interested
Documents you may be interested