Chapter 25
Working with Change Data 
Capture
About the Change Data Capture Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 547
Change Data Capture Defined . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
Prerequisites for Change Data Capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548
About CDC Changed Data Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
About CDC Control Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
Capture Changed Data from Oracle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550
Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550
Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550
Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 551
About the Change Data Capture Transformations
Change Data Capture Defined
Change data capture (CDC) is a process that shortens the time required to load data from 
a relational database. The process is efficient because the source is a changed data table, 
rather than the entire base table.
The CDC transformations in SAS Data Integration Studio are used to load dimension 
tables in star schemas, as part of an implementation of slowly changing dimensions. For 
more information, see “About Slowly Changing Dimensions” on page 512.
The following diagram illustrates a job that loads changed data into a dimension table. 
The temporary target table that is generated by the CDC transformation is the source for 
the SCD Type 2 Loader transformation.
547
Convert pdf to jpg batch - Convert PDF to JPEG images in C#.net, ASP.NET MVC, WinForms, WPF project
How to convert PDF to JPEG using C#.NET PDF to JPEG conversion / converter library control SDK
batch convert pdf to jpg online; .pdf to .jpg online
Convert pdf to jpg batch - VB.NET PDF Convert to Jpeg SDK: Convert PDF to JPEG images in vb.net, ASP.NET MVC, WinForms, WPF project
Online Tutorial for PDF to JPEG (JPG) Conversion in VB.NET Image Application
conversion pdf to jpg; .net convert pdf to jpg
Figure 25.1 A CDC Job that Implements Slowly Changing Dimensions
SAS Data Integration Studio provides four CDC transformations: Oracle CDC, DB2 
CDC, Attunity CDC, and General CDC. The Oracle, DB2, and Attunity transformations 
work directly with changed data tables that are in native database format. The General 
CDC transformation loads change data from other vendors or from your own custom 
applications.
The CDC transformations are available in the Transformations tree under the heading 
Change Data Capture.
The CDC transformations require you to install and configure change data capture 
software on your relational database, and then use that software to generate changed data 
tables. For details, see the topic that describes the prerequisites for each of the CDC 
transformations.
All of the CDC transformations require you to supply a source changed data table. 
Additionally, the CDC transformations can be configured to read a control table. The 
primary purpose of the control table is to allow only one write to each record in the 
target. For information about control tables, see About CDC Control Tables on page 
549
Prerequisites for Change Data Capture
The CDC transformations require the following software:
548
Chapter 25 5 • • Working with Change Data Capture
JPEG to PDF Converter | Convert JPEG to PDF, Convert PDF to JPEG
Features and Benefits. Powerful image converter to convert images of JPG, JPEG formats to PDF files; Support a batch conversion of JPG to PDF with amazingly
convert pdf into jpg; convert multiple pdf to jpg online
JPG to GIF Converter | Convert JPEG to GIF, Convert GIF to JPG
speed JPEG to GIF Converter, faster than other JPG Converters; output files with high good quality; Batch process mode support; let you convert a hundred of
convert multiple page pdf to jpg; changing pdf file to jpg
Attunity CDC
Attunity is a data integration product, in which the Attunity Stream software enables 
connectivity between databases and across operating environments. The Attunity 
CDC transformation has been validated on Attunity AIS 5.0 with Attunity Stream. 
To use the Attunity software you need to license SAS/ACCESS Interface to ODBC.
Oracle CDC
The Oracle CDC transformation has been validated on Oracle 10G with 
asynchronous CDC. The transformation requires that you license SAS/ACCESS to 
Oracle. Note that Oracle CDC supports Asynchronous Autolog Publishing.
DB2 CDC
The DB2 CDC transformation has been validated on DB2/UDB, release 8.1, fixpak 
3. The transformation requires that you license SAS/ACCESS to DB2.
General CDC
The General CDC transformation has no prerequisites.
About CDC Changed Data Tables
In jobs that include changed data capture transformations, the source is a table that 
records changes to a database. Each row in the source changed data table records an 
insert, update, or delete action. Each row includes the data that was involved in the 
action.
The source changed data tables are generally created in native database format, using 
technologies that are provided by the database. The CDC transformations require certain 
columns in the source changed data tables. The names and order of the columns can 
vary. To identify the columns to the CDC transformations, you specify option values in 
properties window.
The CDC transformations generate target data that is suitable for loading into star 
schemas using the SCD Type 2 Loader transformation.
About CDC Control Tables
In jobs that include a change data capture transformation, you can use a control table to 
prevent the update of target rows that were processed in an earlier run. When you run a 
job that uses a control table, the CDC transformation first finds in the source the most 
recent insert, update, or delete action for a given unique identifier (business key). The 
most recent source row is then compared to the prior actions that appear in the control 
table. If the unique identifiers match, and if the rest of the rows are identical, then the 
source row is a duplicate and it is not added to the target.
Control tables are optional, so you need to use one only if the source changed data table 
contains information that was already loaded into the target.
The control table can be in SAS format or in native database format.
Column definitions in the control table are similar to those that are required in the source 
changed data tables.
You can use the New Table Wizard to create control tables.
About CDC Control Tables
549
JPG to DICOM Converter | Convert JPEG to DICOM, Convert DICOM to
Select "Convert to DICOM"; Select "Start" to start JPEG to DICOM Converter first; Load JPG images from Select "Batch Conversion" & Choose "DICOM" in "Output
convert pdf file to jpg on; convert pdf document to jpg
JPG to JBIG2 Converter | Convert JPEG to JBIG2, Convert JBIG2 to
Ability to preserve original images without any affecting; Ability to convert image swiftly between JPG & JBIG2 in single and batch mode;
pdf to jpeg; advanced pdf to jpg converter
In control tables, the names and order of the following columns can vary, because you 
identify those columns in the properties window of the CDC transformation:
Application Name
identifies the application that compares the source change data records to the records 
in the target to test for previous updates. A typical value for this column is SAS 
Data Integration Studio. The column type is character and the length is 64.
Table Name
identifies the source changed data table. The column type is character and the length 
is 64.
Context
provides the unique identifiers in the target that are not to be overwritten. The 
context is a character value with length of 32 for DB2, Attunity, and General. Oracle 
context is numeric with a length of 8.
Rows Processed
records the number of source changed data records that were processed the last time 
that the job was run. This value is updated at the end of the job run, as an output 
from the CDC transformation. The type of this column is numeric and the length is 8.
Timestamp
identifies the time and date when the job was run, in DATETIME16.6 format. The 
type of this column is numeric and the length is 8.
Capture Changed Data from Oracle
Problem
You need to load changed data from an Oracle database, with the eventual purpose of 
updating a dimension table in a star schema.
Solution
Create and run a job that contains an Oracle CDC transformation. The source table 
contains changed data from an Oracle database. A control table is used to prevent the 
updates of target rows that were updated in a previous run.
The steps in the following Tasks section assume that the Oracle base table was 
previously loaded into the dimension table in a separate job. The example job in the task 
section also assumes that a third job loads the CDC target table into the dimension table 
using the SCD Type 2 Loader. The SCD Type 2 Loader was not included in this 
example job as a matter of simplicity. To see an example that uses the SCD Type 2 
Loader, refer to “Loading a Dimension Table with Type 1 and 2 Updates” on page 525.
The source changed data table from Oracle contains all of the inserts, updates, and 
deletes that have occurred since the last time the dimension table was loaded.
To accommodate database deletes, the Oracle CDC transformation calculates new end 
dates for the corresponding rows in the dimension table. (The dimension table retains a 
history of data changes by closing-out records, rather than deleting them.)
The sample job includes the following tasks:
• “Prerequisites” on page 551
550
Chapter 25 5 • • Working with Change Data Capture
JPG to Word Converter | Convert JPEG to Word, Convert Word to JPG
Select "Convert to Word"; Select "Start" to start conversion to Word Converter first; Load JPG images from Select "Batch Conversion" & Choose "Word" in "Output
convert .pdf to .jpg; convert pdf file to jpg file
JPG to JPEG2000 Converter | Convert JPEG to JPEG2000, Convert
Select "Convert to JPEG2000"; Select "Start" to start to JPEG2000 Converter first; ad JPG images from Select "Batch Conversion" & Choose "JPEG2000" in "Output
change file from pdf to jpg; pdf to jpg converter
• “Create and Populate the Job” on page 551
• “Configure Row Processing” on page 552
• “Configure the Use of the Control Table” on page 553
• “Run the Job, Update the Metadata, and View the Output” on page 554
Tasks
Prerequisites
Perform the following steps to prepare your Oracle source changed data table and 
control table:
1. Fulfill the prerequisites for changed data capture, as defined in “Prerequisites for 
Change Data Capture” on page 548.
2. Use Oracle tools to create the source changed data table. Typical implementations 
use database triggers or log mining. Typical tools are the Oracle Data Integrator or 
the Oracle Log Miner.
3. Specify a library for the Oracle source table. For more information, see the SAS 
Intelligence Platform: Data Administration Guide.
4. To create the control table, select New 
ð
Table.
5. In the New Table Wizard, create a new table without columns. Specify a table name 
and a library, and then click Next until you can select Finish. The Oracle CDC 
transformation provides column definitions when you run the job.
Create and Populate the Job
Perform the following steps to create and populate a job that loads data by using an 
Oracle changed data table and control table:
1. Create an empty SAS Data Integration Studio job. 
2. In the Transformations tree, in the Change Data Capture folder, drag the Oracle 
CDC transformation into the empty job in the Diagram tab. 
3. Select and drag the source changed data table from its folder and drop it before the 
Oracle CDC transformation on the Diagram tab. In the example job, the source table 
is named Oracle Changed Data US Males.
4. Drag the cursor from the source table to the input port of the Oracle CDC 
transformation. This action connects the source to the transformation.
5. Select and drag the control table from its folder and drop it before the Oracle CDC 
transformation in the Diagram tab. In this example job, the control table is named 
CDC Control Table US Males.
6. Drag the cursor from the control table to the input port of the Oracle CDC 
transformation. This action connects the control table to the transformation. Note that 
the CDC transformation reads the control table without loading any of its data into 
the target.
7. Because you want to store the output of the transformation in a permanent target 
table, right-click the temporary work table that is attached to the transformation and 
select Replace. Then, use the Table Selector window to select the target table for the 
job. The target table must be registered in SAS Data Integration Studio. (For more 
information about temporary work tables, see “Working with Default Temporary 
Output Tables” on page 146.)
Capture Changed Data from Oracle
551
JPG to PNG Converter | Convert JPEG to PNG, Convert PNG to JPG
Select "Convert to PNG"; Select "Start" to start conversion to PNG Converter first; Load JPG images from Select "Batch Conversion" & Choose "PNG" in "Output
batch pdf to jpg online; convert pdf file into jpg format
VB.NET Image: PDF to Image Converter, Convert Batch PDF Pages to
and non-professional end users to convert PDF and PDF/A documents to many image formats that are used commonly in daily life (like tiff, jpg, png, bitmap, jpeg
convert pdf to jpg 100 dpi; convert pdf to jpeg
8. Drag the target table from its folder and drop it after the Oracle CDC transformation 
on the Diagram tab. In this example, the name of the target is US Males SCD-
Ready.
9. Drag the cursor from an output port of the Oracle CDC transformation to the target 
table. This action connects the transformation to the target. The following example 
shows the sample process flow.
Display 25.1 Sample Oracle CDC Process Flow Diagram
Configure Row Processing
Perform the following steps to specify how rows from the source changed data table are 
processed for application to the target.
1. Open the properties window of the Oracle CDC transformation and select the 
Options tab.
2. For the option Process Rows by Action, select the value Process Rows by 
Action. Selecting this option indicates that delete processing instructions in the 
source changed data table are to be processed by updating an end date/time column 
in the target.
3. For the option End Date Calculation, accept the default value, which is used to 
calculate the date/time value that is added to the target to close-out deleted rows. 
4. For the option Select the End Date Column, click the Browse button and select the 
numeric column that contains end date/time values. The following display depicts 
the completed row processing options.
552
Chapter 25 5 • • Working with Change Data Capture
Display 25.2 Row Processing Options
Configure the Use of the Control Table
Perform the following steps to configure the Oracle CDC transformation to use the 
control table.
1. On the Options tab, click Control Table Settings in the left panel.
2. For the option Use a control table in the CDC process, select the value Use a 
control table.
3. For the option Specify the option name, accept the default value SAS Data 
Integration Studio. You would enter a different application name if that 
application was to supply input data rows based on the contents of the source 
changed data table and the control table.
4. For the option Override the table name used in the control table, enter the name 
of the table that is used to filter the control table. In this example, enter the table 
name CDC Control Table US Males. You need to enter a value for this option 
only to use a different table when writing to and reading from the control table. The 
following display depicts the completed control table settings.
Capture Changed Data from Oracle
553
Display 25.3 Completed Control Table Options
5. Click OK to save the option specifications and close the properties window.
Run the Job, Update the Metadata, and View the Output
Perform the following steps to run the job and view the output:
1. Right-click in the job and select Run. SAS Data Integration Studio generates code 
for the job and submits the code to the SAS Application Server for execution.
2. If error messages are displayed on the Status tab, read and respond to the messages 
as needed.
3. To store the metadata for the control table columns that were created by the Oracle 
CDC transformation, right-click the control table on the Diagram tab and select 
Update Metadata. This step and the next are necessary only when you create a 
control table without column definitions, and only after the first time you run the job.
4. To prevent the columns in the control table from appearing in the target, right-click 
the Diagram tab and ensure that a check mark does not appear next to 
Automatically Propagate Columns.
5. After the completion of the job, right-click the target and select Open. The following 
display shows the target table data for the sample job.
554
Chapter 25 5 • • Working with Change Data Capture
Display 25.4 CDC Columns in the Sample Target Table
Capture Changed Data from Oracle
555
556
Chapter 25 5 • • Working with Change Data Capture
Documents you may be interested
Documents you may be interested