CHAPTER 11
Data replication with SyncIQ
This section contains the following topics:
u
SyncIQ backup and recovery overview.................................................................202
u
Replication policies and jobs..............................................................................202
u
Replication snapshots.........................................................................................205
u
Data failover and failback with SyncIQ.................................................................206
u
Recovery times and objectives for SyncIQ............................................................207
u
SyncIQ license functionality................................................................................208
u
Creating replication policies................................................................................208
u
Managing replication to remote clusters..............................................................218
u
Initiating data failover and failback with SyncIQ..................................................220
u
Performing disaster recovery for SmartLock directories........................................222
u
Managing replication policies.............................................................................224
u
Managing replication to the local cluster.............................................................228
u
Managing replication performance rules.............................................................230
u
Managing replication reports...............................................................................231
u
Managing failed replication jobs.........................................................................233
Data replication with SyncIQ
201
Bulk pdf to jpg converter online - Convert PDF to JPEG images in C#.net, ASP.NET MVC, WinForms, WPF project
How to convert PDF to JPEG using C#.NET PDF to JPEG conversion / converter library control SDK
changing pdf file to jpg; convert pdf to jpg
Bulk pdf to jpg converter online - VB.NET PDF Convert to Jpeg SDK: Convert PDF to JPEG images in vb.net, ASP.NET MVC, WinForms, WPF project
Online Tutorial for PDF to JPEG (JPG) Conversion in VB.NET Image Application
convert pdf pages to jpg; convert pdf image to jpg image
SyncIQ backup and recovery overview
OneFS enables you to replicate data from one Isilon cluster to another through the SyncIQ
software module. You must activate a SyncIQ license on both Isilon clusters before you
can replicate data between them.
You can replicate data at the directory level while optionally excluding specific files and
sub-directories from being replicated. SyncIQ creates and references snapshots to
replicate a consistent point-in-time image of a root directory. Metadata such as access
control lists (ACLs) and alternate data streams (ADS) are replicated along with data.
SyncIQ enables you to maintain a consistent backup copy of your data on another Isilon
cluster. SyncIQ offers automated failover and failback capabilities that enable you to
continue operations on another Isilon cluster if a primary cluster becomes unavailable.
Replication policies and jobs
Data replication is coordinated according to replication policies and jobs. Replication
policies specify what data is replicated, where the data is replicated to, and how often
the data is replicated. Replication jobs are the operations that replicate data from one
Isilon cluster to another. SyncIQ generates replication jobs according to replication
policies.
A replication policy specifies two clusters: the source and the target. The cluster on which
the replication policy exists is the source cluster. The cluster that data is being replicated
to is the target cluster. When a replication policy starts, SyncIQ generates a replication
job for the policy. When a replication job runs, files from a directory on the source cluster
are replicated to a directory on the target cluster; these directories are known as source
and target directories.
After the first replication job created by a replication policy finishes, the target directory
and all files contained in the target directory are set to a read-only state, and can be
modified only by other replication jobs belonging to the same replication policy. There is
no limit to the number of replication policies that can exist on a cluster.
Note
To prevent permissions errors, make sure that ACL policy settings are the same across
source and target clusters.
You can create two types of replication policies: synchronization policies and copy
policies. A synchronization policy maintains an exact replica of the source directory on
the target cluster. If a file or sub-directory is deleted from the source directory, the file or
directory is deleted from the target cluster when the policy is run again.
You can use synchronization policies to fail over and fail back data between source and
target clusters. When a source cluster becomes unavailable, you can fail over data on a
target cluster and make the data available to clients. When the source cluster becomes
available again, you can fail back the data to the source cluster.
A copy policy maintains recent versions of the files that are stored on the source cluster.
However, files that are deleted on the source cluster are not deleted from the target
cluster. Failback is not supported for copy policies. Copy policies are most commonly
used for archival purposes.
Copy policies enable you to remove files from the source cluster without losing those files
on the target cluster. Deleting files on the source cluster improves performance on the
source cluster while maintaining the deleted files on the target cluster. This can be useful
Data replication with SyncIQ
202
OneFS
7.1 
Web Administration Guide
C# Imaging - Planet Barcode Generation Guide
Draw, paint PLANET bar codes on images of jpeg/jpg, png, gif, and bmp formats. Creating single or bulk PLANET bar codes on documents such as PDF, Office Word
batch convert pdf to jpg; convert online pdf to jpg
if, for example, your source cluster is being used for production purposes and your target
cluster is being used only for archiving.
After creating a job for a replication policy, SyncIQ must wait until the job completes
before it can create another job for the policy. Any number of replication jobs can exist on
a cluster at a given time; however, only five replication jobs can run on a source cluster at
the same time. If more than five replication jobs exist on a cluster, the first five jobs run
while the others are queued to run. The number of replication jobs that a single target
cluster can support concurrently is dependent on the number of workers available on the
target cluster.
You can replicate any number of files and directories with a single replication job. You
can prevent a large replication job from overwhelming the system by limiting the amount
of cluster resources and network bandwidth that data synchronization is allowed to
consume. Because each node in a cluster is able to send and receive data, the speed at
which data is replicated increases for larger clusters.
Automated replication policies
You can manually start a replication policy at any time, but you can also configure
replication policies to start automatically based on source directory modifications or a
schedule.
You can configure a replication policy to run according to a schedule, so that you can
control when replication is performed. You can also configure a replication policy to start
when SyncIQ detects a modification to the source directory, so that SyncIQ maintains a
more current version of your data on the target cluster.
Scheduling a policy can be useful under the following conditions:
u
You want to replicate data when user activity is minimal
u
You can accurately predict when modifications will be made to the data
Configuring a policy to start when changes are made to the source directory can be useful
under the following conditions:
u
You want retain a consistent copy of your data at all times
u
You are expecting a large number of changes at unpredictable intervals
For policies that are configured to start whenever changes are made to the source
directory, SyncIQ checks the source directories every ten seconds. SyncIQ does not
account for excluded files or directories when detecting changes, so policies that exclude
files or directories from replication might be run unnecessarily. For example, assume that
newPolicy replicates /ifs/data/media but excludes /ifs/data/media/temp. If a
modification is made to /ifs/data/media/temp/file.txt, SyncIQ will run
newPolicy, but will not replicate /ifs/data/media/temp/file.txt.
If a policy is configured to start whenever changes are made to its source directory, and a
replication job fails, SyncIQ will wait one minute before attempting to run the policy
again. SyncIQ will increase this delay exponentially for each failure up to a maximum
delay of eight hours. You can override the delay by running the policy manually at any
time. After a job for the policy completes successfully, SyncIQ will resume checking the
source directory every ten seconds.
Source and target cluster association
SyncIQ associates a replication policy with a target cluster by marking the target cluster
when the job runs for the first time. Even if you modify the name or IP address of the
Data replication with SyncIQ
Automated replication policies
203
target cluster, the mark persists on the target cluster. When a replication policy is run,
SyncIQ checks the mark to ensure that data is being replicated to the correct location.
On the target cluster, you can manually break an association between a replication policy
and target directory. Breaking the association between a source and target cluster causes
the mark on the target cluster to be deleted. You might want to manually break a target
association if an association is obsolete. If you break the association of a policy, the
policy is disabled on the source cluster and you cannot run the policy. If you want to run
the disabled policy again, you must reset the replication policy.
Note
Breaking a policy association causes either a full or differential replication to occur the
next time you run the replication policy. During a full or differential replication, SyncIQ
creates a new association between the source and target clusters. Depending on the
amount of data being replicated, a full or differential replication can take a very long time
to complete.
Full and differential replication
If a replication policy encounters an issue that cannot be fixed (for example, if the
association was broken on the target cluster), you might need to reset the replication
policy. If you reset a replication policy, SyncIQ performs either a full or differential
replication the next time the policy is run. You can specify the type of replication that
SyncIQ performs.
During a full replication, SyncIQ transfers all data from the source cluster regardless of
what data exists on the target cluster. A full replication consumes large amounts of
network bandwidth and can take a very long time to complete. However, a full replication
is less strenuous on CPU usage than a differential replication.
During a differential replication, SyncIQ first checks whether a file already exists on the
target cluster and then transfers only data that does not already exist on the target
cluster. A differential replication consumes less network bandwidth than a full
replication; however, differential replications consume more CPU. Differential replication
can be much faster than a full replication if there is an adequate amount of available CPU
for the differential replication job to consume.
Controlling replication job resource consumption
You can create rules that limit the network traffic created and the rate at which files are
sent by replication jobs. You can also specify the number of workers that are spawned by
a replication policy to limit the amount of cluster resources that are consumed. Also, you
can restrict a replication policy to connect only to a specific storage pool.
You can create network-traffic rules that control the amount of network traffic generated
by replication jobs during specified time periods. These rules can be useful if, for
example, you want to limit the amount of network traffic created during other resource-
intensive operations.
You can create multiple network traffic rules to enforce different limitations at different
times. For example, you might allocate a small amount of network bandwidth during peak
business hours, but allow unlimited network bandwidth during non-peak hours.
When a replication job runs, OneFS generates workers on the source and target cluster.
Workers on the source cluster send data while workers on the target cluster write data.
OneFS generates no more than 40 workers for a replication job. You can modify the
maximum number of workers generated per node to control the amount of resources that
a replication job is allowed to consume. For example, you can increase the maximum
Data replication with SyncIQ
204
OneFS
7.1 
Web Administration Guide
number of workers per node to increase the speed at which data is replicated to the
target cluster.
You can also reduce resource consumption through file-operation rules that limit the rate
at which replication policies are allowed to send files. However, it is recommended that
you only create file-operation rules if the files you intend to replicate are predictably
similar in size and not especially large.
Replication reports
After a replication job completes, SyncIQ generates a report that contains detailed
information about the job, including how long the job ran, how much data was
transferred, and what errors occurred.
If a replication report is interrupted, SyncIQ might create a subreport about the progress
of the job so far. If the job is then restarted, SyncIQ creates another subreport about the
progress of the job until the job either completes or is interrupted again. SyncIQ creates a
subreport each time the job is interrupted until the job completes successfully. If multiple
subreports are created for a job, SyncIQ combines the information from the subreports
into a single report.
SyncIQ routinely deletes replication reports. You can specify the maximum number of
replication reports that SyncIQ retains and the length of time that SyncIQ retains
replication reports. If the maximum number of replication reports is exceeded on a
cluster, SyncIQ deletes the oldest report each time a new report is created.
You cannot customize the content of a replication report.
Note
If you delete a replication policy, SyncIQ automatically deletes any reports that were
generated for that policy.
Replication snapshots
SyncIQ generates snapshots to facilitate replication, failover, and failback between Isilon
clusters. Snapshots generated by SyncIQ can also be used for archival purposes on the
target cluster.
Source cluster snapshots
SyncIQ generates snapshots on the source cluster to ensure that a consistent point-in-
time image is replicated and that unaltered data is not sent to the target cluster.
Before running a replication job, SyncIQ creates a snapshot of the source directory.
SyncIQ then replicates data according to the snapshot rather than the current state of the
cluster, allowing users to modify source-directory files while ensuring that an exact point-
in-time image of the source directory is replicated.
For example, if a replication job of /ifs/data/dir/ starts at 1:00 PM and finishes at
1:20 PM, and /ifs/data/dir/file is modified at 1:10 PM, the modifications are not
reflected on the target cluster, even if /ifs/data/dir/file is not replicated until
1:15 PM.
You can replicate data according to a snapshot generated with the SnapshotIQ tool. If
you replicate data according to a SnapshotIQ snapshot, SyncIQ does not generate
another snapshot of the source directory. This method can be useful if you want to
replicate identical copies of data to multiple Isilon clusters.
Data replication with SyncIQ
Replication reports
205
SyncIQ generates source snapshots to ensure that replication jobs do not transfer
unmodified data. When a job is created for a replication policy, SyncIQ checks whether it
is the first job created for the policy. If it is not the first job created for the policy, SyncIQ
compares the snapshot generated for the earlier job with the snapshot generated for the
new job.
SyncIQ replicates only data that has changed since the last time a snapshot was
generated for the replication policy. When a replication job is completed, SyncIQ deletes
the previous source-cluster snapshot and retains the most recent snapshot until the next
job is run.
Target cluster snapshots
When a replication job is run, SyncIQ generates a snapshot on the target cluster to
facilitate failover operations. When the next replication job is created for the replication
policy, the job creates a new snapshot and deletes the old one.
If a SnapshotIQ license has been activated on the target cluster, you can configure a
replication policy to generate additional snapshots that remain on the target cluster even
as subsequent replication jobs run.
SyncIQ generates target snapshots to facilitate failover on the target cluster regardless of
whether a SnapshotIQ license has been configured on the target cluster. Failover
snapshots are generated when a replication job completes. SyncIQ retains only one
failover snapshot per replication policy, and deletes the old snapshot after the new
snapshot is created.
If a SnapshotIQ license has been activated on the target cluster, you can configure
SyncIQ to generate archival snapshots on the target cluster that are not automatically
deleted when subsequent replication jobs run. Archival snapshots contain the same data
as the snapshots that are generated for failover purposes. However, you can configure
how long archival snapshots are retained on the target cluster. You can access archival
snapshots the same way that you access other snapshots generated on a cluster.
Data failover and failback with SyncIQ
SyncIQ enables you to perform automated data failover and failback operations between
Isilon clusters. If a cluster is rendered unusable, you can fail over to another Isilon
cluster, enabling clients to access to access their data on the other cluster. If the
unusable cluster becomes accessible again, you can fail back to the original Isilon
cluster.
For the purposes of explaining failover and failback procedures, the cluster originally
accessed by clients is referred to as the primary cluster, and the cluster that client data is
originally replicated to is referred to as the secondary cluster. Failover is the process that
allows clients to modify data on a secondary cluster. Failback is the process that allows
clients to access data on the primary cluster again and begins to replicate data back to
the secondary cluster.
Failover and failback can be useful in disaster recovery procedures. For example, if a
primary cluster is damaged by a natural disaster, you can migrate clients to a secondary
cluster until the primary cluster is repaired and then migrate the clients back to the
primary cluster.
You can fail over and fail back to facilitate scheduled cluster maintenance. For example, if
you are upgrading the primary cluster, you might want to migrate clients to a secondary
cluster until the upgrade is complete and then migrate clients back to the primary cluster.
Data replication with SyncIQ
206
OneFS
7.1 
Web Administration Guide
Note
Data failover and failback is not supported for SmartLock directories.
Data failover
Data failover is the process of preparing data on a secondary cluster to be modified by
clients. After you fail over to a secondary cluster, you can redirect clients to modify their
data on the secondary cluster.
Before failover is performed, you must create and run a replication policy on the primary
cluster. You initiate the failover process on the secondary cluster. Failover is performed
per replication policy; to migrate data that is spread across multiple replication policies,
you must initiate failover for each replication policy.
You can use any replication policy to fail over. However, if the action of the replication
policy is set to copy, any file that was deleted on the primary cluster will be present on
the secondary cluster. When the client connects to the secondary cluster, all files that
were deleted on the primary cluster will be available to the client.
If you initiate failover for a replication policy while an associated replication job is
running, the failover operation completes but the replication job fails. Because data
might be in an inconsistent state, SyncIQ uses the snapshot generated by the last
successful replication job to revert data on the secondary cluster to the last recovery
point.
If a disaster occurs on the primary cluster, any modifications to data that were made after
the last successful replication job started are not reflected on the secondary cluster.
When a client connects to the secondary cluster, their data appears as it was when the
last successful replication job was started.
Data failback
Data failback is the process of restoring clusters to the roles they occupied before a
failover operation. After data failback is complete, the primary cluster hosts clients and
replicates data to the secondary cluster for backup.
The first step in the failback process is updating the primary cluster with all of the
modifications that were made to the data on the secondary cluster. The next step in the
failback process is preparing the primary cluster to be accessed by clients. The final step
in the failback process is resuming data replication from the primary to the secondary
cluster. At the end of the failback process, you can redirect users to resume accessing
their data on the primary cluster.
You can fail back data with any replication policy that meets all of the following criteria:
u
The source directory is not a SmartLock directory.
u
The policy has been failed over.
u
The policy is a synchronization policy.
u
The policy does not exclude any files or directories from replication.
Recovery times and objectives for SyncIQ
The Recovery Point Objective (RPO) and the Recovery Time Objective (RTO) are
measurements of the impacts that a disaster can have on business operations. You can
calculate your RPO and RTO for a disaster recovery with replication policies.
RPO is the maximum amount of time for which data is lost if a cluster suddenly becomes
unavailable. For an Isilon cluster, the RPO is the amount of time that has passed since
Data replication with SyncIQ
Data failover
207
the last completed replication job started. The RPO is never greater than the time it takes
for two consecutive replication jobs to run and complete.
If a disaster occurs while a replication job is running, the data on the secondary cluster is
reverted to the state it was in when the last replication job completed. For example,
consider an environment in which a replication policy is scheduled to run every three
hours, and replication jobs take two hours to complete. If a disaster occurs an hour after
a replication job begins, the RPO is four hours, because it has been four hours since a
completed job began replicating data.
RTO is the maximum amount of time required to make backup data available to clients
after a disaster. The RTO is always less than or approximately equal to the RPO,
depending on the rate at which replication jobs are created for a given policy.
If replication jobs run continuously, meaning that another replication job is created for
the policy before the previous replication job completes, the RTO is approximately equal
to the RPO. When the secondary cluster is failed over, the data on the cluster is reset to
the state it was in when the last job completed; resetting the data takes an amount of
time proportional to the time it took users to modify the data.
If replication jobs run on an interval, meaning that there is a period of time after a
replication job completes before the next replication job for the policy starts, the
relationship between RTO and RPO depends on whether a replication job is running when
the disaster occurs. If a job is in progress when a disaster occurs, the RTO is roughly
equal to the RPO. However, if a job is not running when a disaster occurs, the RTO is
negligible because the secondary cluster was not modified since the last replication job
ran, and the failover process is almost instantaneous.
SyncIQ license functionality
You can replicate data to another Isilon cluster only if you activate a SyncIQ license on
both the local cluster and the target cluster.
If a SyncIQ license becomes inactive, you cannot create, run, or manage replication
policies. Also, all previously created replication policies are disabled. Replication policies
that target the local cluster are also disabled. However, data that was previously
replicated to the local cluster is still available.
Creating replication policies
You can create replication policies that determine when data is replicated with SyncIQ.
Excluding directories in replication
You can exclude directories from being replicated by replication policies even if the
directories exist under the specified source directory.
Note
You cannot fail back replication policies that exclude directories.
By default, all files and directories under the source directory of a replication policy are
replicated to the target cluster. However, you can prevent directories under the source
directory from being replicated.
If you specify a directory to exclude, files and directories under the excluded directory are
not replicated to the target cluster. If you specify a directory to include, only the files and
Data replication with SyncIQ
208
OneFS
7.1 
Web Administration Guide
directories under the included directory are replicated to the target cluster; any
directories that are not contained in an included directory are excluded.
If you both include and exclude directories, any excluded directories must be contained
in one of the included directories; otherwise, the excluded-directory setting has no effect.
For example, consider a policy with the following settings:
u
The root directory is /ifs/data
u
The included directories are /ifs/data/media/music and /ifs/data/
media/movies
u
The excluded directories are /ifs/data/archive and /ifs/data/media/
music/working
In this example, the setting that excludes the /ifs/data/archive directory has no
effect because the /ifs/data/archive directory is not under either of the included
directories. The /ifs/data/archive directory is not replicated regardless of whether
the directory is explicitly excluded. However, the setting that excludes the /ifs/data/
media/music/working directory does have an effect, because the directory would be
replicated if the setting was not specified.
In addition, if you exclude a directory that contains the source directory, the exclude-
directory setting has no effect. For example, if the root directory of a policy is /ifs/
data, explicitly excluding the /ifs directory does not prevent /ifs/data from being
replicated.
Any directories that you explicitly include or exclude must be contained in or under the
specified root directory. For example, consider a policy in which the specified root
directory is /ifs/data. In this example, you could include both the /ifs/data/
media and the /ifs/data/users/ directories because they are under /ifs/data.
Excluding directories from a synchronization policy does not cause the directories to be
deleted on the target cluster. For example, consider a replication policy that
synchronizes /ifs/data on the source cluster to /ifs/data on the target cluster. If
the policy excludes /ifs/data/media from replication, and /ifs/data/media/
file exists on the target cluster, running the policy does not cause /ifs/data/
media/file to be deleted from the target cluster.
Excluding files in replication
If you do not want specific files to be replicated by a replication policy, you can exclude
them from the replication process through file-matching criteria statements. You can
configure file-matching criteria statements during the replication-policy creation process.
Note
You cannot fail back replication policies that exclude files.
A file-criteria statement can include one or more elements. Each file-criteria element
contains a file attribute, a comparison operator, and a comparison value. You can
combine multiple criteria elements in a criteria statement with Boolean "AND" and "OR"
operators. You can configure any number of file-criteria definitions.
Configuring file-criteria statements can cause the associated jobs to run slowly. It is
recommended that you specify file-criteria statements in a replication policy only if
necessary.
Modifying a file-criteria statement will cause a full replication to occur the next time that a
replication policy is started. Depending on the amount of data being replicated, a full
replication can take a very long time to complete.
Data replication with SyncIQ
Excluding files in replication
209
For synchronization policies, if you modify the comparison operators or comparison
values of a file attribute, and a file no longer matches the specified file-matching criteria,
the file is deleted from the target the next time the job is run. This rule does not apply to
copy policies.
File criteria options
You can configure a replication policy to exclude files that meet or do not meet specific
criteria.
You can specify file criteria based on the following file attributes:
Date created
Includes or excludes files based on when the file was created. This option is
available for copy policies only.
You can specify a relative date and time, such as "two weeks ago", or specific date
and time, such as "January 1, 2012." Time settings are based on a 24-hour clock.
Date accessed
Includes or excludes files based on when the file was last accessed. This option is
available for copy policies only, and only if the global access-time-tracking option of
the cluster is enabled.
You can specify a relative date and time, such as "two weeks ago", or specific date
and time, such as "January 1, 2012." Time settings are based on a 24-hour clock.
Date modified
Includes or excludes files based on when the file was last modified. This option is
available for copy policies only.
You can specify a relative date and time, such as "two weeks ago", or specific date
and time, such as "January 1, 2012." Time settings are based on a 24-hour clock.
Data replication with SyncIQ
210
OneFS
7.1 
Web Administration Guide
Documents you may be interested
Documents you may be interested