Performance    
31
Chapter 3  Network Best 
Practices 
Network best practices advise on the software and hardware configurations of the iSCSI and Fibre Channel 
network infrastructure that attaches hosts to storage systems and their effect overall storage system 
performance and availability.   
A recommended introduction to storage system networks and networking performance considerations can 
be found in the EMC Networked Storage Topology Guide available on Powerlink.  
Performance 
iSCSI LAN 
Avoiding iSCSI network congestion is the primary consideration for iSCSI LAN performance.  It is 
important to take network latency and the potential for port oversubscription into account when configuring 
your network. Network congestion is usually the result of poor network configuration or improper network 
settings.  Network settings include IP overhead and protocol configuration of the network‘s elements.  The 
following recommendations should be implemented as a minimum to ensure the best performance. 
Network latency 
Both bandwidth and throughput rates are subject to network conditions and latency. 
It is common for network contentions, routing inefficiency, and errors in VLAN configuration to adversely 
affect iSCSI performance. It is important to profile and periodically monitor the network carrying iSCSI 
traffic to ensure the best iSCSI connectivity and SAN performance. In general, simple network topologies 
offer the best performance. 
Latency can contribute substantially to iSCSI system performance.  As the distance from the host to the 
CLARiiON increases, a latency of about 1 millisecond per 200 kilometers (125 miles) is introduced.  This 
latency has a noticeable effect on WANs supporting sequential I/O workloads.  For example, a 40 MB/s 64 
KB single stream would average 25 MB/s over a 200 km distance.  EMC recommends increasing the 
number of streams to maintain the highest bandwidth with these long-distance, sequential I/O workloads. 
Network separation 
It is important to separate the storage processor management ports into separate subnets from the iSCSI 
network ports.  Also, try to separate the CLARiiON‘s storage processors onto separate 
subnet addresses.  
Do this by placing SP A‘s ports on one su
bnet address 
and SP B‘s ports on a different subnet
address.  
VLANs are a convenient way to configure the network this way. (See 
the ―
VLANs
‖ sections 
next.)  
Convert pdf to powerpoint using - software application project:C# Create PDF from PowerPoint Library to convert pptx, ppt to PDF in C#.net, ASP.NET MVC, WinForms, WPF
Online C# Tutorial for Creating PDF from Microsoft PowerPoint Presentation
www.rasteredge.com
Convert pdf to powerpoint using - software application project:VB.NET Create PDF from PowerPoint Library to convert pptx, ppt to PDF in vb.net, ASP.NET MVC, WinForms, WPF
VB.NET Tutorial for Export PDF file from Microsoft Office PowerPoint
www.rasteredge.com
Network Best Practices 
32
EMC CLARiiON Best Practices for Performance and Availability: Release 30.0 Firmware Update Applied Best Practices  
Note that the private 192.168.x.x and 128.221.x.x subnets must not be used for iSCSI or CLARiiON 
management port traffic.  These subnets are used internally by the CLARiiON.  If necessary use the 10.x.x.x 
or 172.16.0.0 through 172.31.255.255 private networks in their stead. 
Bandwidth-balanced configuration  
A balanced bandwidth iSCSI configuration is w
hen the host iSCSI initiator‘s bandwidth is greater than or 
equal to the bandwidth of its connected storage system‘s ports.  Generally, configure each NIC or HBA port 
to only two storage system ports (one per SP).  One storage system port should be configured as active, and 
the other to standby.  This avoids oversubscribing a host‘s ports.
Network settings 
Manually override auto-negotiation on the host NIC or HBA and network switches for the following 
settings. These settings improve flow control on the iSCSI network: 
Jumbo frames 
Pause frames 
Delayed ACK 
Jumbo frames 
On a standard Ethernet network the frame size is 1500 bytes.  Jumbo frames allow packets configurable up 
to 9,000 bytes in length.  Using jumbo frames can improve iSCSI network throughput by up to 50 percent.  
When supported by the network, we recommend using jumbo frames to increase bandwidth. 
Jumbo frames can contain more iSCSI commands and a larger iSCSI payload than normal frames without 
fragmenting (or less fragmenting depending on the payload size).  If using jumbo frames, all switches and 
routers in the paths to the storage system must support and be capable of handling and configured for jumbo 
frames.  For example, if the host and the CLARiiON‘s iSCSI ports can handle 4,470
-byte frames, but an 
intervening switch can only handle 4,000 bytes, then the host and CLARiiON‘s ports should be set to 4,000 
or greater bytes. (The CX4 series supports 4,000, 4,080, or 4,470 MTUs.) 
Pause frames 
Pause frames are an optional flow-control feature that permits the host to temporarily stop all traffic from 
the storage system. Pause frames are intended to enable the host‘s NIC or HBA, and the switch, to control 
the transmit rate.  Due to the characteristic flow of iSCSI traffic, pause frames should be disabled on the 
iSCSI network because they may cause the delay of traffic unrelated to specific host port to storage system 
links. 
Delayed ACK 
On MS Windows-, Linux-, and ESX-based hosts, Delayed ACK delays an acknowledgement for a received 
packet.  Delayed ACK should be disabled. 
When enabled, an acknowledgment is delayed up to 0.5 seconds or until two packets are received.  Storage 
applications may time out during this delay.  A host sending an acknowledgment to a storage system after 
the maximum of 0.5 seconds is possible on a congested network. Because there was no communication 
between the host computer and the storage system during that 0.5 seconds, the host computer issues Inquiry 
commands to the storage system for all LUNs based on the delayed ACK.  During periods of congestion and 
software application project:How to C#: Overview of Using XDoc.PowerPoint
How to C#: Overview of Using XDoc.PowerPoint. your application with advanced PowerPoint document manipulating SDK to load, create, edit, convert, extract, and
www.rasteredge.com
software application project:C# PDF Convert to Jpeg SDK: Convert PDF to JPEG images in C#.net
Convert PDF to JPEG Using C#.NET. Add necessary references: RasterEdge.Imaging.Basic. dll. RasterEdge.Imaging.Basic.Codec.dll. RasterEdge.Imaging.Drawing.dll.
www.rasteredge.com
Network Best Practices 
Availability     
33
recovery of dropped packets, delayed ACK can slow down the recovery considerably, resulting in further 
performance degradation. 
General iSCSI usage notes 
The following general recommendations apply to iSCSI usage: 
iSCSI is not recommended with applications having the highest bandwidth requirements, including 
high-performance remote replication. 
When possible, use a dedicated LAN for iSCSI storage traffic, or segregate storage traffic to its own 
virtual LAN (VLAN). 
Use the most recent version of the iSCSI initiator supported by EMC, and the latest version NIC driver 
for the host supported by EMC; both are available on the EMC E-Lab Interoperability Matrix. 
Configure iSCSI 1 Gb/s (GigE) and 10 Gb/s (10 GigE) ports to Ethernet full duplex on all network 
devices in the initiator-to-target path. 
Use CAT6 cabling on the initiator-to-target path whenever possible to ensure consistent behavior at 
GigE speeds. 
Use jumbo frames and TCP flow control for long-distance transfers or with networks containing low-
powered servers. 
Use a ratio of 1:1 SP iSCSI ports to NICs on GigE SANs for workloads with high read bandwidths.  10 
GigE SANs can use higher ratios of iSCSI ports to NICs. 
Ensure the Ethernet connection to the host is equal to or exceeds the bandwidth rating of the host NIC. 
Ensure the Ethernet connection to the CLARiiON is equal to or exceeds the bandwidth of the 
CLARiiON‘s iSCSI FlexPort. 
Availability  
FC SAN 
Dual or multiple paths between the hosts and the storage system are required.  This includes redundant 
HBAs, a robust fabric implementation, strictly following management policies and procedures, and dual 
attachment to storage systems.  Path management software such as PowerPath and dynamic multipathing 
software on hosts (to enable failover to alternate paths and load balancing) are recommended. 
For device fan-in, connect low-bandwidth devices such as tape, and low utilized and older, slower hosts to 
edge switches or director blades.   
iSCSI LAN 
Redundancy and configuration 
We recommend Dual Ethernet networks to ensure redundant communications between hosts and storage 
systems. 
Separation 
We recommend that you use a dedicated storage network for iSCSI traffic.  If you do not use a dedicated 
storage network, iSCSI traffic should be either separated onto a separate physical LAN, separate LAN 
segments, or a virtual LAN (VLAN).  
software application project:VB.NET PDF Convert to HTML SDK: Convert PDF to html files in vb.
converter library control is a 100% clean .NET document image solution, which is designed to help .NET developers convert PDF to HTML webpage using simple VB
www.rasteredge.com
software application project:VB.NET PDF Convert to Tiff SDK: Convert PDF to tiff images in vb.
VB.NET PDF - Convert PDF to TIFF Using VB in VB.NET. using RasterEdge.Imaging.Basic; using RasterEdge.XDoc.PDF; Demo Code to Convert PDF to Tiff Using VB.NET.
www.rasteredge.com
Network Best Practices 
34
EMC CLARiiON Best Practices for Performance and Availability: Release 30.0 Firmware Update Applied Best Practices  
With VLANs, you can create multiple virtual LANs, as opposed to multiple physical LANs in your Ethernet 
infrastructure. This allows more than one network to share the same physical network while maintaining a 
logical separation of the information.  FLARE release 29.0 and later support VLAN tagging (IEEE 802.1q) 
on 1 Gb/s and 10 Gb/s iSCSI interfaces.  Ethernet switch-based VLANs are supported by all FLARE 
revisions. 
VLAN tagging with the compatible network switch support isolates iSCSI traffic from general LAN traffic; 
this improves SAN performance by reducing the scope of the broadcast domains.  For more information 
about VLANs and VLAN tagging, please refer to the VLAN Tagging and Routing on EMC CLARiiON white 
paper available on Powerlink. 
The following table shows the number of VLANs that may be active per iSCSI port. 
Table 2  Maximum VLANs per iSCSI port 
iSCSI FlexPort speed 
Max. 
VLANs 
1 Gb/s 
10 Gb/s 
software application project:VB.NET PDF Convert to Jpeg SDK: Convert PDF to JPEG images in vb.
VB.NET How-to, VB.NET PDF, VB.NET Word, VB.NET Excel, VB.NET PowerPoint, VB.NET Tiff, VB.NET Imaging, VB.NET OCR, VB VB.NET PDF - Convert PDF to JPEG Using VB.
www.rasteredge.com
software application project:C# PDF Convert to HTML SDK: Convert PDF to html files in C#.net
converter library control is a 100% clean .NET document image solution, which is designed to help .NET developers convert PDF to HTML webpage using simple C#
www.rasteredge.com
Performance    
35
Chapter 4  Storage System Best 
Practices 
Storage system best practices advise on the software and hardware configurations of the CLARiiON CX4 
series and AX4 series storage systems, and affect overall storage system performance and availability. 
A recommended introduction to the storage system can be found in the white paper Introduction to the EMC 
CLARiiON CX4 Series Featuring UltraFlex Technology
Performance  
Front-end ports 
All CX4 series models come with both iSCSI and FC front-end ports.  Front-end ports are located on 
UltraFlex I/O modules.  Each module has two or more ports of the same type, either iSCSI or FC. 
iSCSI ports  
All CX4 models offer GigE iSCSI ports running at a maximum of 1 Gb/s as part of their standard 
configuration. To maximize IOPS in iSCSI communications, connect 10 Gb/s iSCSI ports to only 10 Gb/s 
Ethernet networks.  10 GigE iSCSI ports are available as a CLARiiON upgrade.  10 GigE iSCSI ports are 
supported by FLARE 29.0 and later. (For more information, see the ―
Network Best Practices
‖ chapter.)  
GigE iSCSI ports accept copper cabling; we recommend CAT6. 10 GigE iSCSI ports accept optical cabling; 
for full speed operations we recommend that you use Shortwave Optical OM2 at  50m or OM3 for <380m.  
iSCSI front-end ports do not auto-negotiate downward to all Ethernet speeds.  CLARiiON iSCSI ports do 
not support 10 Mb/s connections.  If the Ethernet storage network infrastructure is designed with 100 Mb/s 
switches and components, the GigE ports will run at 100 Mb/s.  The 10 GigE iSCSI ports will not auto-
negotiate downward: they will only run at 10 Gb/s.  Check with the ESM for supported Ethernet speeds and 
configurations. 
Storage systems can be connected to iSCSI ports on one host and Fibre Channel hosts on another host at the 
same time.  However, a storage system cannot be connected to the Fibre Channel and iSCSI data ports of a 
single host. In addition, a server cannot be connected to the same storage system through both NICs and 
iSCSI HBAs.   
iSCSI processing requires more SP CPU resources than Fibre Channel processing.  Workloads made up of 
small I/O requests with a high cache hit rate can cause high SP CPU utilization.   This is particularly true 
with 10 GigE iSCSI.  EMC recommends a Fibre Channel connection for workloads with the highest 
transaction rate. 
Each CX4 series model has at least two GigE UltraFlex iSCSI I/O controller modules, one per SP.  A single 
UltraFlex iSCSI controller drives a pair of iSCSI ports.  The two ports share the controlle
r‘s total bandwidth 
software application project:C# PDF Convert to Word SDK: Convert PDF to Word library in C#.net
Using this PDF to Word converting library control, .NET developers can quickly convert PDF document to Word file using Visual C# code.
www.rasteredge.com
software application project:C# PDF Convert to SVG SDK: Convert PDF to SVG files in C#.net, ASP
C#.NET PDF SDK - Convert PDF to SVG in C#.NET. C# Programming Language to Render & Convert PDF to SVG Using C#.NET XDoc.PDF Converter Control.
www.rasteredge.com
Storage System Best Practices 
36
EMC CLARiiON Best Practices for Performance and Availability: Release 30.0 Firmware Update Applied Best Practices  
and its IOPS.  The write bandwidth is not shared equally between the ports when both ports are used at the 
same time.  The following table shows the IOPS and bandwidth available for iSCSI ports. 
Table 3  iSCSI port bandwidth and IOPS 
GigE iSCSI 
Both 
ports 
Single 
port 
Bandwidth (MB/s) 
Reads 
220 
110 
Writes 
158 
110 
IOPS  
Reads 
30,000  15,000 
Writes 
15,000  11,000 
GigE iSCSI 
The controller can drive both ports at once to full Gb/s bandwidth for reads. Writes are different.  When 
both ports are active, available per-port write bandwidth is not double the single port rate.   
When processing iSCSI I/O sizes larger than 64k, there may be limits imposed by either host and network, 
or storage system variations on implementation. Block size and workload determine iSCSI performance.  
For large block and sequential workloads on 1 Gb/s networks, bandwidth is limited by the ports‘ capability 
of about 100 MB/s per iSCSI port.    For small block random workloads with a 2:1 read/write ratio on RAID 
5 with 240 drives (CX4-240 and CX4-480, two iSCSI ports per SP), iSCSI ports scale linearly to about 
20,000 front-end IOPS.  Throughput of iSCSI closely follows FC performance in this range.  A CX4-120 
with 120 drives is located midway in this range.  The CX4-960 with three iSCSI ports per SP scales linearly 
to about 30,000 front-end IOPS provided a drive bottleneck is avoided with enough drives.   To achieve 
higher rates, EMC recommends using FC connections.  Use Fibre Channel when you expect high bandwidth 
workloads. 
10 GigE iSCSI 
The 10 Gb/s iSCSI ports offer more IOPS than the 1 Gb/s ports.  In addition they support a greater number 
of VLAN ports. These ports are useful if you want to have many iSCSI hosts share a single port.  For high 
bandwidth workloads, we recommend that you use 8 Gb/s Fibre Channel front-end ports. 
Additional ports  
Additional iSCSI ports are configurable with all models.  The additional iSCSI ports reduce the number of 
Fibre Channel ports configurable. 
Storage System Best Practices 
Performance     
37
Table 4  CX4 maximum iSCSI ports per SP 
Maximum 
iSCSI Ports 
CX4-
120 
CX4-
240 
CX4-
480 
CX4-
960 
GigE (only) 
12 
12 
16 
GigE and 10 
GigE 
6 or 8 
10 GigE (only) 
Usage 
For best performance distribute the load equally across all front-end ports.  For the production workload, the 
front-
end bandwidth of the storage system‘s ports should ideally be about the same for both SPs.  Splitting 
the workload‘s bandwidth needs between both SPs lowers SP utilization.  This results in lower 
response 
time.  Balancing the bandwidth may require trespassing LUNs between SPs or adding additional front-end 
connections to a host.  For high availability, hosts should always have at least one front-end port connection 
to each SP on the storage system.   
Adding additional ports helps to achieve the full storage system bandwidth performance in a wider range of 
configurations.  They do not increase previous SP maximums (Table 8 on page 40 has more information), 
since the memory bandwidth remains the same. 
For small-block random workloads, extra buses and ports make little performance difference. 
FC ports 
All CX4 models offer Fibre Channel ports running at a maximum of 4 Gb/s as part of their configuration.  8 
Gb/s UltraFlex Fibre Channel ports are an available upgrade. You need to have FLARE revision 29.0 (or 
later) to install 8 Gb/s ports.    
Maximize available bandwidth by connecting Fibre Channel ports to 4 Gb/s or faster SANs.  (See the 
Network Best Practices
‖ chapter.)
Connections to Fibre Channel and iSCSI hosts are supported simultaneously.  However, a host can only be 
connected a storage system‘s FC ports or iSCSI ports; it cannot be connected to both types at the same
time.   
All CX4 models have at least two Fibre Channel ports per SP, with additional ports as an added option.  The 
use of additional front-end connections for hosts can reduce the number of Fibre Channel switches needed 
in the storage network.  All available bandwidth should be distributed across all ports.  For high availability, 
hosts should always have at least one front-
end FC port connection to the storage system‘s peer SP.
To receive the full benefit of the FC port bandwidth, a 4 Gb/s or higher FC SAN is required.  The standard 
CX4 FC ports have the following bandwidth capability: 
Storage System Best Practices 
38
EMC CLARiiON Best Practices for Performance and Availability: Release 30.0 Firmware Update Applied Best Practices  
Table 5  Fibre Channel port bandwidth 
FC port 
speed 
Bandwidth (MB/s)  
per FC port 
4 Gb/s 
360 
8 Gb/s 
700 
Usage 
Note the high bandwidth available with the 8 Gb/s Fibre Channel front-end port.  Using 8 Gb/s front-end 
ports, it is possible to reduce the number of SAN switch ports connecting to the storage system.  For 
example, two 4 Gb/s front-end ports can be merged into one 8 Gb/s port.  At full duplex, both ports of the 
dual 8 Gb/s channel module cannot be active at their maximum bandwidth,  
If the 4 Gb/s ports are connected to a SAN with a 1 Gb/s or 2 Gb/s FC infrastructure, the CX4‘s 4 Gb/s FC 
ports will run at that speed.  The 8 Gb/s FC ports will run connected to a 2 or 4 Gb/s FC SAN with reduced 
bandwidth performance.  Note that 8 Gb/s FC ports will not auto-negotiate to 1 Gb/s. 
Additional Fibre Channel ports 
Additional Fibre Channel ports are configurable with all models.  The additional Fibre Channel ports reduce 
the number of iSCSI ports configurable.  The number of back-end ports of all CX4 models is fixed, with the 
exception of the CX4-960.  Table 8 has more information. 
Table 6 shows the maximum front-end Fibre Channel ports per SP.  For example, the maximum number of 
CX4-480 front-end FC ports is 16.  This maximum could be reached with a combination of eight 8 Gb/s FC 
front-end ports and eight 4 Gb/s front-end FC ports on a storage system.  
Table 6 Maximum Fibre Channel ports per SP 
CX4-120 
CX4-240 
CX4-480 
CX4-960 
Max FC 
ports 
2 or 6 
2 or 6 
4 or 8 
4, 8, or 
12* 
* with CX4-960 drive expansion enabler installed options may vary. 
An extended example may help to illustrate the addition of ports.  A CX4-480 has five UltraFlex I/O slots 
per SP.  Note that this maximum configuration only fills four of the five available UltraFlex I/O slots on 
each SP.   
In its baseline configuration three I/O slots per SP are used.  The baseline CX4-480 starts out with eight 
front-end FC ports (four per SP), eight back-end FC ports (four per SP), and four front-end iSCSI ports (two 
per SP).  This configuration leaves four I/O slots (two per SP) available for expansion to the CX4-
480‘s 
maximum of 12 FC ports.  The baseline configuration already contains the maximum eight FC back-end 
ports (four per SP).   
Four additional FC ports can be installed in each of two available slots.  This would configure the CX4-480 
to its maximum FC port configuration: eight front-end FC ports per SP for a total of 16 (eight per storage 
processor) for the storage system. Table 7 shows the final configuration.  Note the table does not show a 
maximally provisioned storage system. 
Storage System Best Practices 
Performance     
39
Table 7  16x FC front-end port CX4-480 
Storage processor 
EMC‘s CX4 line of storage systems differs from the previous generation in capacities and capabilities. In 
general, the differences include: 
Faster multi-cored, SP CPUs with increased cache memory 
Increased main memory 
Larger number of hard drives supported 
Newer, larger capacity, Fibre Channel hard drives; large capacity, energy-efficient SATA hard drives; 
and solid state Flash drives are supported 
4 Gb/s Fibre Channel, and 1 Gb/s iSCSI ports standard, with several configuration options including 8 
Gb/s Fibre Channel and 10 Gb/s iSCSI as upgrades 
More than one 4 Gb/s Fibre Channel back-end bus on most models (CX4-120 is the exception) 
The characteristics of the CX4 family of storage processors are shown in Table 8.  Refer to this table to 
resolve features and functions having a model-based dependency. 
Storage System Best Practices 
40
EMC CLARiiON Best Practices for Performance and Availability: Release 30.0 Firmware Update Applied Best Practices  
Table 8  CX4 family characteristics 
Components/  
Connectivity 
CX4-120 
CX4-240 
CX4-480 
CX4-960 
Processor architecture per 
SP1 
1 (Dual core) 
processor  
1.2 GHz 
1 (Dual-core) 
processor  
1.6 GHz 
1 (Dual-core) 
processor 
2.2 GHz 
2 (Quad-core) 
processor 
2.33 GHz 
Physical memory per SP 
3 GB 
4 GB 
8 GB 
16 GB 
Back-end 4-Gb/s FC ports 
per SP2  
4 or 8
3
Max drives per storage 
system 
120 
240 
480 
960 
Min drives per storage 
system 
Max hot spares per storage 
system 
115 
235 
475 
955 
Max initiators per  storage 
system 
512 
1024 
2048 
8192 
Max H/A hosts per storage 
system 
128 
256 
256 
512 
Max LUNs per storage 
system 
1024 
2048 
4096 
8192 
Max RAID groups per 
storage system 
60 
120 
240 
480 
Max drives per RAID group 
16 
16 
16 
16 
Max LUNs per RAID group 
256 
256 
256 
256 
Write cache configuration  
The CLARiiON CX4 series has larger caches than previous CLARiiONs. These caches are highly 
configurable.  The allocation of read and write cache can be tuned to achieve optimal performance for 
individual workloads.   
1
All models in the CX4 series have two SPs. 
2
Application available only on the front-end FC ports. 
3
Enabler software is required for 8 back-end buses.  
Documents you may be interested
Documents you may be interested