1
I
2
Cnet: Content-Based Similarity Search in Geographically
Distributed Repositories of Medical Images
Stelios C. Orphanoudakis, Catherine E. Chronaki, and Despina Vamvaka
Abstract
The retrieval of images by content is rapidly gaining acceptance as an important function of image
database systems. This paper discusses the architecture of I
2
Cnet, a network of servers which provide
content-based query services through a WWW browser. In I
2
Cnet, algorithms for the representation,
storage, and retrieval of medical images based on different descriptions of image content are
implemented using description types. AttributeMatch, a description type supported by I
2
Cnet, aims to
capture the knowledge of medical experts in queries by using a similarity criterion which can be
tailored to user preferences. We present results showing the query response time of AttributeMatch,
obtained with image classes of various sizes, and the degree of similarity of retrieved images to the
query image under different similarity criteria.
Key Words
content-based image retrieval, medical image databases, visual information
management, teleradiology, regional health care network, WWW information services
1. Introduction
Current research on visual information systems and multimedia databases raises a
number of important issues, including the need for query methods which support
retrieval of images and video by content [1-3].
At the same time, the rapid growth of popularity enjoyed by the World Wide Web
during the last few years, due to its visual nature and information retrieval capabilities,
has  directed  research  efforts  towards  the development  of  systems  that  provide
network-transparent information services based on pictorial content [4]. In this vast,
dynamic information infrastructure, the development of medical information systems
with advanced browsing and navigation capabilities and a visual query language
supporting content-based similarity queries will play an increasingly important role in
medical training, research, and clinical decision making.
The architecture of I
2
Cnet (Image Indexing by Content network), discussed in
section 3, addresses these issues by providing content-based retrieval as an added value
service in a regional health care network. The main elements of the I
2
Cnet architecture
are: I
2
clients, I
2
C server brokers, and I
2
C servers. I
2
C clients use a standard WWW
browser to request I
2
C services and to submit content-based similarity queries. I
2
C
service brokers activate software agents to update the profile of available services and
to provide support for network-transparent queries. I
2
C servers maintain databases of
image content descriptions and interact with the health care network to retrieve
additional information on selected images and respond to queries which involve image
content and other electronic patient record data. I
2
Cnet extends the functionality of
I
2
C, an existing information system which can serve as a browser for images and image
descriptions, an editor of image content descriptions, and a processor of content-based
queries (see section 2).
In I
2
Cnet, description types encapsulate methods for the representation, storage,
and retrieval of medical images based on their pictorial content. As a case study of a
description type supported by I
2
Cnet, section 4 describes AttributeMatch, an attribute-
How to convert pdf into powerpoint slides - SDK application service:C# Create PDF from PowerPoint Library to convert pptx, ppt to PDF in C#.net, ASP.NET MVC, WinForms, WPF
Online C# Tutorial for Creating PDF from Microsoft PowerPoint Presentation
www.rasteredge.com
How to convert pdf into powerpoint slides - SDK application service:VB.NET Create PDF from PowerPoint Library to convert pptx, ppt to PDF in vb.net, ASP.NET MVC, WinForms, WPF
VB.NET Tutorial for Export PDF file from Microsoft Office PowerPoint
www.rasteredge.com
2
based description type which attempts to capture and express the knowledge of
medical experts by allowing them to construct a similarity criterion which emphasizes
clinically relevant features of image content. Thus, medical images may be matched to
the query image based on different types of similarity, ranging from strict structural
similarity to more elastic clinical similarity. The derivation of an image description
requires that the user specify the Regions Of Interest (ROI) for which a standard set of
geometric properties are computed, and a subset of these ROIs for which texture
descriptors are also computed. As part of the query, the user specifies the relative
significance of ROIs and ROI features. These significance factors are used in the
similarity criterion to focus the attention of the search engine on selected features of
the ROIs. At present, we do not use imaging modality parameters or quantitative tissue
characteristic properties, although their inclusion would be a straightforward extension
of our current approach. A possible problem with including such properties is the need
for calibration, so that they can be compared.
Performance results, which include response time and the relative similarity of
images retrieved using different similarity criteria in AttributeMatch, are presented in
section 4.3. Section 5 places our work in the context of medical image databases and
visual information management systems, discussing related work on the content-based
management of image and video data. Finally, conclusions, the status of the project,
and future plans are presented in section 6.
2. I
2
: Image Indexing by Content
2.1  Overview
I
2
C [5] is an image management system which has been developed as part of an
ongoing project for the design, implementation, and evaluation of approaches to image
content  representation  and  content-based  similarity  retrieval  strategies.  Different
approaches are implemented and investigated using description types. Furthermore, a
user-defined image class hierarchy helps the user direct queries to the appropriate
image set, thus increasing the efficiency of retrievals through search space reduction.
Machine learning techniques, which would identify the class an image belongs to and
automatically direct the query to it, are also being investigated.
The architecture of I
2
C has been developed based on the principles of generality,
modularity, extensibility, open architecture, and conformance to standards. Its open
architecture permits the on-line incorporation of new algorithms to the I
2
C toolbox.
System conformance to standards, e.g. DICOM, facilitates the interoperability of I
2
C
with PACS and other medical information systems, thus providing an added value
service in the medical application domain.
Users interact with I
2
C through a graphical user interface (see Fig. 1) to an
extensible toolbox of image processing and editing tools to generate, archive, match,
and browse through images and their content descriptions effectively and efficiently.
The I
2
C database engine maintains I
2
C persistent objects: algorithms, description types,
image classes. The use of object-oriented techniques in the I
2
C database engine
facilitates flexible programming of associations among image classes and algorithms,
while the use of low level database access primitives achieves low response time. Thus,
the I
2
C database engine provides both efficiency and flexible programming.
SDK application service:C# PowerPoint - How to Process PowerPoint
control, developers are able to split a PowerPoint into two or more It enables you to move out useless PowerPoint document pages C# Codes to Sort Slides Order.
www.rasteredge.com
SDK application service:VB.NET PowerPoint: Process & Manipulate PPT (.pptx) Slide(s)
split one PPT (.pptx) document file into smaller sub library SDK, this VB.NET PowerPoint processing control & profession imaging controls, PDF document, image
www.rasteredge.com
3
2.2  Description Types
Description types are used in I
2
C to encapsulate information relevant to an image
content representation method and a content-based retrieval strategy. The functional
components of a description type are: the description generator, the description
matcher, and the description manager. The description generator is involved in the
extraction of image features and the generation of an image description as a set of
persistent  objects.  The  description  manager  maintains  the  repositories  of  the
description type.
It is responsible for the insertion, deletion, and modification of the
objects that comprise such content descriptions, with concurrent update of the indices
involved.
The I
2
C database engine provides persistence primitives that can be used by the
description manager, if the repositories of the description type are stored in EXODUS
[6], the native storage manager of I
2
C. Alternatively, the description manager may
employ  an  arbitrary  persistence  method  (or  methods),  possibly  exploiting  data
distribution and parallel search strategies. The description matcher processes content-
based queries addressed to the description type and identifies images similar to the
query image. Moreover, if the state of the description matcher is maintained in the
persistent store between executions of the program, the description type is able to
handle incremental query modifications.
2.3  Image Class Hierarchy
All actions and processes supported by I
2
C are based on the organization of
images  and  image-related  information into classes representing  different  imaging
modalities and parts of the anatomy. Thus, algorithms used to obtain descriptions of
image content can be tuned for a specific class of images (e.g. MR brain images).
Algorithms tuned for a specific class are likely to yield far better results for images in
the current class than general-purpose algorithms, since they can exploit knowledge
Figure 1: I
2
user interface: image & description browser (top), algorithm workbench
(middle left), class editor/browser (bottom left), display window (bottom right)
SDK application service:VB.NET PowerPoint: Merge and Split PowerPoint Document(s) with PPT
sample code in VB.NET to finish PowerPoint document splitting &ltsummary> ''' Split a document into 2 sub Note: If you want to see more PDF processing functions
www.rasteredge.com
SDK application service:VB.NET PowerPoint: Extract & Collect PPT Slide(s) Using VB Sample
you want to combine these extracted slides into a new please read this VB.NET PowerPoint slide processing & profession imaging controls, PDF document, image to
www.rasteredge.com
4
regarding the characteristics of images in the class. Furthermore, the efficiency of
retrievals can increase by directing content-based queries to appropriate classes.
Images are assigned to classes using primary criteria, such as imaging modality,
part of the anatomy, orientation, plane of cut, etc. and secondary ones. Secondary
criteria of class membership may be derived from the clinical interpretation of image
content or determined by a machine learning algorithm based on quantitative image
features. At system installation, an initial image class  hierarchy  is established in
collaboration with health care professionals. Additional image classes or subclasses can
be created at a later time, so that images for which specific description types have
become available can be assigned to a separate class.
2.4  Architecture
The  architecture  of I
2
C is object-oriented and adheres to the principles of
extensibility and modularity. As shown in Fig. 2, the system consists of a small set of
communicating modules: the image enhancement module, the segmentation module,
the database engine,  and  the description type module.  All  modules  exchange
information through the I
2
C core, which handles messages and links I
2
C to image
archives through information gateways. 
I
2
C
has been designed to be independent of
specific notions and representations of image content, and does not assume a specific
image similarity criterion. Image features, which have been computed using tools of
I
2
C, are encapsulated in the intermediate image description object and subsequently
communicated to description types. New features and alternative algorithms for their
computation can be supported through appropriate extensions to the intermediate
image description object.
Currently,  at  a  system  administration  level,  specific  programs  facilitate  the
integration of new image enhancement and  segmentation  algorithms, as  well  as
description types. Dynamic associations of algorithms and classes are also programmed
at this level. Thus, a user of I
2
C has the option of creating a personal image description
repository and developing his own variety of image description types. This can be
accomplished either by tuning the algorithms provided by I
2
C and their similarity
User Interface
User Interface
Image
Enhancement
Module
Image
Enhancement
Module
Segmentation
Module
Segmentation
Module
I
2
C Database Engine
I
2
C Database Engine
Network
Images
Image IDs
segmented
image
Image
Description
Descriptions
Image IDs
Description
Generator
Description
Matcher
description
image
Description Type Module
Image
Processing
Algorithm
Segmentation
Algorithm
Figure 2: 
I
2
C
Architecture
SDK application service:VB.NET PowerPoint: Use PowerPoint SDK to Create, Load and Save PPT
guide for PPT document, we divide this page into three parts in VB.NET to create an empty PowerPoint file with or local file and get the exact PPT slides number;
www.rasteredge.com
SDK application service:VB.NET PowerPoint: Convert & Render PPT into PDF Document
Using this VB.NET PowerPoint to PDF converting demo code below, you can easily convert all slides of source PowerPoint document into a multi-page PDF file.
www.rasteredge.com
5
criterion, or by developing new description types and using 
I
2
C
as a query front end
and a description browser.
2.5  Query Formulation
Two types of query are currently supported by I
2
Cquery by example and query
by sketch. In each case, the user specifies the image class and a description type based
on which the query will be served. In general, query by example may be automatic or
interactive. In automatic query by example, the user requests the retrieval of images
similar to the image in the main display window (lower right quadrant in Fig. 1), an
image description is generated automatically, and a set of similar images is returned.
Alternatively, in interactive query by example, the user guides the image content
description process. In query by sketch, the user enters the contour editor environment
and sketches the boundaries of anatomical objects, which will form the basis for the
description and the retrieval of images by content.
The I
2
C contour editor environment, shown in Fig. 3, occupies the area of the
display window drawing area) and class browser (display of ROI features). This
environment aids the user in the creation of image content descriptions and the
composition of queries. To achieve this goal, the user may combine the results of
image segmentation algorithms to create, store, and retrieve anatomical contours.
Texture  descriptors  and  significance factors  may  also  be  associated  with  ROIs
contained within particular contours.
2.6  Database Engine
The I
2
C database engine manages the persistent  I
2
C objects which keep
information on image classes,  algorithms, description types, images, intermediate
image description objects, and their associations. The association of an image class to a
segmentation algorithm indicates that the specific algorithm has been tuned for that
class. A specialized object-oriented interface abstracts the details of the adopted
persistence  mechanism  and  allows  the  dynamic  creation  and  maintenance  of
associations.  Moreover,  the I
2
C database engine provides primitives for the
management of object clusters and indices, which can be used as the building blocks in
the development of data repositories for description types.
The I
2
C database engine has been implemented as a client process on top of the
EXODUS storage object manager [6]. EXODUS is an extensible database system
indented to simplify the development of high performance application-specific database
systems. According to the OO7 benchmark, EXODUS rates highly among existing
OODBMS [7]. The EXODUS storage manager client library is linked to the I
2
C
database engine module and provides a procedural interface to primitives for atomicity,
indexing, versioning, and management of large untyped objects. The EXODUS client
module  maintains  its  own  buffer  pool  on  the  local  machine,  where  it  caches,
prefetches,  and updates  pages containing  objects and  indices,  instead  of  simply
forwarding requests to the EXODUS server. The resulting object-oriented database
engine, being a dedicated application, is quite efficient in comparison to a full fledged
object-oriented DBMS.
SDK application service:VB.NET PowerPoint: Sort and Reorder PowerPoint Slides by Using VB.
clip art or screenshot to PowerPoint document slide large amount of robust PPT slides/pages editing powerful & profession imaging controls, PDF document, image
www.rasteredge.com
SDK application service:VB.NET PowerPoint: Add Image to PowerPoint Document Slide/Page
to add, insert or delete any certain PowerPoint slide without a multi-page PPT document into 2, 4, 6 powerful & profession imaging controls, PDF document, tiff
www.rasteredge.com
6
2.7  Discussion
The I
2
C prototype has been operational for the last three years. During this time,
its toolbox has been enriched with new feature extraction tools and algorithms for
image enhancement and segmentation. Various description types have been designed,
implemented, and evaluated for different classes of medical images. Furthermore, I
2
C
has  been  integrated  with  TelePACS  [8],  a  home  grown  Picture  Archiving  and
Communication System, which has been installed in three large hospitals and is
currently undergoing clinical evaluation. Preliminary results indicate that I
2
C can be an
effective added-value service in PACS and telemedicine environments, particularly as a
clinical decision-support tool and a tool for medical training and clinical research. It is
also a useful platform for the implementation and evaluation of algorithms for image
content description and content-based image retrieval strategies.
I
2
C has been designed to be interoperable with image archives which conform to
appropriate standards. Therefore, in addition to its use as an added-value service in a
PACS environment, it can be interfaced to an image archive and used as a standalone
system to manage private image collections. However, the cooperation among I
2
C
systems is an aspect of its functionality that was not initially considered. Therefore, the
design of I
2
Cnet as a network of I
2
C servers brought to light several limitations of the
I
2
C
architecture and built-in functionalities. First, query formulation, processing, and
optimization were heavily dependent on NFS running in the local network. Second, the
I
2
C user interface was closely coupled to the rest of the system and no attempt was
made to minimize the transfer of information between the database engine and the user
interface. Third, in a distributed environment, the construction of the I
2
C database
server as an EXODUS client process is less flexible than extending the database server
itself, what SHORE [9] calls a “value added” server.
Figure 3:  Contour editor environment of I
2
C. This environment is used to edit the results
of segmentation algorithms (bottom right), to draw ROIs in query by sketch (bottom right),
and view the values of computed ROI features (bottom left).
SDK application service:C# PowerPoint: C# Guide to Add, Insert and Delete PPT Slide(s)
empty page and insert it into an existing view detailed guide for each PowerPoint slide processing powerful & profession imaging controls, PDF document, tiff
www.rasteredge.com
SDK application service:C# PowerPoint: C# Codes to Combine & Split PowerPoint Documents
2 sub-documents, if you need to split PowerPoint into 4, 6 &ltsummary> /// Split a document into 2 sub powerful & profession imaging controls, PDF document, tiff
www.rasteredge.com
7
To overcome these limitations, 
I
2
Cnet
has been designed based on a loosely-
coupled architecture of I
2
C clients and servers, as presented below.
3. I
2
Cnet: A network of I
2
C servers
3.1  Overview
With the evolution of the information superhighway and the involvement of our
group in the development of a regional health care network [10], the existence of
communicating image repositories that evolve in a decentralized fashion establishes
content-based similarity retrieval as an added-value service.
I
2
Cnet has been designed as a network of image description servers based on I
2
C
and operating over the World Wide Web (see Fig. 4). Through a WWW browser, I
2
C
clients will enjoy reliable and network-transparent content-based access to distributed
image repositories. A major advantage of this approach is that other services with a
similar scope, including third party content-based similarity retrieval services like those
of QBIC [11], can be accessible through a unified framework offered by HTML. The
combination  of  standard HTML  and  browser  programming  offers  a  generalized
interface  to  heterogeneous  types  of  data,  and  provides  advanced,  platform
independent, client-server interaction.
The I
2
Cnet approach is based on multiple levels of service quality. Minimally, a
user with a typical web browser can interact with the system. However, several add-
ons like the I
2
C service broker allow for more sophisticated interaction with the
network, by introducing a certain level of network transparency and intelligence in this
interaction. In general, two types of user interaction with I
2
Cnet have been considered:
• Network-transparent interaction, in which the user formulates a request without any
concern as to which server or servers will process it.
World 
Wide 
Web
I
2
C server
httpd
d
httpd
d
I2 C server
httpd
httpd
I2C server
httpd
httpd
I
2
C client
I
2
C client
CBSS 
engine
CBSS 
engine
I
2
Cnet communication module
I
2
Cnet
communication link
Figure 4: 
I
2
Cnet
: A network of 
I
2
C
servers designed to operate over the World Wide Web
and to provide content-based similarity retrieval services to the regional health care
network. Other content-based similarity search engines (CBSS) available in the World
Wide Web are accessible through a unified interface.
8
• Server-specific interaction, in which the user specifies how the request should be
handled.
Although typical interaction of a user with I
2
Cnet involves a content-based query
which is addressed to multiple I
2
C servers, I
2
Cnet offers additional services such as
image posting, i.e. making an image available to I
2
C servers for description, or
requesting  the  execution  of  an  image  processing  algorithm.  To  support  such
interactions, I
2
C servers should share information even if they operate and evolve
independently. This shared information refers to image classes, description types, and
processing algorithms supported by each server. The set of services offered by each
server changes dynamically over time. New I
2
C services become available and old ones
cease to exist. Furthermore, based on user preferences, some services are of higher
quality and reliability than others. I
2
C service brokers are active entities in I
2
Cnet
which maintain profiles of use and service availability and adapt their behavior based
on user feedback.
3.2  Elements of the I
2
Cnet architecture
The  design  of  the I
2
Cnet architecture brought out several new issues and
challenges.  Peer-to-peer  server  communication,  agent  based  computing,  query
formulation  and  incremental  query modification, query  decomposition  and  result
composition, integration of heterogeneous systems over a regional network to achieve
quality of service and security, are only a few of them. Fig. 5 shows the basic elements
of the I
2
Cnet architecture and their functions: I
2
C servers, I
2
C clients, and I
2
C service
brokers.
:
v
I
2
Cnet
I
2
C Server standard functions:
accepts requests
service decomposition
accept  results
result composition
send results to client
maintain request state
Server  add-ons:
 image classes
description types
image operations
I
2
C Service Broker functions:
actively collect  profile data
resolve network-transparent requests
learn from user feedback
I
2
C Service Brokers
I
2
C Client add-ons:
image analysis tools
service broker access
description editor
 persistence store
I
2
C clients (web browser)
I
2
C Client standard functions:
communication with
I
2
C
net
local storage of request forms
request composition and refinement
processing of request results
World Wide Web
Figure 5: I
2
Cnet architecture.
9
3.2.1 I
2
C servers
I
2
C servers are linked to image repositories, manage image content descriptions,
cooperate to provide federated 
I
2
C
services, and interoperate with the health care
network. The functional modules of the server architecture shown in Fig. 6, are the
description editor, the administration front end, the communication module, and the
query processor.
The description editor evolved out of the contour editor environment of I
2
C. In
I
2
Cnet, the description editor is part of the I
2
C server architecture, and an optional
add-on to I
2
C clients. Using the description editor, users are able to generate image
content descriptions by  extracting image  features  with  a  wide  variety of image
processing tools. In addition, the description editor may be used to compose queries by
sketch. An important feature of the description editor is its extensibility; it provides a
plug-in interface for new image enhancement, segmentation, and feature extraction
algorithms.
In I
2
C, database administration was carried out through a collection of application
programs. Administration of the I
2
C database involves the maintenance of associations
between  image  classes,  algorithms,  and  description  types,  the  replenishment  of
description databases with new images, the introduction of new algorithms, description
types, and  classes,  and  the  scheduling  of  time-consuming off-line  jobs  such  as
segmenting all images in a class or locating all pairs of most similar images in an image
class. In I
2
Cnet, the scope of the administration module is broader. Each description
type supported by the server has a home page with appropriate links that guides the
user through the process of submitting a query. The maintenance of these pages is
performed by the administration module. In addition, messages regarding the posting
Web Server
Web Server
I
2
C Server Database Engine
I
2
C Server Database Engine
Communication Module
I
2
C Net
I
2
C Service
Response
I
2
C
Service
Request
Query 
Processor
Query 
Processor
Primitive
Queries
Result
Content
Based
Similarity
Query
Result
Description Types,
Algorithms, scripts, etc.
I
2
C Server 
Adminstration
HTML Form 
Editor
HTML Form 
Editor
I
2
C Service
Forms
Image
Posting
Image
Descriptions
Description Types,
Algorithms, etc.
Image
Processing
Image
Processing
Feature
Extraction
Feature
Extraction
Image
Enhancement
Image
Enhancement
Description 
Editor
I
2
C Service
Broker
I
2
C Service
Broker
I
2
C service
profile
information
World 
Wide 
Web
Figure  6: I
2
C servers maintain autonomous repositories of image descriptions and
cooperate with service brokers to respond to network-transparent queries.
10
of images arrive from the network and are logged for the administration personnel to
review.
The communication module facilitates the connection of the server to the local
web server, other I
2
C server communication modules, and I
2
C service brokers. The
local web server forwards to the communication module service requests from I
2
C
clients throughout the network. The interconnection of communication modules is
necessary when I
2
C servers cooperate to service requests that involve multiple servers.
Finally, communication with service brokers involves  the  resolution of  network-
transparent queries. The service broker translates the network-transparent query into a
server-specific one. The communication module maintains the state of pending queries,
service records of past requests, and usage statistics.
The query processor handles service requests addressed to the specific server. A
service request is decomposed, its parts are executed, the results are composed, and a
service record is prepared. In case of a content-based query, the retrieval record
includes a set of imageIDs, hyperlinks, and scores reflecting confidence in the result.
ImageIDs point to thumbnail miniatures of images. Hyperlinks point to the original
image in the regional network. The above information is inserted into an HTML
template form and the resulting page is returned to the communication module.
3.2.2 I
2
C clients
The 
I
2
C
client architecture shown in Fig. 7, presents the functional components of
the client, some of which are part of a typical web browser. A web browser serves
both as a query engine and a result browser, since the user is able to browse through
Content  based
queries, scripts,
I
2
C service info, etc.
Web Server
Web Server
I
2
C Client Persistent Store
I
2
C Client Persistent Store
I
2
C Service
Broker
I
2
C Service
Broker
I
2
C service
profile
information
Image
Processing
Image
Processing
Feature
Extraction
Feature
Extraction
Image
Enhancement
Image
Enhancement
Description 
Editor
Result
Browser
Result
Browser
Query
Engine
Query
Engine
Web Browser
Images, descriptions,
notes, algorithms, etc.
I
2
C Service
Response
I
2
C Service
Request
I
2
C Net
World 
Wide 
Web
Figure 7: A minimal I
2
client is a typical web browser. Optional add-ons like the
Description Editor, and the Service Broker allow for more sophisticated interaction with
I
2
Cnet.
Documents you may be interested
Documents you may be interested