Image 

Processing
COMP4421
Dr. Hao CHEN, Dept. of CSE, HKUST
Our Support Team
Instructor
Dr. Hao CHEN, Assistant Professor
RM 3517, Dept. of CSE, HKUST
Email: jhc@ust.hk
Tel: +852‐2358 8346

Teaching Assistants
Mr. Yi LIN, ylindq@connect.ust.hk
Mr. Haoxuan CHE, hche@connect.ust.hk
Mr. Zhefan RAO, zraoac@connect.ust.hk
2
Teaching Schedule
• Lecture:
• Tues and Thurs 9:00‐10:20am, Room 2504 (via lift 25‐26)
• Tutorial:
• Tues 3:00‐3:50pm, Online zoom link will be provided in announcement by TA. 
• Class Dates:
• Sep 1, 2022 – Nov 30, 2022
• Lecture and Tutorial notes will be available online. Part of slides credit: Dr. 
Xiaojuan Qi (HKU), Dr. Ioannis Gkioulekas (CMU), etc.
• Office Hours: by appointment.
• No lab sessions. 
3
Prerequisites
Basic Math
• Calculus, linear algebra, geometry,
• Probability, statistics
• Analog/digital signal processing, etc.

Programming Skills
• C++/Matlab/Python.

4
 Syllabus (tentative) Lecture Topic

Introduction
Image Fundamentals
Image Transformations 
1‐12
Mode: In‐person. Image Filtering
Image Restoration
We will cover some advanced topics 
Image Compression 
(e.g., deep learning for medical 
image analysis) if time permits.   13 Mid‐term

Morphological Image Processing
Image Segmentation
Image Registration
14‐25
Feature Extraction 
Image Recognition and Deep Learning
Advanced Topics 5
Books
Reference
• Digital Image Processing, by Gonzalez and Woods, 4th Ed., Pearson, 
2018.  Online available: https://library.ust.hk/
• Digital Image Processing using MATLAB, by Gonzalez and Woods, Prentice 
Hall, 2004. 
• The Image Processing Handbook, by John C. Russ.
• Digital Image Processing, by Kenneth R. Castleman, Prentice Hall, 1996. 
• Two‐dimensional Signal and Image Processing, by Jae S. Lim, Prentice 
Hall, 1990.
• Computer Vision: A Modern Approach by Forsyth and Ponce, Prentice 
Hall, 2003.
• First Principles of Computer Vision. Columbia University. Lectures online 
available. 

6
Image Processing Tools
Matlab
• We use Matlab for tutorials
https://www.mathworks.com/

• Workstations in ITSC Computer Barns
http://www.ust.hk/itsc/computerbarn/

• MATLAB software and related toolboxes are 
available in the computer barns, e.g., image 
processing toolbox.

7
Grading Scheme
Exam 70% (Midterm 30%, Final 40%)
Assignments 30% (3 Assignments, 10% each)
Total 100%

• Details will be released before exam. 
• Assignments must be submitted by 11:59pm of the due day. 
• Late assignments will incur a 20% penalty per day.
• More information about submission procedures will be given. 

8
Learning Outcomes
• Understand image fundamentals.  • Segment image components from 
an image.
• Identify basic image enhancement 
techniques. • Register images with similarity 
metrics and transformations.
• Image restoration in the presence 
of noise and distortion. • Represent an image using different 
feature descriptors.
• Compress an image with lossless 
or lossy compression methods. • Apply image processing 
techniques to typical applications. 
• Perform morphological image 
processing.

9
Two Words: Image Processing
Image
• Fundamentals
• Image formation based on individual elements (pixels)
• Sampling and Quantization 

10
Two Words: Image Processing
Processing
• Manipulation of the image data
• Geometric transformations
• Enhancement/Restoration
• Image Segmentation
• Feature extraction
• Object recognition

11
Today’s Agenda
This lecture will cover
• What is a Digital Image? 
• Types of Digital Images
• Digital Image Processing
• Topics Covered in this Course

12
Digital Images

(a) Natural image (b) Satellite image (c) MRI image (d) Microscopy image

(e) Cardiac CT (f) Fetus Ultrasound  (g) Infrared image (h) Portrait image

One picture is worth more than ten thousand words! 13
How do Computers See an Image?

14
How do Computers See an Image?
600

400

15
Digital Image
Digital Image
An image can be defined as a two‐dimensional function, 𝑓 𝑥, 𝑦 , where 𝑥 and 𝑦 are spatial (plane) 
coordinates, 𝑓 is the intensity or gray level of the image at that point.
Pixel
Digital image is composed of a finite number of elements, called image elements or pixels.

16
Digital Image
Digital Image
An image can be defined as a two‐dimensional function, 𝑓 𝑥, 𝑦 , where 𝑥 and 𝑦 are spatial (plane) 
coordinates, 𝑓 is the intensity or gray level of the image at that point.
Pixel
Digital image is composed of a finite number of elements, called image elements or pixels.
Digital image processing
Digital image processing refers to processing digital images by means of a digital computer.

Gaussian Filter
Original Result 17
Today’s Agenda
This lecture will cover
• What is a Digital Image? 
• Types of Digital Images
• Digital Image Processing
• Topics Covered in this Course

18
 Electromagnetic (EM) Spectrum

The most familiar digital Images are based on radiation from the EM, especially 
images in the X‐ray and visual bands of the spectrum.
19
https://www.britannica.com/science/microwave‐radiation
 Examples: Gamma Ray
Radio Microwave Infrared Visible Ultraviolet X‐Ray Gamma Ray

20
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Examples: X‐Ray
Radio Microwave Infrared Visible Ultraviolet X‐Ray Gamma Ray

21
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Examples: Ultraviolet
Radio Microwave Infrared Visible Ultraviolet X‐Ray Gamma Ray

Image credit: Galex, NASA/JPL‐
Cygnus Loop Caltech

Fluorescence microscopy of normal (left) and ‘smut’ corns (right)
22
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Examples: Visible
Radio Microwave Infrared Visible Ultraviolet X‐Ray Gamma Ray

Remote Sensing

Finger print

Car Plate
23
Digital Image Processing, by Gonzalez and Woods, 4th Ed., Pearson, 2018. Smart Phone
 Examples: Infrared
Radio Microwave Infrared Visible Ultraviolet X‐Ray Gamma Ray

Detect temperature and potential condition  Land surface temperature from remote  Satellite Image of Hurricane Katrina

failures; Work in low‐light environment sensing (thermal satellite imaging)

Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
https://www.phase1vision.com/blog/understanding‐the‐benefits‐of‐infrared‐imaging‐cameras 24
https://chrieke.medium.com/thermal‐imaging‐with‐satellites‐34f381856dd1 
 Examples: Microwave
Radio Microwave Infrared Visible Ultraviolet X‐Ray Gamma Ray

Explore the inaccessible 
regions of the Earth’s surface

Radar image of Southeast Tibet 25
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Examples: Radio
Radio Microwave Infrared Visible Ultraviolet X‐Ray Gamma Ray

Magnetic resonance imaging (MRI) of knee (left) and spine (right) 
26
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Other Imaging Modalities

Scanning electron microscopy  Fractal images generated by 
of tungsten filament following   computer
thermal failure

Ultrasound images of fetus (top) and thyroid (bottom)
27
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
Today’s Agenda
This lecture will cover
• What is a Digital Image? 
• Types of Digital Images
• Digital Image Processing
• Topics Covered in this Course

28
 General Image Processing System

29
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
Digital Image Processing

Low‐level Image acquisition and formation
Image enhancement and restoration
Image colour 
Image processing
Image compression
Mid‐level Image segmentation 
Object recognition  Image analysis: 
computer vision and 
High‐level Scene understanding  pattern recognition

30
 Applications
Image/Video Super Resolution: (Note: there is an animation in this slide) 

31
Xin Tao, et al. Detail‐revealing Deep Video Super‐resolution, ICCV 2017.
 Applications
Low‐light Image Enhancement:

Images captured at a low‐light environment Enhanced output images

32
Chen Chen, et al. Learning to see in the dark, CVPR 2018.
 Applications
Image Demoireing: (Note: there is an animation in this slide) 

33
 Applications
Portrait mode in mobile phone:

Slides from https://courses.cs.washington.edu/courses/cse576/20sp/calendar/  34
https://www.deccanchronicle.com/technology/mobiles‐and‐tabs/160318/google‐pixel‐2‐portrait‐mode‐manufacturers‐deeplabv3‐software‐android.html  
 Applications
Image Restoration:

35
Xintao Wang, et al. GFP‐GAN: Towards Real‐World Blind Face Restoration with Generative Facial Prior, CVPR 2021.
 Applications
Image Restoration:

36
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Applications
Scientific Discovery:

Image black holes

How scientists captured the first image of a black 
Slides from https://courses.cs.washington.edu/courses/cse576/20sp/calendar/ 
hole, 2019 37
 Applications
Image‐to‐Image Translation:

38
Yunjey Choi, et al. StarGAN: Unified Generative Adversarial Networks for Multi‐Domain Image‐to‐Image Translation. CVPR 2018.
 Applications
Machine Vision: Image Classification

39
Slides from https://courses.cs.washington.edu/courses/cse576/20sp/calendar/ 
 Applications
Machine Vision: License Plate Recognition

Optical 
character 
classification

40
credit to Dr. George Bebis
 Applications
Machine Vision: Robotics, Autonomous driving and Drones

Semantic 
understanding

41
 Applications
Machine Vision: Object Detection

https://medium.com/analytics‐vidhya/yolov3‐object‐detection‐in‐tensorflow‐2‐x‐8a1a104c46a8 .  42
Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, “You Only Lookl Once" IEEE International Conference on Computer Vision and pattern recognition (CVPR) , 2015.
 Applications
Medical Diagnosis:
Skin Cancer Detection Breast Cancer Detection

The heart and mediastinum are

normal. The lungs are clear. There is
mild blunting of the right costophrenic.
There is no infiltrate, mass or
pneumothorax. The right internal
jugular catheter has been removed.

Lungs are clear. No pleural

effusions or pneumothoraxes.
Heart and mediastinum of
normal size and contour..

Liu, Fenglin, Shen Ge, and Xian Wu. "Competence‐based multimodal curriculum learning for medical report generation." ACL, 2021 43
 Applications
Style Transfer:

https://www.tensorflow.org/tutorials/generative/style_transfer 44
 Applications
Image Retrieval:

45
 Other Applications…
• Consumer electronics: digital cameras, scanner, . . .
• Medical and biological uses: microscopy, radiology, surgery, . . .
• Industrial uses: inspection, metrology, defect detection, . . .
• “Smart” world: intelligent transportation system, smart home, surveillance, . . .
• Scientific uses: hyperspectral imaging, remote sensing, astronomy, . . .

Consumer electronics  Medical imaging  Industrial imaging Autonomous driving

46
Today’s Agenda
This lecture will cover
• What is a Digital Image? 
• Types of Digital Images
• Digital Image Processing
• Topics Covered in this Course

47
Digital Image Processing

Low‐level Image acquisition and formation
Image enhancement and restoration
Image colour 
Image processing
Image compression
Mid‐level Image segmentation 
Object recognition  Image analysis: 
computer vision and 
High‐level Scene understanding  pattern recognition

48
 Topic 1: Image Acquisition
Human visual system and image acquisition: how digital images are generated 
and represented; image sampling and quantization.

Human Visual System Digital Imaging System
49
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Topic 2: Intensity Transformations
Intensity transform is to change pixel intensities based on a transformation 
function, such as image negative, log transformations, gamma 
transformations, piecewise linear transformation function, and histogram
processing (e.g., histogram equalization).

Gamma transformation Image enhancement
50
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Topic 3: Spatial Filtering
Spatial filtering modifies an image by replacing the value of each pixel by a 
function of the pixel and its neighbours, e.g., smoothing spatial filters, box 
filter, gaussian filter, and sharpening filters, etc.

Image denoise

Image sharpening

Image filtering
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
51
 Topic 4: Filtering in the Frequency Domain
Frequency domain filtering: frequency domain analysis and how to realize 
filters in the frequency domain with applications in image smoothing and 
sharpening.

52
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Topic 5: Image Restoration
Image restoration is to improve the quality of an image based on 
mathematical degradation models, e.g., noise and blur model.

53
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Topic 6: Image Compression
Image compression is to reduce the storage required to save an image or 
the bandwidth to transmit it.  

54
Digital Image Processing

Low‐level Image acquisition and formation
Image enhancement and restoration
Image colour 
Image processing
Image compression
Mid‐level Image segmentation 
Object recognition  Image analysis: 
computer vision and 
High‐level Scene understanding  pattern recognition
55
 Topic 7: Morphological Processing
Morphological processing deals with tools for extracting image components 
that are useful in the representation of shape, such as boundary extraction, 
hole filing, and skeleton analysis. 

56
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Topic 8: Image Segmentation
Image segmentation is to partition an image into its constituent parts or 
objects.

57
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Topic 9: Image Registration
Image registration is the process of transforming different sets of data into 
one coordinate system. 

58
http://reuter.mit.edu/research/neuroimg/registration/
 Topic 10: Feature Extraction
Feature extraction includes feature detection and feature description. 
Features are used to represent images. 

Histogram
𝑥
𝑥
Feature  .
𝒙 .
extraction
.
𝑥

Feature extraction “Bag‐of‐words” description of the images

59
 Topic 11: Image Recognition and Deep Learning
Image recognition is to understand the semantic meaning of the image.
Deep convolutional neural network for image recognition: building blocks, 
forward, and backward propagation.

60
Digital Image Processing, by Gonzalez and Woods, Pearson, 2018.
 Topic 12: Advanced Topics

Biomedical Image Analysis Deep Learning for Semantic Segmentation

61
https://medium.com/analytics‐vidhya/yolo‐object‐detection‐343a430f3b48
Where does Image Processing fit in?
Computer 
Vision

Machine  Image  Computer 

Learning Graphics
Processing

Artificial 
Intelligence

62
References
• Digital Image Processing, by Gonzalez and Woods, 4th Ed., Pearson, 2018. 
• First Principles of Computer Vision. Columbia University. 

63