JPEG图像 | CS笔记

JPEG图像已经流行了几十年了，未来它也一定是主流图像格式之一。JPEG很适合用来压缩自然景物图像，一般JPEG压缩都是有损的，但标准也支持lossless。

JPEG是第一个国际图像压缩标准，用于连续色调静态图像（即包括灰度图像和彩色图像），其最初目的是使用64Kbps的通信线路传输720×576分辨率(SDTV)压缩后的图像。通过损失极少的可视效果，可以将图像所需存储量减少至原大小的10％。由于其高效的压缩效率，早已广泛用于彩色传真、静止图像、电话会议、印刷及新闻图片的传送上。但那些被删除的信息无法在解压时还原，所以JPEG文件并不适合放大观看，输出成印刷品时品质也会受到影响。

JPEG的文件格式一般有两种文件扩展名：.jpg和.jpeg，这两种扩展名的实质是相同的，我们可以把.jpg的文件改名为.jpeg，而对文件本身不会有任何影响。

原理

有损压缩来自RGB转YCbCr后的subsampling（一般使用420），以及DCT之后的量化过程，这跟视频编解码的原理一样。

最后的编码，除了霍夫曼编码之外，还有算术编码可以选择。

JPEG标准不指定任何固有的文件格式，它只定义压缩比特流的语法。

Baseline JPEG/基本JPEG

这种类型的JPEG文件存储方式是按从上到下的扫描方式，把每一行数据顺序地保存在JPEG文件中。打开这类JPEG文件显示它的内容时，数据将按照存储时的顺序从上到下一行一行的被显示出来，直到所有的数据都被读完，就完成了整张图片的显示。这种图片在web中，如果没有给图片指定宽和高，会造成重绘。

progressive jpeg/渐进式JPEG

这类JPEG文件包含多次扫描，这些扫描顺序存储在JPEG文件中。打开文件过程中，会先显示整个图片的模糊轮廓，随着扫描次数的增加，图片变得越来越清晰。该类型的图片是对标准JPEG格式的改进，当在网页上下载渐进式JPEG图片时，首先呈现图片的大概外貌，然后再逐渐呈现具体的细节部分，因而被称之为渐进式JPEG。

JFIF

JPEG 標準在 JPEG 的檔案結構中預留了數個可選的標頭，目的是供應用程式能夠進一步加以拓展、或是添加額外訊息，JFIF 就在是应用最广泛的一種，它在 JPEG 的標準之外定義了縮圖大小、在不同设备上的显示比例。除了這些額外訊息， JFIF 也對 JPEG 加以限縮，例如限制了色彩空間。

The JFIF format defines a number of details that had been left undefined in the initial JPEG format. Defining these details, including a standard header, resolution and aspect ratio, and color model, allowed users to actually save and share files using JPEG compression.

For a long time, many digital cameras saved images in the JFIF format. But over time, additional improvements to the JPEG format rendered the JFIF format mostly obsolete.

The most common filename extensions for files employing JPEG compression are .jpg and .jpeg, though .jpe, .jfif and .jif are also used. It is also possible for JPEG data to be embedded in other file types – TIFF encoded files often embed a JPEG image as a thumbnail of the main image; and MP3 files can contain a JPEG of cover art in the ID3v2 tag.

JPEG文件格式

在 SOF0 區段標記了它的內容包含算法名稱，其實這並不太精確，一個 JPEG 圖檔中，一定會出現一個 SOF0, SOF1, SOF2, ... SOF16 其中一個區段，如果出現的是 SOF0 ，那就代表我們使用的是 baseline 。另一件值得注意的事情是 DQT 跟 DHT 都可能不止一個。

所有的區段都會以 0xFF 開頭，緊接着的一個 byte 表示了它是哪一種區段。如果这个段有数据，接下来的2个byte表示段的长度（不含段标识的2bytes）。数据全部按big-endian方式存放。当数据中也存在0xFF时，后面一定跟一个0x00，来与段标识码区分。

段名	标识码	Payload	Comment
SOI	0xFFD8	No
EOI	0xFFD9	No
DQT	0xFFDB	Yes	Specifies one or more quantization tables.
DHT	0xFFC4	Yes	Specifies one or more Huffman tables.
SOF0	0xFFC0	Yes	Indicates that this is a baseline DCT-based JPEG, and specifies the width, height, number of components, and component subsampling (e.g., 4:2:0).
SOF2	0xFFC2	Yes	Indicates that this is a progressive DCT-based JPEG, and specifies the width, height, number of components, and component subsampling (e.g., 4:2:0).
SOS	0xFFDA	Yes	Begins a top-to-bottom scan of the image. In baseline DCT JPEG images, there is generally a single scan. Progressive DCT JPEG images usually contain multiple scans. This marker specifies which slice of data it will contain, and is immediately followed by entropy-coded data
COM	0xFFFE	Yes	Contains a text comment.
APPn	0xFFEn	Yes	For example, an `Exif` JPEG file uses an APP1 marker to store metadata, laid out in a structure based closely on TIFF. JFIF使用APP0.
RSTn	0xFFDn	No	Inserted every r macroblocks, where r is the restart interval set by a DRI marker. Not used if there was no DRI marker. The low three bits of the marker code cycle in value from 0 to 7.
DRI	0xFFDD	4bytes	Define Restart Interval . Specifies the interval between RSTn markers, in Minimum Coded Units (MCUs). This marker is followed by two bytes indicating the fixed size so it can be treated like any other variable size segment.

SOF0/SOF2

这两个section分别定义了baseline和progressive图片尺寸和颜色采样信息，

后面的字节数，是color channel*3，即每个channel对应3个byte，这3个byte分别表示：

SOS

libjpeg

有两个版本的libjpeg，一个来自IJG（http://www.ijg.org/），另一个叫libjpeg-turbo，地址：https://libjpeg-turbo.org/

完全可以考虑直接使用libjpeg-turbo，它已经是ISO/ITU的标准参考实现。Fedora的libjpeg就是turbo版本，据说IJG的社区治理不太好。

JPEG系列

JPEG2000

压缩品质更好，并且改善了无线传输时，因信号不稳定而造成的马赛克及位置错乱等问题。另外，作为JPEG的升级版，JPEG2000的压缩率比标准JPEG高约30%，同时支持有损压缩和无损压缩。它还支持渐进式传输，即，先传输图片的粗略轮廓，然后，逐步传输细节数据，使得图片由模糊到清晰逐步显示。此外，JPEG2000还支持感兴趣区域，也就是说，可以指定图片上感兴趣区域的压缩质量，还可以选择指定的部分先进行解压。还有个优势就是，JPEG2000从无损压缩到有损压缩都可以兼容。

其它资料

jpeg_parser

自制一个小工具，将jpeg文件的基本信息和格式解析出来，不是decode，这个太难了。

import sys
import re


mdict = {
    b'\xFF\xD8': 'SOI',
    b'\xFF\xD9': 'EOI',
    b'\xFF\xC0': 'SOF0',
    b'\xFF\xC2': 'SOF2',
    b'\xFF\xDB': 'DQT',
    b'\xFF\xC4': 'DHT',
    b'\xFF\xDA': 'SOS',
    b'\xFF\xFE': 'COM',
}


fmt = 12


with open(sys.argv[1].strip(), 'rb') as f:
    cont = f.read()


def sofx(pos):
    print(' '*fmt, 'bit depth', cont[pos+4])
    height = int(cont[pos+5:pos+7].hex(), 16)
    width = int(cont[pos+7:pos+9].hex(), 16)
    print(' '*fmt, 'size', f'{width}x{height}')
    print(' '*fmt, 'color channel', cc:=cont[pos+9])
    print(' '*fmt, '# channel h_samp_r v_samp_r quant_table_id')
    for i in range(cc):
        ycc = cont[pos+10+i*3:pos+10+i*3+3]
        if ycc[0] == 1:
            channel = 'Y'
        elif ycc[0] == 2:
            channel = 'Cb'
        else:
            channel = 'Cr'
        print(' '*fmt, end='')
        print(' '*4+channel, (ycc[1]&0xF0)>>4, ycc[1]&0x0F, ycc[2])


markers = re.finditer(rb'(\xFF[^\x00])', cont)
for m in markers:
    try:
        print(hex(m.span()[0]).upper().ljust(fmt,' '), mdict[m.group(0)])
        if mdict[m.group(0)] == 'SOF0':
            print(' '*fmt, 'baseline')
            sofx(m.span()[0])
        elif mdict[m.group(0)] == 'SOF2':
            print(' '*fmt, 'processive')
            sofx(m.span()[0])
    except KeyError:
        if int(m.group(0).hex(),16) & 0xFFF0 == 0xFFE0:
            marker = 'APP' + str(int(m.group(0).hex(),16)&0x000F)
            print(hex(m.span()[0]).upper().ljust(fmt,' '), marker)
        else:
            print(hex(m.span()[0]).upper().ljust(fmt,' '), m.group(0))

D:\temp>python jpeg_parser.py Indian_leopard.jpg
0X0          SOI
0X2          APP0
0X14         DQT
0X59         DQT
0X9E         SOF0
             baseline
             bit depth 8
             size 4096x2160
             color channel 3
             # channel h_samp_r v_samp_r quant_table_id
                Y 2 2 0
                Cb 1 1 1
                Cr 1 1 1
0XB1         DHT
0XD2         DHT
0X189        DHT
0X1AA        DHT
0X261        SOS
0X1C33EA     EOI

D:\temp>python jpeg_parser.py peter_drucker.jpg
0X0          SOI
0X2          APP0
0X14         DQT
0X59         SOF2
             processive
             bit depth 8
             size 590x222
             color channel 1
             # channel h_samp_r v_samp_r quant_table_id
                Y 1 1 0
0X66         DHT
0X83         SOS
0X578        DHT
0X5A9        SOS
0XFF8        DHT
0X1036       SOS
0X1AFE       DHT
0X1B29       SOS
0X2A19       SOS
0X2B26       DHT
0X2B51       SOS
0X41E4       EOI