Mnist数据集解读
Mnist数据集简介
春晓诗配画MNIST是⼀个⼿写体数字的图⽚数据集，该数据集来由美国国家标准与技术研究所（National Institute of Standards and Technology (NIST)）发起整理，⼀共统计了来⾃250个不同的⼈⼿写数字图⽚，其中50%是⾼中⽣，50%来⾃⼈⼝普查局的⼯作⼈员。该数据集的收集⽬的是希望通过算法，实现对⼿写数字的识别。
1998年，Yan LeCun 等⼈发表了论⽂《Gradient-Bad Learning Applied to Document Recognition》，⾸次提出了LeNet-5 ⽹络，利⽤上述数据集实现了⼿写字体的识别。
Mnist数据集官⽹：
数据下载
官⽹上提供了数据集的下载，主要包括四个⽂件：
金融是什么意思⽂件下载⽂件⽤途
训练集图像
训练集标签
测试集图像
测试集标签
在上述⽂件中，训练集⼀共包含了 60,000 张图像和标签，⽽测试集⼀共包含了 10,000 张图像和标签。测试集中前5000个来⾃最初NIST项⽬的训练集.，后5000个来⾃最初NIST项⽬的测试集。前5000个⽐后5000个要规整，这是因为前5000个数据来⾃于美国⼈⼝普查局的员⼯，⽽后5000个来⾃于⼤学⽣。
该数据集⾃1998年起，被⼴泛地应⽤于机器学习和深度学习领域，⽤来测试算法的效果，例如线性分类器（Linear Classifiers）、K-近邻算法（K-Nearest Neighbors）、⽀持向量机（SVMs）、神经⽹络（Neural Nets）、卷积神经⽹络（Convolutional nets）等等。
数据集解读
下载上述四个⽂件后，将其解压会发现，得到的并不是⼀系列图⽚，⽽是 .idx1-ubyte和.idx3-ubyte 格式的⽂件。这是⼀种IDX数据格式，其基本格式如下:
magic number
size in dimension 0
size in dimension 1
size in dimension 2
家乡美景作文.....
size in dimension N
data
其中magic number为4字节，前2字节永远是0，第3字节代表数据的格式：
0x08: unsigned byte
0x09: signed byte
0x0B: short (2 bytes)本命年有什么讲究
0x0C: int (4 bytes)
0x0D: float (4 bytes)
0x0E: double (8 bytes)
第4字节的含义表⽰维度的数量（dimensions）: 1 表⽰⼀维（⽐如vectors）, 2 表⽰⼆维（ ⽐如matrices），3表⽰三维（⽐如numpy 表⽰的图像，⾼，宽，通道数）。
训练集和测试集的标签⽂件的格式(t rai n-labels-i dx1-uby t e和t10k-labels-i dx1-uby t e)
idx1-ubtype的⽂件数据格式如下：
[offt] [type] [value] [description]
0000 32 bit integer 0x00000801(2049) magic number (MSB first)宝贝成长语录
bt30004 32 bit integer 60000 number of items
0008 unsigned byte ?? label
0009 unsigned byte ?? label
........
xxxx unsigned byte ?? label
第0 ~ 3字节，是32位整型数据，取值为0x00000801(2049)，即⽤幻数2049记录⽂件数据格式，这⾥的格式为⽂本格式。
第4～7个字节，是32位整型数据，取值为60000（训练集时）或10000（测试集时），⽤来记录标签数据的个数；
第8个字节 ~ ），是⼀个⽆符号型的数，取值为对应0~9 之间的标签数字，⽤来记录样本的标签。
训练集和测试集的图像⽂件的格式(t rai n-i m ages-i dx3-uby t e和t10k-i m ages-i dx3-uby t e)
idx3-ubtype的⽂件数据格式如下：
[offt] [type] [value] [description]
0000 32 bit integer 0x00000803(2051) magic number
0004 32 bit integer 60000 number of images
0008 32 bit integer 28 number of rows
0012 32 bit integer 28 number of columns
0016 unsigned byte ?? pixel
0017 unsigned byte ?? pixel
........
xxxx unsigned byte ?? pixel
即：
第0 ~ 3字节，是32位整型数据，取值为0x00000803(2051)，即⽤幻数2051记录⽂件数据格式，这⾥的格式为图⽚格式。
第4～7个字节，是32位整型数据，取值为60000（训练集时）或10000（测试集时），⽤来记录图⽚数据的个数；
第8～11个字节，是32位整型数据，取值为28，⽤来记录图⽚数据的⾼度；
第12～15个字节，是32位整型数据，取值为28，⽤来记录图⽚数据的宽度；
第16个字节 ~ ），是⼀个⽆符号型的数，取值为0~255之间的灰度值，⽤来记录图⽚按⾏展开后得到的灰度值数据，其中0表⽰背景（⽩⾊），255表⽰前景（⿊⾊）。
数据读取
由于数据集的格式是⼀个特殊的⼆进制⽂件，规则如上所述。要读取数据，则需要按照⽂件数据结构进⾏解读，使⽤到了struct，并且涉及到Endian数据结构知识。有关资料如下：
这⾥我们尝试从训练集中读取并展⽰⼀组数据，⾸先将⽂件解压，将train-labels.idx1-ubyte 和 train-images.idx3-ubyte ⽂件放置同⼀路径下，
并在此路径新建python⽂件，内容如下：
import os
import struct
import numpy as np
# 读取标签数据集
with open('./train-labels.idx1-ubyte', 'rb') as lbpath:
labels_magic, labels_num = struct.unpack('>II', ad(8))
labels = np.fromfile(lbpath, dtype=np.uint8)
# 读取图⽚数据集
with open('./train-images.idx3-ubyte', 'rb') as imgpath:
images_magic, images_num, rows, cols = struct.unpack('>IIII', ad(16)) images = np.fromfile(imgpath, dtype=np.uint8).reshape(images_num, rows * cols) # 打印数据信息
print('labels_magic is {} \n'.format(labels_magic),
'labels_num is {} \n'.format(labels_num),
'labels is {} \n'.format(labels))
print('images_magic is {} \n'.format(images_magic),恐龙谷
'images_num is {} \n'.format(images_num),
'rows is {} \n'.format(rows),
'cols is {} \n'.format(cols),
'images is {} \n'.format(images))
# 测试取出⼀张图⽚和对应标签
import matplotlib.pyplot as plt
choo_num = 1 # 指定⼀个编号，你可以修改这⾥
label = labels[choo_num]
image = images[choo_num].reshape(28,28)
plt.imshow(image)
plt.title('the label is : {}'.format(label))
plt.show()
结果如下：
labels_magic is 2049
labels_num is 60000
labels is [5 0 4 ... 5 6 8]
images_magic is 2051
images_num is 60000
rows is 28
cols is 28
images is [[0 0 0 ... 0 0 0]
[0 0 0 ... 0 0 0]
[0 0 0 ... 0 0 0]
...
[0 0 0 ... 0 0 0]
云的英语怎么读
[0 0 0 ... 0 0 0]
[0 0 0 ... 0 0 0]]
当然，⽬前已经有许多深度学习框架已经内置了Mnist数据集，并且有相关的函数直接读取并划分数据集，但是对数据集进⾏详细的解读⼗分有必要，相信有了上⾯的解读，你将对Mnist数据集更加深刻！
