点云数据集
⼀、ModelNet40（点云分类）
普林斯顿ModelNet项⽬的⽬标是为计算机视觉、计算机图形学、机器⼈和认知科学领域的研究者们提供⼀个全⾯、⼲净的三维CAD模型集合, 该数据的主页地址, 数据最早发布在论⽂ [CVPR 2015]上.
相关⼯作⼈员从数据中选择了常见的40类和10类构成数组⼦集, 分别表⽰为ModelNet40和ModelNet10, 且两个数据集都有orientation aligned的版本。实验中数据⽤到⽐较多的是ModelNet40, 有如下三种数据形式:
数据集modelnet40_normal_resampled.zip modelnet40_ply_hdf5_2048.zip ModelNet40.zip ⽂件⼤⼩ 1.71G435M 2.04G
内容point: x, y, z, normal_x, normal_y,
normal_z;
shape: 10k points
point: x, y, z; normal_x, normal_y,
normal_z;
shape: 2048 points
off格式, 具体参考
训练集 / 测试
集
9843 / 24689840 / 24689844 / 2468下载地址
新疆法宣在线登录平台⼆、ShapeNet Part（点云分割）大学学习委员
ShapeNet数据集是⼀个有丰富标注的、⼤规模的3D图像数据集, 发布于 [arXiv 2015], 它是普林斯顿⼤学、斯坦福⼤学和TTIC研究⼈员共同努⼒的结果, 官⽅主页为.ShapeNet包括ShapeNetCore和ShapeNetSem⼦数据集.
ShapeNet Part是从ShapeNetCore数据集选择了16类并进⾏语义信息标注的数据集, ⽤于点云的语义分割任务, 其数据集发表
于 [SIGGRAPH Asia 2016], 官⽅主页为 . 数据包含⼏个不同的版本, 其下载链接分别为 (1.08G)和(635M). 下⾯就第2个数据集gmentation benchmark进⾏介绍:
从下⾯表格可以看出, ShapeNet Part总共有16类, 50个parts，总共包括16846个样本。该数据集中样本呈现出不均衡特性，⽐如Table 包括5263个, ⽽Earphone只有69个。每个样本包含2000多个点, 属于⼩数据集。该数据集中训练集12137个, 验证集1870个, 测试集2874个, 总计16881个。[注意, 这⾥和下⾯表格统计的(16846)并不⼀样, 后来发现是训练集、验证集和测试集有35个重复的样本]
类别nparts/shape nsamples平均npoints/shape
Airplane426902577
Bag2762749
Cap2552631
Car48982763
Chair437462705
Earphone3692496
Guitar37872353
Knife23922156
Lamp415462198
Laptop24452757
Motorbike62022735
Mug21842816
Pistol32752654
Rocket3662358
类别nparts/shape nsamples平均npoints/shape
Skateboard31522529
Table352632722
Total50168462616
如何节约用电三、S3DIS（语义分割）
S3DIS是3D室内场景的数据集, 主要⽤于点云的语义分割任务。主页. 关于S3DIS的论⽂是 [arXiv 2017]和 [CVPR 2016]. S3DIS从3个building的6个Area采集得到, Area1, Area3, Area6属于buidling1, Area2和Area4属于building 2, Area5属于building 3. 常⽤的数据下载格式包括如下三种:
, ⽐如:
, ⽐如:
, ⽐如:
其中和都是完整场景的数据集, 每个点对应6个维度(x, y, z, r, g, b), ⽽是对原始数据场景的切割，把⼤场景切割成1m x 1m的block: 完整数据集被切割成了23585个block, 每个block是4096个点, 每个点对应9个维度: 除了x, y, z, r, g, b信息外，剩余的3维是相对于所在⼤场景的位置(归⼀化坐标).
下⾯是由数据统计得到的关于S3DIS的信息, 可能和论⽂中⼀些结果不太⼀致。S3DIS数据集由以上6个Area采集得到, 共包含272个场景，可分为11种不同的场景(括号内为场景数量, 场景⼤⼩(点的数量)): office(156, 87w), conference room(11, 142w), hallway(61,
122w), auditorium(2, 817w), open space(1, 197w), lobby(3, 242w), lounge(3, 146w), pantry(3, 58w), copy room(2, 52w), storage(19, 35w) and WC(11, 70w). 根据语义信息, 上述场景被分成14个类别, 如下表所⽰. 可以看到不同的类别也是不均衡的, ⽐如wall有1547个, 但sofa只有55个.
Total column clutter chair window beam floor wall ceiling door bookca board table sofa stairs 98332543882136316815928415473855435841374555517四、3DMatch数据集(关键点、特征描述⼦、点云配准等)
高中英语必修三
3DMatch数据集收集了来⾃于62个场景的数据，其中54个场景的数据⽤于训练，8个场景的数据⽤于评估，其具体名称查
看和。3DMatch数据常⽤于3D点云的关键点，特征描述⼦，点云配准等任务。
| [CVPR 2017]
3DMatch原始数据集: ，共包括64个.zip⽂件。
以其中⼀个场景7-scenes-stairs为例，介绍其数据格式，如下截图所⽰，原始的3DMatch数据集包括两个.txt⽂件，多个q⽂件夹，每
个q⽂件夹下包括多帧的.color.png, .depth.png, .po.txt，可以看到， 其本⾝是不包括点云数据的，但是可以由这些数据⽣成点云数据(ply)，⼀般是50帧-100帧⽣成⼀个点云数据，⽣成点云的代码可以参考fu_fragments_3DMatch.py。
下⾯介绍3DMatch的训练集，包括和处理的训练集。
户外团建活动
1、3DMatch的训练集(FCGF)
3DMatch训练集来⾃54个场景，详细类别名称参见。每个场景均由1个q或者多个q的数据组成。这⾥以 ⽹络使⽤的数据格式为例介绍3DMatch数据集。
⾸先，从下载训练集，下载解压后可以得到401个txt⽂件和2189个npz⽂件。2189个npz对应每个点云数据，包括(x, y, z)及对应的(r, g, b)信息，其中命名规则是场景@qid-id，例如，表⽰此数据来⾃7-scenes-chess场景的q-01，编号为000。401个txt表⽰这些npz的点云数据是如何关联的，其命名规则为场景@qid-overlap，如表⽰7-scenes-chess场景的q-01下的overlap⼤于0.30的数据，打开此⽂件后，可以看到如下信息:
村行杜牧
7-scenes-chess@q-01_000.npz 7-scenes-chess@q-01_001.npz 0.886878
7-scenes-chess@q-01_000.npz 7-scenes-chess@q-01_002.npz 0.636459
7-scenes-chess@q-01_000.npz 7-scenes-chess@q-01_003.npz 0.825012
7-scenes-chess@q-01_000.npz 7-scenes-chess@q-01_004.npz 0.783642
每⼀⾏表⽰点云之间的对应关系，如第⼀⾏表⽰点云和具有0.886878的overlap。可视化结果如下，第⼀个图中的红⾊的点云是，蓝⾊的
点云是，可以看到两者是对齐的；第⼆个图是这两个点云的rgb信息的可视化。
统计了⼀下，54个场景总共提供了7960对点云。
2、3DMatch训练集(D3Feat)
下载D3Feat训练使⽤的，解压后是6个.pkl⽂件，分别
是 3DMatch_train_0.030_keypts.pkl, 3DMatch_train_0.030_overlap.pkl, 3DMatch_train_0.030_points.pkl, 3DMatch_val_0.030_keypts.pkl, 可以通过查看这些.pkl⽂件是如何产⽣的。
3DMatch_train_0.030_keypts.pkl存储了什么信息 ?
点云名(str, 如sun3d-brown_bm_1-brown_bm_1/q-01/cloud_bin_0) -> 点云(ndarray, n x 3)。
总共有3933个点云数据，点云点最少的是850个，点云点最多的是197343，平均点云点数量是27127。
3DMatch_train_0.030_overlap.pkl存储了什么信息 ?
点云对(str, 如7-scenes-pumpkin/q-07/cloud_bin_11@7-scenes-pumpkin/q-08/cloud_bin_2) -> overlap值(float)
总共有35297个点云对，overlap的最⼩值为0.30，最⼤值0.995，平均值为0.515。
3DMatch_train_0.030_points.pkl存储了什么信息 ?
骑单车的好处点云对(str, 如analysis-by-synthesis-office2-5b/q-01/cloud_bin_34@analysis-by-synthesis-office2-5b/q-01/cloud_bin_35) -> 映射关系(ndarray, m x 2)
可视化pairs中的点云和对应关键点
左图为两个具有overlap的点云的可视化，中间和右边的可视化是分别在红⾊和绿⾊点云上添加了对应点(蓝⾊区域)(来⾃
于3DMatch_train_0.030_points.pkl)的可视化结果。
3、3DMatch的测试集
3DMatch的测试集包括以下8个场景，其中每个场景对应两个⽂件夹。以7-scenes-redkitchen为例，
它包括7-scenes-redkitchen和7-scenes-redkitchen-evaluation两个⽂件夹，7-scenes-redkitchen⽂件夹下存放的是点云数据，命名格式均为cloud_bin_*.ply，共包括60个点云数据；7-scenes-redkitchen-evaluation/gt.log存放了correspondences点云对，组织格式为:
0 1 60
9.96926560e-01 6.68735757e-02 -4.06664421e-02 -1.15576939e-01
-6.61289946e-02 9.97617877e-01 1.94008687e-02 -3.87705398e-02
4.18675510e-02 -1.66517807e-02 9.98977765e-01 1.14874890e-01
0.00000000e+00 0.00000000e+00 0.00000000e+00 1.00000000e+00
赞美秋天的诗词0 2 60
9.54999224e-01 1.08859481e-01 -2.75869135e-01 -3.41060560e-01
-9.89491703e-02 9.93843326e-01 4.96360476e-02 -1.78254668e-01
2.79581388e-01 -2.01060700e-02 9.59896612e-01
3.54627338e-01
0.00000000e+00 0.00000000e+00 0.00000000e+00 1.00000000e+00
0 1 60中的0和1表⽰cloud_bin_0.ply和cloud_bin_1.ply点云是成对的，60表⽰总共包括有60个点云数据(前⾯也提到过)，下⾯四列表⽰cloud_bin_1.ply -> cloud_bin_0.ply的变换矩阵。
可视化变换后的点云，红⾊的表⽰cloud_bin_0.ply点云，蓝⾊的表⽰对cloud_bin_1.ply变换后的点云，可视化结果显⽰两者基本重叠:
其它场景的统计数据如下，可视化和统计信息的代码均可通过test_t.py实现。
名称点云数量Pairs数量
7-scenes-redkitchen60506
sun3d-home_at-home_at_scan1_2013_jan_160156 sun3d-home_md-home_md_scan9_2012_p_3060208
