时空⾏为检测数据集JHMDBUCF101_24详解⽂章⽬录
0. 前⾔
现在常⽤的时空⾏为检测数据集只有AVA/JHMDB/UCF101_24。
AVA数据集是每⼀秒标⼀帧，更多信息可以参考。
JHMDB/UCF101_24 是逐帧标注的数据
1. JHMDB
，
1.1. 基本情况
JHMDB是对HMDB数据集的⼆次标注，即 joint-annotated HMDB。
HMDB数据集有51类，5100多视频。拧的组词
JHMDB只标注了HMDB的⼀部分，21类只包括⼀个⼈的⾏为，也删除了⼀些这21类⾏为中⼈不明显的样本。
21类每⼀类有36-55个样本，每个样本包括了⾏为的起始与终⽌时间，每个样本包括14-40帧。
JHMDB⼀共标注了31838张图⽚。
类别列表（21类）
sit
run
pullup
walk
shoot_gun
brush_hair
jump
pour
pick
kick_ball
golf
shoot_bow
catch
clap
swing_baball
潍坊景点climb_stairs
throw
wave
shoot_ball
push
stand
每个视频最多只有⼀类⽬标⾏为，bbox只标了做⽬标⾏为的那⼏个⼈
1.2. 数据准备以及标签详解
下⾯内容参考了 ，数据下载在上⾯的⽂档中有介绍了，反正就是⼀个压缩包，没啥好说的。
原始JHMDB数据集中好像有关键点、分割等的标签，但我们这个任务中不⽤。
标签全部保存在JHMDB-GT.pkl 中，这个⽂件是⼀个字段，包括了6个key
labels (list): List of the 21 labels，21类⾏为标签，即上⼀⼩节中提到的。
gttubes (dict): Dictionary that contains the ground truth tubes for each video.
每个视频、每帧对应的标签（bbox以及⾏为类别）
key为每个样本的相对路径，⽐如walk/Panic_in_the_Streets_walk_u_cm_np1_ba_med_5
value也是list，表⽰⼀系列tubes
每个tube⽤字典表⽰，class_id/bboxes键值对
A gttube is dictionary that associates with each index of label and a list of tubes.
A tube is a numpy array with nframes rows and 5 columns, each col is in format like <frame index> <x1> <y1> <x2>
<y2>.
nframes (dict): Dictionary that contains the number of frames for each video, like
'walk/Panic_in_the_Streets_walk_u_cm_np1_ba_med_5': 16.
每个视频包含多少帧图⽚。
key为每个样本的相对路径，value为帧数量。
train_videos (list): A list with nsplits=1 elements, each one containing the list of training videos.
list对象，每个元素也是list（包含若⼲视频样本信息）
训练集相关视频有哪些
动感校园
鲁迅读后感每个样本通过其相对路径表⽰
test_videos (list): A list with nsplits=1 elements, each one containing the list of testing videos.
list对象，每个元素也是list（包含若⼲视频样本信息）
测试集相关视频有哪些
每个样本通过其相对路径表⽰
resolution (dict): Dictionary that outputs a tuple (h,w) of the resolution for each video, like
'pour/Bartender_School_Students_Practice_pour_u_cm_np1_fr_med_1': (240, 320).
key为每个样本的相对路径，value为对应分辨率
2. UDF101_24
2.1. 基本情况
UCF101_24是UCF101数据集的⼦集，使⽤了⼀些不⼀样的标签。
关于标签来源有点尴尬，UCF101中本来是有对应标签的，但现在已经不能下载了。
现在的UCF101_24标签是从中，说是进⾏了⼀些微调。
每个视频最多只有⼀类⽬标⾏为，bbox只标了做⽬标⾏为的那⼏个⼈。
感觉也有例外，salsospin有样本都有多个⼈跳舞（⼤于等于6个），但只标了俩⼈。
类别信息（共24类）
WalkingWithDog
Diving
PoleVault
SkateBoarding
CricketBowling
GolfSwing
Skijet
RopeClimbing
FloorGymnastics
Basketball
Biking
VolleyballSpiking
Fencing
CliffDiving
HorRiding
SoccerJuggling
TennisSwing
LongJump
SalsaSpin
TrampolineJumping
IceDancing
Skiing
Surfing
BasketballDunk
2.2. 数据准备与标签详解
数据下载以及其他相关可以参考 ，数据下载在上⾯的⽂档中有介绍了，反正就是⼀个压缩包，没啥好说的。
标签与1.2.数据准备以及标签详解完全相同，这⾥就不多说了。悄悄离开
3. 数据集可视化代码
需求分析：根据类别展⽰训练样本，在图⽚上画bbox。
import argpar
import os
import os
import cv2
import pickle
from collections import defaultdict
星期天的日记
def_par_args():
parr = argpar.ArgumentParr()
parr.add_argument("--datat",type=str, default="ucf101_24")
parr.add_argument("--datat_root_path",type=str,
default="/ssd01/data/ucf101_24")
parr.add_argument("--rgb-dir-name",type=str, default="rgb-images")
# JHMDB & UCF101_24
parr.add_argument("--pkl-filename",type=str, default="UCF101v2-GT.pkl") parr.add_argument("--img-impl",type=str, default="%05d.jpg")
return parr.par_args()
def_darknet_draw_bbox(bboxes,
labels,
scores,
img,
bboxes_color=(0,255,0),
bboxes_thickness=1,
text_color=(0,255,0),
text_thickness=2,
text_front_scale=0.5):
"""
bbox的形式是 xyxy，取值范围是像素的值
labels是标签名称
scores是置信度，[0, 1]的浮点数
"""
for idx,(bbox, label)in enumerate(zip(bboxes, labels)):
xmin, ymin, xmax, ymax = bbox
pt1 =(int(xmin),int(ymin))# 左下
pt2 =(int(xmax),int(ymax))# 右上
# 画bbox
# 写上对应的⽂字
cur_label = label
if scores is not None:
cur_label +=" ["+str(round(scores[idx]*100,2))+"]"
cv2.putText(
img=img,
text=cur_label,
org=(pt1[0], pt1[1]-5),
fontFace=cv2.FONT_HERSHEY_SIMPLEX,
fontScale=.5,
color=(0,255,0),
thickness=2,
运动损伤的概念)
return img
def_show_single_video(rgb_dir, tubes, nframes, label, img_impl):
draw_imgs =[]
for i in range(nframes):
天河三号img = cv2.imread(os.path.join(rgb_dir, img_impl %(i+1)))
boxes = tubes[i+1]
