博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
小白也能看懂的Yolov4训练过程
阅读量:4074 次
发布时间:2019-05-25

本文共 6309 字,大约阅读时间需要 21 分钟。

文章目录

标注工具

labelImg:适用于图像检测的数据集制作,可以直接生成yolo的标注格式。

label 文件格式:

<目标类别>
<中心点x坐标>
<中心点y坐标>
<宽>
<高>
(归一化到了【0,1】之间,除以图像宽高)eg:
=
/
=
/

几个常用的快捷键:

w 创建矩形框
d 下一张图片
a 上一张图片

另一个工具Yolo_mark:

准备数据集

下面是标注文件为xml格式的处理过程,txt文件的话直接复制到labels文件夹即可

文件夹格式

VOCdevkit ——VOC2020        ————---Annotations  #放入所有的xml文件————---ImageSets    ——————-----Main       #放入train.txt,val.txt文件————---JPEGImages   #放入所有的训练图片文件————---labels   #放入所有的txt文件,会自动生成此文件夹————---TESTImages   #放入所有的测试图片文件#Main中的文件分别表示test.txt是测试集,train.txt是训练集,val.txt是验证集

创建文件夹的程序

import osimport timedef mkFolder(path):    year = str(time.localtime()[0])    floderName = 'VOC' + year    # path = os.path.normpath(path)    floderPath = os.path.join(path, floderName)    if not os.path.exists(floderPath):        os.makedirs(floderPath)    print(floderPath)    subfloderName = ['Annotations', 'ImageSets', 'JPEGImages', 'labels', 'TESTImages']    for name in subfloderName:        subfloderPath = os.path.join(path, floderName, name)        print(subfloderPath)        if not os.path.exists(subfloderPath):            os.makedirs(subfloderPath)        if name == 'ImageSets':            secSubFolderName = 'Main'            secSubFolderPath = os.path.join(path, floderName, name, secSubFolderName)            print(secSubFolderPath)            if not os.path.exists(secSubFolderPath):                os.makedirs(secSubFolderPath)if __name__ == '__main__':    path = r'D:\program'  #更换自己的文件夹路径    mkFolder(path)

获取所有文件名

可以修改训练集和验证集的比例,生成train.txt 和val.txt 文件

import osfrom os import listdir, getcwdfrom os.path import joinif __name__ == '__main__':    source_folder = 'D:/github/darknet/build/darknet/x64/scripts/VOCdevkit/VOC2020/JPEGImages'    dest = 'D:/github/darknet/build/darknet/x64/scripts/VOCdevkit/VOC2020/ImageSets/Main/train.txt'  # train.txt文件路径    dest2 = 'D:/github/darknet/build/darknet/x64/scripts/VOCdevkit/VOC2020/ImageSets/Main/val.txt'  # val.txt文件路径    file_list = os.listdir(source_folder)    train_file = open(dest, 'a')    val_file = open(dest2, 'a')    file_num = 0    for file_obj in file_list:        file_path = os.path.join(source_folder, file_obj)        file_name, file_extend = os.path.splitext(file_obj)        file_num = file_num + 1        if (file_num % 4 == 0):  # 每隔4张选取一张验证集            val_file.write(file_name + '\n')        else:            train_file.write(file_name + '\n')        # val_file.write(file_name + '\n')        #        # train_file.write(file_name + '\n')train_file.close()val_file.close()

运行voc_label

将voc_label.py放到VOCdevkit文件夹下,如下图所示:

在这里插入图片描述

import xml.etree.ElementTree as ETimport pickleimport osfrom os import listdir, getcwdfrom os.path import joinsets=[('2020', 'train'), ('2020', 'val')] ##这里要与Main中的txt文件一致#classes = ["bubble", "adhension","outer","inner"]classes = ["bubble"]  #  #你所标注的类别名def convert(size, box):    dw = 1./(size[0])    dh = 1./(size[1])    x = (box[0] + box[1])/2.0 - 1    y = (box[2] + box[3])/2.0 - 1    w = box[1] - box[0]    h = box[3] - box[2]    x = x*dw    w = w*dw    y = y*dh    h = h*dh    return (x,y,w,h)def convert_annotation(year, image_id):    in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id), encoding="utf8")    out_file = open('VOCdevkit/VOC%s/labels/%s.txt'%(year, image_id), 'w', encoding="utf8")    tree=ET.parse(in_file)    root = tree.getroot()    size = root.find('size')    w = int(size.find('width').text)    h = int(size.find('height').text)    for obj in root.iter('object'):        difficult = obj.find('difficult').text        cls = obj.find('name').text        if cls not in classes or int(difficult)==1:            continue        cls_id = classes.index(cls)        xmlbox = obj.find('bndbox')        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))        bb = convert((w,h), b)        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')wd = getcwd()for year, image_set in sets:    if not os.path.exists('VOCdevkit/VOC%s/labels/'%(year)):        os.makedirs('VOCdevkit/VOC%s/labels/'%(year))    image_ids = open('VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip('\n').split('\n')    list_file = open('%s_%s.txt'%(year, image_set), 'w')    for image_id in image_ids:        list_file.write('%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg\n'%(wd, year, image_id))        convert_annotation(year, image_id)    list_file.close()#os.system("cat  2020_train.txt 2020_val.txt  > train.txt")

新建obj.data

复制cfg文件夹下的voc.data,重命名为obj.data

classes= 1					train  = scripts/2020_train.txt 			valid  = scripts/2020_val.txt			names = data/obj.names				backup = backup/

新建obj.names

复制data目录下的voc.name,改为obj.name,里面写标签的名字,每行一个

修改cfg文件

把第三行batch改为batch=64把subdivisions那一行改为 subdivisions=16将max_batch更改为(数据集标签种类数(classes)*2000 但不小于训练的图片数量以及不小于6000)将第20的steps改为max_batch的0.8倍和0.9倍把位于8-9行设为width=416 height=416 或者其他32的倍数:将classes=80 改为你的类别数 (有三个地方,969行,1056行,1143行)改正[filters=255] 为 filters=(classes + 5)x3 (位置为查找yolo,每个yolo前的[convolutional]里,注意只修改最接近yolo的那个filters需要修改,一共应该有三处)如果使用 [Gaussian_yolo] 层,修改 filters=(classes + 9)x3 (位置为CRRL+F查找Gaussian_yolo,每个Gaussian_yolo前的[convolutional]里,注意只修改最接近Gaussian_yolo的那个filters需要修改,一共应该有三处)

训练数据

开始训练

yolov4.conv.137为预训练权重,没有的话会随机初始化权重

darknet.exe detector train data/obj.data yolov-obj.cfg yolov4.conv.137 -map

mAP(均值平均精度) = 所有类别的平均精度求和除以所有类别

每4个Epochs计算一次map

训练生成的权重文件在<backup>目录下:

last_weights 每迭代100次保存一次xxxx_weights 每迭代1000次保存一席

继续训练

每迭代100步可以手动停止,下次训练加载此次的权重文件便可以接着训练。

eg:从2000步停止训练后,可以使用如下命令继续训练

darknet.exe detector train data/obj.data yolo-obj.cfg backup\yolo-obj_2000.weights

停止训练

停止训练的条件:

训练过程中如果 avg出现nan,训练可能出错,需要停止如果nan出现在其他行,训练正常如果迭代很多次后avg补再下降,需要停止avg越低越好—,也要防止过拟合对小的模型、简单的数据集,avg一般为0.05对大的模型、复杂的数据集,avg一般为3

提高目标检测准确率

  1. 为了在一张图像上检测大量的目标:修改cfg文件,在最后一个[yolo]层增加max=200或者更大的值
  2. 为了检测更小的目标(自己的图像缩放到416X416目标尺寸小于16X16):
895行 layers = 23. 892行 stride=4989行 stride=4
  1. 如果你的数据左右对象作为不同的类,比如:左右手、向左转、向右转路标

    在数据增强部分 17行增加flip=0

  2. 如果小目标和巨大的目标一起训练,需要修改模型

  3. 为了使定位框更准确,在每个[yolo]层增加ignore_thresh = .9 iou_normalizer=0.5 iou_loss=giou——这会提高mAP@0.9, 但是会降低mAP@0.5.

  4. 如果你很精通,可以重新计算自己数据集的anchor

darknet.exe detector calc_anchors data/obj.data -num_of_clusters 9 -width 416 -height 416 -show

在这里插入图片描述

同目录下会生成anchors.txt
7. 更高的准确率需要更高的分辨率,608X608或者832X832,如果显存不够,增加subdivisions=16, 32 or 64

转载地址:http://nxwni.baihongyu.com/

你可能感兴趣的文章
java接口不能实例化原因浅谈
查看>>
Https加密及攻防
查看>>
Java生成随机不重复推广码邀请码
查看>>
Java8 Lambda表达式介绍
查看>>
Java8 stream流介绍
查看>>
Java多线程之synchronized及死锁编写
查看>>
Java NIO源码剖析及使用实例(一):Buffer
查看>>
[swift实战入门]手把手教你编写2048(一)
查看>>
[swift实战入门]手把手教你编写2048(二)
查看>>
Java 爬虫入门(网易云音乐和知乎实例)
查看>>
[swift实战入门]手把手教你编写2048(三)
查看>>
堆排序原理(图)及java版代码
查看>>
【JAVA数据结构】栈(数组实现)
查看>>
【JAVA数据结构】双向链表
查看>>
【JAVA数据结构】先进先出队列
查看>>
String类的intern方法随笔
查看>>
【泛型】一个简易的对象间转换的工具类(DO转VO)
查看>>
adb server version (39) doesn't match this client (40); killing...
查看>>
Unity高级游戏地编案例
查看>>
UE4地编大型开放世界~制作烘焙全流程
查看>>