基于Tensorflow下的批量数据的输入处理:
1.Tensor TFrecords格式
2.h5py的库的数组方法
在tensorflow的框架下写CNN代码,我在书写过程中,感觉不是框架内容难写, 更多的是我在对图像的预处理和输入这部分花了很多精神。
使用了两种方法:
方法一:
Tensor 以Tfrecords的格式存储数据,如果对数据进行标签,可以同时做到数据打标签。
①创建TFrecords文件
orig_image = '/home/images/train_image/' gen_image = '/home/images/image_train.tfrecords' def create_record(): writer = tf.python_io.TFRecordWriter(gen_image) class_path = orig_image for img_name in os.listdir(class_path): #读取每一幅图像 img_path = class_path + img_name img = Image.open(img_path) #读取图像 #img = img.resize((256, 256)) #设置图片大小, 在这里可以对图像进行处理 img_raw = img.tobytes() #将图片转化为原声bytes example = tf.train.Example( features=tf.train.Features(feature={ 'label': tf.train.Feature(int64_list=tf.train.Int64List(value=[0])), #打标签 'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))#存储数据 })) writer.write(example.SerializeToString()) writer.close()
②读取TFrecords文件
def read_and_decode(filename): #创建文件队列,不限读取的数据 filename_queue = tf.train.string_input_producer([filename]) reader = tf.TFRecordReader() _, serialized_example = reader.read(filename_queue) features = tf.parse_single_example( serialized_example, features={ 'label': tf.FixedLenFeature([], tf.int64), 'img_raw': tf.FixedLenFeature([], tf.string)}) label = features['label'] img = features['img_raw'] img = tf.decode_raw(img, tf.uint8) #tf.float32 img = tf.image.convert_image_dtype(img, dtype=tf.float32) img = tf.reshape(img, [256, 256, 1]) label = tf.cast(label, tf.int32) return img, label
③批量读取数据,使用tf.train.batch
min_after_dequeue = 10000 capacity = min_after_dequeue + 3 * batch_size num_samples= len(os.listdir(orig_image)) create_record() img, label = read_and_decode(gen_image) total_batch = int(num_samples/batch_size) image_batch, label_batch = tf.train.batch([img, label], batch_size=batch_size, num_threads=32, capacity=capacity) init_op = tf.group(tf.global_variables_initializer(), tf.local_variables_initializer()) with tf.Session() as sess: sess.run(init_op) coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(coord=coord) for i in range(total_batch): cur_image_batch, cur_label_batch = sess.run([image_batch, label_batch]) coord.request_stop() coord.join(threads)
方法二:
使用h5py就是使用数组的格式来存储数据
这个方法比较好,在CNN的过程中,会使用到多个数据类存储,比较好用, 比如一个数据进行了两种以上的变化,并且分类存储,我认为这个方法会比较好用。
import os import h5py import matplotlib.pyplot as plt import numpy as np import random from scipy.interpolate import griddata from skimage import img_as_float import matplotlib.pyplot as plt os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' class_path = '/home/awen/Juanjuan/Python Project/train_BSDS/test_gray_0_1/' for img_name in os.listdir(class_path): img_path = class_path + img_name img = io.imread(img_path) m1 = img_as_float(img) m2, m3 = sample_inter1(m1) #一个数据处理的函数 m1 = m1.reshape([256, 256, 1]) m2 = m2.reshape([256, 256, 1]) m3 = m3.reshape([256, 256, 1]) orig_image.append(m1) sample_near.append(m2) sample_line.append(m3) arrorig_image = np.asarray(orig_image) # [?, 256, 256, 1] arrlsample_near = np.asarray(sample_near) # [?, 256, 256, 1] arrlsample_line = np.asarray(sample_line) # [?, 256, 256, 1] save_path = '/home/awen/Juanjuan/Python Project/train_BSDS/test_sample/train.h5' def make_data(path): with h5py.File(save_path, 'w') as hf: hf.create_dataset('orig_image', data=arrorig_image) hf.create_dataset('sample_near', data=arrlsample_near) hf.create_dataset('sample_line', data=arrlsample_line) def read_data(path): with h5py.File(path, 'r') as hf: orig_image = np.array(hf.get('orig_image')) #一定要对清楚上边的标签名orig_image; sample_near = np.array(hf.get('sample_near')) sample_line = np.array(hf.get('sample_line')) return orig_image, sample_near, sample_line make_data(save_path) orig_image1, sample_near1, sample_line1 = read_data(save_path) total_number = len(orig_image1) batch_size = 20 batch_index = total_number/batch_size for i in range(batch_index): batch_orig = orig_image1[i*batch_size:(i+1)*batch_size] batch_sample_near = sample_near1[i*batch_size:(i+1)*batch_size] batch_sample_line = sample_line1[i*batch_size:(i+1)*batch_size]
在使用h5py的时候,生成的文件巨大的时候,读取数据显示错误:ioerror: unable to open file (bad object header version number)
基本就是这个生成的文件不能使用,适当的减少存储的数据,即可。
以上这篇基于Tensorflow批量数据的输入实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]