快活林资源网 Design By www.csstdc.com
DataSet是tensorflow 1.3版本推出的一个high-level的api,在1.3版本还只是处于测试阶段,1.4版本已经正式推出。
在网上搜了一遍,发现关于使用DataSet加载文本的资料比较少,官方举的例子只是csv格式的,要求csv文件中所有样本必须具有相同的维度,也就是padding必须在写入csv文件之前做掉,这会增加文件的大小。
经过一番折腾试验,这里给出一个DataSet+TFRecords加载变长样本的范例。
首先先把变长的数据写入到TFRecords文件:
def writedata(): xlist = [[1,2,3],[4,5,6,8]] ylist = [1,2] #这里的数据只是举个例子来说明样本的文本长度不一样,第一个样本3个词标签1,第二个样本4个词标签2 writer = tf.python_io.TFRecordWriter("train.tfrecords") for i in range(2): x = xlist[i] y = ylist[i] example = tf.train.Example(features=tf.train.Features(feature={ "y": tf.train.Feature(int64_list=tf.train.Int64List(value=[y])), 'x': tf.train.Feature(int64_list=tf.train.Int64List(value=x)) })) writer.write(example.SerializeToString()) writer.close()
然后用DataSet加载:
feature_names = ['x'] def my_input_fn(file_path, perform_shuffle=False, repeat_count=1): def parse(example_proto): features = {"x": tf.VarLenFeature(tf.int64), "y": tf.FixedLenFeature([1], tf.int64)} parsed_features = tf.parse_single_example(example_proto, features) x = tf.sparse_tensor_to_dense(parsed_features["x"]) x = tf.cast(x, tf.int32) x = dict(zip(feature_names, [x])) y = tf.cast(parsed_features["y"], tf.int32) return x, y dataset = (tf.contrib.data.TFRecordDataset(file_path) .map(parse)) if perform_shuffle: dataset = dataset.shuffle(buffer_size=256) dataset = dataset.repeat(repeat_count) dataset = dataset.padded_batch(2, padded_shapes=({'x':[6]},[1])) #batch size为2,并且x按maxlen=6来做padding iterator = dataset.make_one_shot_iterator() batch_features, batch_labels = iterator.get_next() return batch_features, batch_labels next_batch = my_input_fn('train.tfrecords', True) init = tf.initialize_all_variables() with tf.Session() as sess: sess.run(init) for i in range(1): xs, y =sess.run(next_batch) print(xs['x']) print(y)
注意变长的数据TFRecords解析要用VarLenFeature,然后用sparse_tensor_to_dense转换。
以上这篇使用tensorflow DataSet实现高效加载变长文本输入就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
快活林资源网 Design By www.csstdc.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
快活林资源网 Design By www.csstdc.com
暂无评论...
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
2025年01月02日
2025年01月02日
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]