Szeretnék egy nagy adatkészlettel rendelkező CNN-t betanítani. Jelenleg az összes adatot betöltöm a tf.constant-ba, majd kis Batch mérettel körözöm rajta a tf.Session()-ban. Ez jól működik az adatkészlet egy kis töredékénél, de amikor növelem a bemeneti méretet, a következő hibát kapom:
ValueError: Cannot create a tensor proto whose content is larger than 2GB.
Hogyan tudnám ezt elkerülni?
Ne töltsön be adatokat konstansba, az a számítási grafikon része lesz.
Inkább:
A TensorFlow 1.x és a Python 3 esetében az én egyszerű megoldásom:
X_init = tf.placeholder(tf.float32, shape=(m_input, n_input))
X = tf.Variable(X_init)
sess.run(tf.global_variables_initializer(), feed_dict={X_init: data_for_X})
A gyakorlatban a folyamatos számításhoz többnyire a Graphot és a Sessiont adja meg, ez a következő kód segít:
my_graph = tf.Graph()
sess = tf.Session(graph=my_graph)
with my_graph.as_default():
X_init = tf.placeholder(tf.float32, shape=(m_input, n_input))
X = tf.Variable(X_init)
sess.run(tf.global_variables_initializer(), feed_dict={X_init: data_for_X})
.... # build your graph with X here
.... # Do some other things here
with my_graph.as_default():
output_y = sess.run(your_graph_output, feed_dict={other_placeholder: other_data})
