Tensorflow运行方式

inference()函数会尽可能地构建图表，做到返回包含了预测结果的Tensor

1. 接受图像占位符为输入
2. 借助ReLu激活函数，构建一对完全连接层
3. 一个有着十个节点、指明了输出logits模型的线性层

每一层都创建于一个唯一的 tf.name_scope 之下，创建于该作用域之下的所有元素都将带有其前缀

with tf.name_scope('hidden1') as scope:

loss()函数通过添加所需的损失操作，进一步构建图表

首先labels_placeholer中的值，将被编码为一个含有1-hot values的Tensor。例如，如果类标识符为“3”，那么该值就会被转换为 [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]：

batch_size = tf.size(labels)
labels = tf.expand_dims(labels, 1)
indices = tf.expand_dims(tf.range(0, batch_size, 1), 1)
concated = tf.concat(1, [indices, labels])
onehot_labels = tf.sparse_to_dense(
    concated, tf.pack([batch_size, NUM_CLASSES]), 1.0, 0.0)

之后，又添加一个 tf.nn.softmax_cross_entropy_with_logits 操作，用来比较inference()函数与1-hot标签所输出的logits Tensor：

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits,
                                                        onehot_labels,
                                                        name='xentropy')

然后，使用 tf.reduce_mean 函数，计算batch维度（第一维度）下交叉熵的平均值，将该值作为总损失：

loss = tf.reduce_mean(cross_entropy, name='xentropy_mean')

最后，程序会返回包含了损失值的Tensor

training()函数添加了通过梯度下降将损失最小化所需的操作

首先，该函数从loss()函数中获取损失Tensor，将其交给 tf.scalar_summary ，后者在与SummaryWriter配合使用时，可以向事件文件中生成汇总值，每次写入汇总值时，它都会释放损失Tensor的当前值：

tf.scalar_summary(loss.op.name, loss)

接下来，实例化一个 tf.train.GradientDescentOptimizer ，负责按照所要求的学习效率应用梯度下降法：

optimizer = tf.train.GradientDescentOptimizer(FLAGS.learning_rate)

之后，生成一个变量用于保存全局训练步骤的数值，并使用minimize()函数更新系统中的三角权重、增加全局步骤的操作。根据惯例，这个操作被称为 train_op，是TensorFlow会话诱发一个完整训练步骤所必须运行的操作：

global_step = tf.Variable(0, name='global_step', trainable=False)
train_op = optimizer.minimize(loss, global_step=global_step)

最后，程序返回包含了 训练操作输出 结果的Tensor

一旦图表构建完毕，就通过 fully_connected_feed.py 文件中的用户代码进行循环地迭代式训练和评估

执行每一步时，代码会生成一个反馈字典，其中包含对应步骤中训练所要使用的例子，这些例子的哈希键就是其所代表的 占位符操作

fill_feed_dict 函数会查询给定的DataSet，索要下一批次batch_size的图像和标签，与占位符相匹配的Tensor则会包含下一批次的图像和标签：

images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size)

然后，以占位符为哈希键，创建一个Python字典对象，键值则是其代表的反馈Tensor：

feed_dict = {
    images_placeholder: images_feed,
    labels_placeholder: labels_feed,
}

这个字典随后作为feed_dict参数，传入sess.run()函数中，为这一步的训练提供输入样例

在运行sess.run函数时，要在代码中明确其需要获取的两个值： [train_op, loss]

for step in xrange(FLAGS.max_steps):
    feed_dict = fill_feed_dict(data_sets.train,
                               images_placeholder,
                               labels_placeholder)
    _, loss_value = sess.run([train_op, loss],
                             feed_dict=feed_dict)

因为要获取这两个值，sess.run()会返回一个有两个元素的元组。其中每一个Tensor对象，对应了返回的元组中的numpy数组，而这些数组中包含了当前这步训练中对应Tensor的值。由于train_op并不会产生输出，其在返回的元祖中的对应元素就是None，所以会被抛弃。但是，如果模型在训练中出现偏差，loss Tensor的值可能会变成NaN，所以要获取它的值，并记录下来

假设训练一切正常，没有出现NaN，训练循环会每隔100个训练步骤，就打印一行简单的状态文本，告知用户当前的训练状态：

if step % 100 == 0:
    print 'Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration)

为了得到可以用来后续恢复模型以进一步训练或评估的检查点文件，实例化一个 tf.train.Saver

saver = tf.train.Saver()

在训练循环中，将定期调用 saver.save() 方法，向训练文件夹中写入包含了当前所有可训练变量值得检查点文件：

saver.save(sess, FLAGS.train_dir, global_step=step)

这样，以后就可以使用 saver.restore() 方法，重载模型的参数，继续训练：

saver.restore(sess, FLAGS.train_dir)