关于CUDA和cuDNN的介绍说明及TensorFlow的GPU支持
一、简介
CUDA ®由英伟达开发作为并行计算架构，并提供相应的编程模型。该平台通过运用图形处理单元 (GPU) 的强大计算能力，在执行复杂任务时能显著提升性能。
基于 NVIDIA 的 CUDA 技术开发的深度学习框架 cuDNN 是一个依赖 GPU 加速的核心组件库。该框架通过提供频繁出现在深度学习应用中的标准例程实现了高度可调节性和优化性能。
二、TensorFlow的GPU支持
版本对应表
三、在Windows上安装CUDA&cuDNN
CUDA安装
下载之后，默认安装就好。
需要注意的一个问题： 安装的第一步是让你选择一个临时文件夹，并且这是一个临时文件夹，在完成安装后会自动被删除。你可以根据需要调整其存储路径位置；但请注意不要将这个默认设置误认为是CUDA官方的安装路径！如图所示
cuDNN安装
下载后，安装到你指定的路径，这个路径你要记得 。
最后
1.导航到您的 <安装路径>包含cuDNN 的目录。
2.解压缩cuDNN包 。
cudnn-x.x-windows-x64-v8.x.x.x.zip
要么：
cudnn-x.x-windows10-x64-v8.x.x.x.zip
3.将以下文件复制到CUDA Toolkit目录中。
第1步：将位于<安装路径>\cuda\bin目录下的cudnn*.dll文件拷贝至C:\Program Files\NVIDIA GPU 计算工具包\CUDA\vxx版本对应的Binaries目录下。
第2步：从<安装路径>\cuda(isolate)\include目录中提取cudnn*.h头文件，并将其放置于C:\Program Files\d drive中的指定位置。
第3步：将位于<安装路径>\cuda\x64目录中的cudnn*.lib动态链接库文件复制至C:\Windows\System32或者指定驱动器位置下的相应库文件夹中。
在哪里：
CUDA 的目录位置设置为 C:\Program Files\NVIDIA GPU 计算工具包\CUDA\vx.x
cuDNN 的目录位于 <安装目录> 下方
- 配置环境变量以便指向cuDNN所在位置。要访问的环境变量是$(CUDA_PATH)。（以下是操作步骤：）
a. 启动‘开始’菜单中的命令提示符。
b. 通过按压Win+R键进入命令提示符窗口。
c. 运行控制 sysdm.cpl命令。
d. 选择高级选项卡。
e. 单击窗口底部的环境变量按钮（这其实就是让你打开环境变量设置）。
f. 确保设置了以下值：
变量名: CUDA_PATH
变量值: C:\Program Files\NVIDIA GPU ComputingToolkit\CUDA\x.xx