ubuntu source
1 | deb http://cn.archive.ubuntu.com/ubuntu/ willy main restricted universe multiverse |
1 | --- |
0%
The 'packaging' package is required;
1 | pip uninstall setuptools |
tensorflow 保存模型
1 | |--checkpoint_dir |
meta文件
MyModel.meta文件保存的是图结构，meta文件是pb（protocol buffer）格式文件，包含变量、op、集合等。
ckpt文件
ckpt文件是二进制文件，保存了所有的weights、biases、gradients等变量
1 | MyModel.data-00000-of-00001 |
save
1 | saver.save(sess, './checkpoint_dir/MyModel',global_step=step,write_meta_graph=False) |
load
1 | new_saver = tf.train.import_meta_graph('./checkpoint_dir/MyModel-1000.meta') |
python debug失败
禁用ray, 转交控制权
aria /etc/aria2/aria2.session, cause: No such file
The error indicates that file /etc/aria2/aria2.session is missing. Create the file, and try again.
批量转换图片 webp到png
1 | ls | grep .webp | xargs -I {} dwebp {} -o {}.png |
pssh
1 | sudo apt-get install pssh |
pssh在多个主机上并行地运行命令
-h 执行命令的远程主机列表,文件内容格式[user@]host[:port]
如 test@172.16.10.10:229
-H 执行命令主机，主机格式 user@ip:port
-l 远程机器的用户名
-p 一次最大允许多少连接
-P 执行时输出执行信息
-o 输出内容重定向到一个文件
-e 执行错误重定向到一个文件
-t 设置命令执行超时时间
-A 提示输入密码并且把密码传递给ssh(如果私钥也有密码也用这个参数)
-O 设置ssh一些选项
-x 设置ssh额外的一些参数，可以多个，不同参数间空格分开
-X 同-x,但是只能设置一个参数
-i 显示标准输出和标准错误在每台host执行完毕后
pscp 传输文件到多个hosts，类似scp
pscp -h hosts.txt -l irb2 foo.txt /home/irb2/foo.txt
pslurp 从多台远程机器拷贝文件到本地
pnuke 并行在远程主机杀进程
pnuke -h hosts.txt -l irb2 java
prsync 使用rsync协议从本地计算机同步到远程主机
prsync -r -h hosts.txt -l irb2 foo /home/irb2/foo
1 | parallel-rsync -h ~/ray/workers.txt -r ./s_t ~/s_t |
tensorflow cuda9
支持cuda8的tensorflow版本
1 | py3.5, tf-gpu1.4 |