Papp2

papp_cloud-2.11.7 使用手册 #

1 简介 #

papp_cloud 是一个登录超算的命令行工具,具备 ssh、scp、rsync、sftp、sshfs 的基础功能,支持 IPv4 和 IPv6 两种协议。

1.1 功能 #

  • lsc:查看支持的超算中心
  • ssh:登录超算
  • scp:上传/下载文件
  • rsync:同步文件
  • sftp:加密的ftp文件传输
  • sshfs:挂载远程服务器目录

1.2 支持的平台 #

  • Linux x86_64
  • Linux i686
  • Linux arm
  • Darwin amd64
  • Darwin arm64

2 快速开始 #

本章节将带您快速上手 papp_cloud,以下操作都是在 linux/macOS 系统 的命令行中完成。接下来请您打开一个命令行界面,跟着本节教程一起完成以下操作。

2.1 下载 papp_cloud 安装包 #

如果您已经获取到 papp_cloud 的安装包,可以跳过这一步,进入下面的安装步骤。

  • 点击下载 进入 papp_cloud 下载页面。

2.2 安装 papp_cloud #

进入到 papp_cloud 安装包所在的目录,开始下面的步骤。

  • 解压 papp_cloud 安装包
unzip papp_cloud-2.11.7.zip
  • 进入 papp_cloud 安装包目录
cd papp_cloud-2.11.7
  • 安装
./install.sh install

下面将以广州超算为例,做简单的使用说明

账号:paratera,密钥文件:paratera.id

2.3 设置密钥文件权限 #

进入到您密钥文件所在目录,设置文件权限为 0600

chmod 0600 paratera.id

2.4 ssh 登录超算 #

papp_cloud ssh -i paratera.id paratera@gz

2.5 sftp 登录超算 #

papp_cloud sftp -i paratera.id paratera@gz

2.6 scp 上传本地文件到超算 #

papp_cloud scp -i paratera.id file1 paratera@gz:/home/paratera

2.7 scp 下载超算文件到本地 #

papp_cloud scp -i paratera.id paratera@gz:/home/paratera/file1 /tmp

2.8 rsync 同步本地文件到超算 #

papp_cloud rsync -i paratera.id file1 paratera@gz:/home/paratera/

2.9 rsync 同步超算文件到本地 #

papp_cloud rsync -i paratera.id paratera@gz:/home/paratera/file1 /tmp

2.10 sshfs 挂载远程主机目录到本地 #

papp_cloud sshfs paratera@gz:/home/paratera/file1 /localdir

2.11 lsc 查看支持的超算中心 #

papp_cloud lsc

3 安装设置 #

3.1 安装 #

  • 解压 papp_cloud-2.11.7.zip
unzip papp_cloud-2.11.7.zip
  • 进入 papp_cloud-2.11.7 目录
cd papp_cloud-2.11.7
  • 执行 install.sh 脚本安装 papp_cloud
./install.sh install

3.2 升级 #

 ./install.sh update

3.3 卸载 #

./install.sh remove

4 设置密钥文件权限 #

注意:若您是使用密钥的方式登录超算,密钥文件的权限一定要修改为 0600,才能正常使用
进入到您密钥文件所在目录,设置文件权限为 0600

chmod 0600 paratera.id

5 配置 ~/.ssh/config #

配置实例如下:

vim ~/.ssh/config
forwardx11 yes
forwardx11trusted yes
serveraliveinterval 60
forwardx11timeout 596h

Host gz
    HostName gz
    User paratera
    IdentityFile /home/paratera/paratera.id

需要修改的参数:

  • Host:主机别名,建议写超算中心的名称,方便记忆
  • HostName:这里写需要登录的超算名称,比如广州超算:gzguangzhou 都可以
  • User:登录超算的用户名
  • IdentifyFile:登录超算的密钥文件路径,根据实际情况填写

6 ssh 的使用 #

6.1 ssh 登录超算 #

命令格式

papp_cloud ssh [<flags>] <destination> [<command>...]

例1:使用 paratera 帐号登录长沙超算(密码方式)

papp_cloud ssh paratera@cs 或papp_cloud ssh paratera@changsha

例2:使用 paratera 帐号登录广州超算(密钥方式)

papp_cloud ssh -i paratera.id paratera@gz

例3:使用 paratera 帐号登录广州超算(ssh_config方式)

papp_cloud ssh gz

7 scp 的使用 #

命令格式

papp_cloud scp [<flags>] <source ... target>...

7.1 上传本地文件到超算 #

例1:使用 paratera 帐号上传 file1、file2 文件到吕梁超算的 paratera 用户家目录(密码方式)

papp_cloud scp file1 file2 paratera@ll:/home/paratera/

例2:使用 paratera 帐号上传 file1、file2 文件到广州超算的 paratera 用户家目录(密钥方式)

papp_cloud scp -i paratera.id file1 file2 paratera@gz:/home/paratera

例3:使用 paratera 帐号上传 file1、file2 文件到广州超算的 paratera 用户家目录(ssh_config方式)

papp_cloud scp file1 file2 gz:/home/paratera/

7.2 下载超算文件到本地 #

例1:使用 paratera 帐号下载长沙超算 paratera 用户家目录下的 file1 文件到本地的 /data 目录下(密码方式)

papp_cloud scp paratera@cs:/home/paratera/file1 /data

例2:使用 paratera 帐号下载广州超算 paratera 用户家目录下的 file1 文件到本地的 /data 目录下(密钥方式)

papp_cloud scp -i paratera.id paratera@gz:/home/paratera/file1 /data

例3:使用 paratera 帐号下载长沙超算 paratera 用户家目录下的 file1 文件到本地的 /data 目录下(ssh_config方式)

papp_cloud scp cs:/home/paratera/file1 /data

8 rsync 功能(支持断点续传) #

命令格式

papp_cloud rsync [<flags>] <source ... target>...

8.1 同步本地文件到超算 #

例1:使用 paratera 帐号同步 file1、file2 文件到吕梁超算的 paratera 用户家目录(密码方式)

papp_cloud rsync file1 file2 paratera@ll:/home/paratera/

例2:使用 paratera 帐号同步 file1、file2 文件到广州超算的 paratera 用户家目录(密钥方式)

papp_cloud rsync -i paratera.id file1 file2 paratera@gz:/home/paratera

例3:使用 paratera 帐号同步 file1、file2 文件到吕梁超算的 paratera 用户家目录(ssh_config方式)

papp_cloud rsync file1 file2 ll:/home/paratera/

8.2 同步超算文件到本地 #

例1:使用 paratera 帐号下载长沙超算 paratera 用户家目录下的 file1 文件到本地的 /data 目录下(密码方式)

papp_cloud rsync paratera@cs:/home/paratera/file1 /data

例2:使用 paratera 帐号下载广州超算 paratera 用户家目录下的 file1 文件到本地的 /data 目录下(密钥方式)

papp_cloud rsync -i paratera.id paratera@gz:/home/paratera/file1 /data

例3:使用 paratera 帐号下载长沙超算 paratera 用户家目录下的 file1 文件到本地的 /data 目录下(ssh_config方式)

papp_cloud rsync cs:/home/paratera/file1 /data

9 sftp 的使用 #

9.1 sftp 登录超算 #

命令格式

papp_cloud sftp [<flags>] <destination>...

例1:使用 paratera 帐号登录长沙超算(密码方式)

papp_cloud sftp paratera@cs

例2:使用 paratera 帐号登录广州超算(密钥方式)

papp_cloud sftp -i paratera.id paratera@gz

例3:使用 paratera 帐号登录长沙超算(ssh_config方式)

papp_cloud sftp cs

10 sshfs的使用 #

10.1 sshfs 挂载远程主机目录 #

命令格式

papp_cloud sshfs <[user@]host:[dir]> <mountpoint>

例1:挂载广州超算目录 /home/paratera 到本地挂载点 /localdir

papp_cloud sshfs paratera@gz:/home/paratera /localdir

11 选择超算连接链路 #

默认情况下,不加 ‘-s’ 参数,papp_cloud 会自动选择一条 ping 延时最小的链路, 如果需要手动选择,需添加 ‘-s’ 参数。

支持 ssh、scp、rsync、sftp、sshfs 功能的链路选择,命令格式如下:

11.1 命令格式 #

papp_cloud ssh -s [<flags>] <destination> [<command>...]
papp_cloud scp -s [<flags>] <source ... target>...
papp_cloud sftp -s [<flags>] <destination>...
papp_cloud rsync -s [<flags>] <source ... target>... 

11.2 使用实例 #

➜  papp_cloud git:(master) ✗ papp_cloud ssh -s -i ~/.ssh/paratera.id paratera@gz
Super Computing link list:
[0]. 华北区 (1449)
[1]. 华北区 (1640)
[2]. 华北区 (1641)
[3]. 华北区 (1642)
Please input a nubmer continue or enter 'q' to quit:1
Warning: Permanently added '119.90.38.51' (RSA) to the list of known hosts.
Last login: Thu Nov 30 15:41:04 2017 from 172.18.14.10
***************************************************************************************************
                 >>>>                       Paratera Message System               <<<<
                 >>>>                        做计算,找并行!                     <<<<
                 >>>>  注:请大家使用以下命令查看自己账号磁盘配额及使用情况,如果 <<<<
                 >>>>  发现磁盘配额用满或接近限额请及时清理数据或扩大存储,以免对 <<<<
                 >>>>  您的作业造成影响,有问题随时随时联系我们。                 <<<<
                 >>>>  例如:lfs quota -u ppXXX  /HOME/ppXXX/WORKSPACE            <<<<
                 >>>>  或    lfs quota -u ppXXX  /HOME/ppXXX/BIGDATA              <<<<
                 >>>>  当kbytes值>quota值或接近是就需要清理或扩大存储空间         <<<<

***************************************************************************************************

12 debug 功能 #

在 ssh、scp、rsync、sftp、sshfs 命令后添加 ‘-vvv’ 参数

命令格式:

  • ssh Debug
 papp_cloud ssh -vvv user@center

例1:paratera 用户不能正常登录广州超算,需要查看登录失败详情,使用以下命令

papp_cloud ssh -vvv -i paratera.id paratera@gz

13 查看支持的超算中心 #

papp_cloud lsc