当前位置: 网站首页 > 信息化服务 > 用户指南 > 正文
高性能计算中心Python应用指南
阅读次数:     发布时间:2022-04-15

随着大数据和人工智能的持续火热,python已连续多年问鼎编程语言流行指数(PYPL)榜单,学校高性能计算中心上的python用户和相关任务也越来越多。今天就来简单介绍下如何快速使用学校高性能计算中心上的python。

性能计算中心所采用的Centos7操作系统自带了python2.7,但要利用python做数据分析和科学计算往往需要更高版本以及些库如numpy、PyTorch等,相关版本管理以及库/包的安装配置依赖等比较复杂。为了方便大家使用,平台已部署好了Anaconda3这一集成python环境。

1、加载 anaconda

 

2、配置 anaconda 源

由于学校高性能计算中心没有外网访问权限,因此需要修改 anaconda 的默认源为工大的镜像站。linux 系统系用户可以直接修改家目录下的.condarc文件,如果文件不存在,可以通过touch ~/.condarc命令创建,然后将配置文件替换成以下内容:


运行 conda clean -i 清除索引缓存,保证用的是镜像站提供的索引。

3、虚拟环境管理

conda的核心功能是包管理和环境管理。包管理与pip的使用方法类似,环境管理则是允许用户方便地安装不同版本的python环境并在不同环境之间快速地切换。

 

创建好虚拟环境后,可以通过以下命令进入新的虚拟环境。

 

查看此时的python解释器信息:

 

一些常用的环境管理命令如下:

 

4、包管理

conda的另个强大之处在于其包管理功能,通过conda可以非常方便地安装、卸载第三方库,在安装过程中,conda会自动解决相应的依赖关系。

 

注意:如果这步出现类似下面的错误:

 

这是由于普通用户没有该目录的写入权限,可以通过新建一个虚拟环境解决。在新建的虚拟环境中,第三方库的安装目录位于用户的家目录之下。

如果出现类似下面的错误:

 

这说明该第三方库没有收录在默认的 channel 里,可以到anaconda 的官方网站查找三方库所在的channel,在安装的过程中通过 -c 指定 channel。

 

5、提交作业

高性能计算中python作业示例脚本 (可保存为submit.sh)

 

通过以下命令提交、查看、取消任务: