准备材料:
- 服务器或工作站一台或若干台 (也可以是云资源)(本案例用VM-VirtualBox)
- 操作系统 Linux (建议CentOS-7-x86_64-DVD-2207-02.iso或者其他稳定性高RHEL 7+)
- LSTC LicenseManager : LSTC_LicenseManager_149316_xeon64.tgz
- LS-DYNA_Release_R14.0.0
- MPI -推荐 IBM Platform_MPI9.1 或 Intel
- PBS torque-6.1.2.tar.gz PBS(Portable Batch System)最初由NASA的Ames研究中心开发 或者 Slurm
网络规划:
- 外网-DHCP 接入工作局域网.
- 计算内网,推荐10G+ FC Ethernet 10us 或者 IP over IB 200Gbps(InfiniBand — 无限带宽技术(简称IB)转发时延至100ns以下,远远快于Ethernet交换机,)
- 管理内网-HP iLO / Dell iDrac等
一、安装系统
系统早已安装完毕。 VirtualBox快速部署LS-DYNA工作站版本
直接导入VM中。如下图,创建head-node. node1,node2, ndoe3, node4 5台
提示此主机需要支持Intel VT-x, BIOS 里面 Intel VT-x处于禁用状态改为启用。
二、 网络设置 hostname
规划网络架构,本次简单网络
Hostname | Comput IP /24 | Manage IP /24 | Remark |
head-node | 10.0.2.10 | 192.168.56.102 | 管理节点 |
node1 | 10.0.2.11 | 192.168.56.103 | 计算节点1 |
node2 | 10.0.2.12 | 192.168.56.104 | 计算节点2 |
node3 | 10.0.2.13 | 192.168.56.105 | 计算节点3 |
node4 | 10.0.2.14 | 192.168.56.106 | 计算节点4 |
vi /etc/hosts
127.0.0.1 head-node ::1 head-node 10.0.2.10 head-node 10.0.2.11 node1 10.0.2.12 node2 10.0.2.13 node3 10.0.2.14 node4禁用NetworkManager, 并根据规划手动设置IP地址.
systemctl stop NetworkManager systemctl disable NetworkManager systemctl status NetworkManager echo “nameserver 114.114.114.114” >> /etc/resolv.conf cat /etc/resolv.conf三、网络免密互通 挂载存储 安装MPIRUN 详细看 LSDYNA+MPI+PBS+Submit system
echo “/data *(rw,sync)” >> /etc/exports ; cat /etc/exports vi /etc/exports /data *(rw,sync) exportfs -a exportfs -av showmount -e umount /data mount -t nfs head-node:/data /data echo “head-node:/data /data nfs defaults 0 0” >> /etc/fstab vi /etc/fstab mount -a exportfs -a exportfs -av showmount -e sudo ip route add default via 10.0.2.2 >/dev/null 2>&1 sudo route add default gw 10.0.2.2 >/dev/null 2>&1 ssh-keygen -t rsa -N ” -f id_rsa -q ssh-copy-id -i /root/.ssh/id_rsa.pub head-node四、 安装排队系统 Torque PBS安装 详细 过程比较复杂 和 Debug 遇到各种问题。
wget http://wpfilebase.s3.amazonaws.com/torque/torque-6.1.3.tar.gz
五、 安装 OASYS 20 Shell Linux 版本 Arup提交
六、 添加账号
rsync -avhP /etc/passwd /data/users/
rsync -avhP /etc/shadow /data/users/
rsync -avhP /data/users/passwd /etc/passwd
rsync -avhP /data/users/shadow /etc/shadow