MPI与OpenMP并行程序设计

作者

一、什么是OpenMP？

OpenMP是一种用于共享内存并行系统的多线程程序设计的库(Compiler Directive),特别适合于多核CPU上的并行程序开发设计。它支持的语言包括：C语言、C++、Fortran;不过，用以上这些语言进行程序开发时，并非需要特别关注的地方，因为现如今的大多数编译器已经支持了OpenMP,例如：Sun Compiler,GNU Compiler、Intel Compiler、Visual Studio等等。程序员在编程时，只需要在特定的源代码片段的前面加入OpenMP专用的#pargma omp欲编译指令就可以“通知”编译器将该段程自动进行并行化处理，并且在必要的时加入线程同步及通信机制。当编译器选择忽略#pargma om预处理指令时，或者编译器不支持OpenMP时，程序又退化为一般的通用串行程序，此时，代码依然可以正常运作，只是不能利用多线程和多核CPU来加速程序的执行而已。

OpenMP使得程序员可以把更多的精力投入到并行算法本身，而非其具体实现细节。对基于数据分集的多线程程序设计，它是一个很好的选择。同时，使用OpenMP也提供了更强的灵活性，可以较容易的适应不同的并行系统配置。线程粒度和负载平衡等是传统多线程程序设计中的难题，然而，在OpenMP中，OpenMP库从程序员手中接管了部分这两方面的工作，从而使得程序员可以更加专注于具体的算法本身，而非如何编程使得代码在CPU负载平衡和线程粒度方面做出平衡。但是，作为高层抽象，OpenMP并不适合需要复杂的线程间同步和互斥的场合。OpenMP的另一个缺点是不能在非共享内存系统（如计算机集群）上使用。

在这样的系统上，MPI使用较多。

标准并行模式执行代码的基本思想是，程序开始时只有一个主线程，程序中的串行部分都由主线程执行，并行的部分是通过派生其他线程来执行，但是如果并行部分没有结束时是不会执行串行部分的。这就是标准的并行模式fork/join式并行模式，共享存储式并行程序就是使用fork/join式并行的，OpenMP亦是如此。

二、什么是MPI?

MPI(MPI是一个标准，有不同的具体实现，比如MPICH等)是多主机联网协作进行并行计算的工具，当然也可以用于单主机上多核/多CPU的并行计算，不过效率低。它能协调多台主机间的并行计算，因此并行规模上的可仲缩性很强，能在从个人电脑到世界TOP10的超级计算机上使用。缺点是使用进程间通信的方式协调并行计算，这导致并行效率较低、内存开销大、不直观、编程麻烦。

OpenMP是针对单主机上多核/多CPU并行计算而设计的工具，换句话说，OpenMP更适合单台计算机共享内存结构上的并行计算。由于使用线程间共享内存的方式协调并行计算，它在多核/多CPU结构上的效率很高、内存开销小、编程语句简洁直观，因此编程容易、编译器实现也容易（现在最新版的C、C++、Fotran编译器基本上都内置OpenMP支持)。不过OpenMP最大的缺点是只能在单台主机上工作，不能用于多台主机间的并行计算！

OpenMP和MPI是并行编程的两个手段，对比如下：

  • OpenMP:线程级（并行粒度）；共享存储；隐式（数据分配方式）；可扩展性差；
  • MPI：进程级；分布式存储；显式；可扩展性好。

OpenMP采用共享存储，意味着它只适应于SMP,DSM机器，不适合于集群。MPI虽适合于各种机器，但它的编程模型复杂：

  • 需要分析及划分应用程序问题，并将问题映射到分布式进程集合；
  • 需要解决通信延迟大和负载不平衡两个主要问题；
  • 调试MPI程序麻烦；
  • MPI程序可靠性差，一个进程出问题，整个程序将错误；

多台机器，每台都是多核，那自然就是 OpenMP + MPI

MPI Enabled;

OpenMP Enabled;
Number of OpenMP Threads: 1

# Windows 若开启超线程 2 不开启 1
set OMP_NUM_THREADS=1

# Linux  设置OMP_NUM_THREADS=1关闭了OpenMP的多线程，使得求解器程序单进程仅跑单线程。若开启超线程 2 不开启 1
export OMP_NUM_THREADS=1
export MKL_NUM_THREADS=1

OpenMP线程数设置

  通常我们希望并行线程数可以随着机器改变自适应的调整，网上介绍OpenMP的文章很多，但是很少提到该怎么分配线程数，一般来说线程数最大可以开到2*核心数，但是这样电脑计算资源就会被占用的过多，其他程序基本上会卡的不要不要的，所以我一般就设置线程为2*核心数-1。

(1) 查看核心数：

总核数 = 物理CPU个数 X 每颗物理CPU的核数

总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数

# 查看物理CPU个数

Windows 使用命令： systeminfo

Linux：

# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq

# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

# 查看CPU信息（型号）
cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c

# 如何查看Linux 内核
uname -a
cat /proc/version
(2) OpenMP获取CPU核心数：

omp_get_num_procs() 函数会返回机器的核心数

(3)OpenMP设置线程数：

#pragma omp parallel for num_threads(2*numProcs-1)

发表评论