Filter
Top Products
InfiniPath User Guide
Version 2.0
Page viii IB6054601-00 D
Q
C.4.5 OpenFabrics Load Errors If ib_ipath Driver Load Fails . . . . . . . . . . C-10
C.4.6 InfiniPath ib_ipath Initialization Failure . . . . . . . . . . . . . . . . . . . . . . C-11
C.4.7 MPI Job Failures Due to Initialization Problems . . . . . . . . . . . . . . . . . C-11
C.5 OpenFabrics Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-12
C.5.1 Stop OpenSM Before Stopping/Restarting InfiniPath . . . . . . . . . . . . . C-12
C.5.2 Load and Configure IPoIB Before Loading SDP . . . . . . . . . . . . . . . . . C-12
C.5.3 Set $IBPATH for OpenFabrics Scripts . . . . . . . . . . . . . . . . . . . . . . . . . C-12
C.6 System Administration Troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . C-12
C.6.1 Broken Intermediate Link . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-13
C.7 Performance Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-13
C.7.1 MVAPICH Performance Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-13
C.8 InfiniPath MPI Troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-13
C.8.1 Mixed Releases of MPI RPMs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-13
C.8.2 Cross-compilation Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-14
C.8.3 Compiler/Linker Mismatch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-15
C.8.4 Compiler Can’t Find Include, Module or Library Files . . . . . . . . . . . . . C-15
C.8.5 Compiling on Development Nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . C-16
C.8.6 Specifying the Run-time Library Path . . . . . . . . . . . . . . . . . . . . . . . . . C-16
C.8.7 Run Time Errors With Different MPI Implementations . . . . . . . . . . . . . C-17
C.8.8 Process Limitation with ssh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-19
C.8.9 Using MPI.mod Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-19
C.8.10 Extending MPI Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-20
C.8.11 Lock Enough Memory on Nodes When Using a Batch Queuing
System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-21
C.8.12 Error Messages Generated by mpirun . . . . . . . . . . . . . . . . . . . . . . . C-22
C.8.12.1 Messages from the InfiniPath Library . . . . . . . . . . . . . . . . . . . . . . . . C-22
C.8.12.2 MPI Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-24
C.8.12.3 Driver and Link Error Messages Reported by MPI Programs. . . . . . C-27
C.8.13 MPI Stats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-28
C.9 Useful Programs and Files for Debugging . . . . . . . . . . . . . . . . . . . . . . . . C-29
C.9.1 Check Cluster Homogeneity with ipath_checkout . . . . . . . . . . . . . C-29
C.9.2 Restarting InfiniPath . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-29
C.9.3 Summary of Useful Programs and Files . . . . . . . . . . . . . . . . . . . . . . . C-30
C.9.4 boardversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-31
C.9.5 ibstatus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-32
C.9.6 ibv_devinfo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-32
C.9.7 ident . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-32
C.9.8 ipath_checkout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-33
C.9.9 ipath_control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-34
C.9.10 ipathbug-helper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C-35