事实证明在大内存进程上使用NUMA(分布式内存存取)技术并不容易,我们在试图更新我们的MySQL初始化脚本到世界级水准的时候发现了 这个问题。正如我 们之前所述,当前的最佳做法是为MySQL、 MongoDB、 Memcached 和 Java等大内存进程系统使用 numactl 来设置完全交叉存取的 NUMA 系统模式。这可以防止在未知的核心内存类型上运行缓慢,还可以避免在其他节点还有足够空闲内存时发生交换(也即虚拟内存的使用)。

但 是我们发现,至少在Xen虚拟机使用的CentOS 5的某些版本上,NUMA未被编译进去,自然也不被支持。虽然还不是特别清楚,但这似乎是为了避免某些情况下的内核引导故障。这样做的结果是,NUMA 不被支持,因此 numactl也就没用了,但是我们依然应该注意别发生交换问题,即便是在 NUMA 硬件上。

我们现在正准备用一个不同的内核来为虚拟机启用NUMA机制,虽然这可能没多少意义,然后我们会使用numactl来设置基本上防止NUMA发生的交叉存取模式(这样,至少大内存进程可能因为NUMA意识到位置问题而受益,当然,不包括内核和其他进程)。

我们还没有仔细考虑的另一种方案是在启动的时候关闭NUMA支持,理论上这样做将会运行在类似交叉存取的模式,也可以解决问题,很有意思。