C++ vs Python：矩阵乘法100倍速度差实测，OpenBLAS让性能飞起来

一、100倍的差距是真的到无法容忍的速度缓慢。当你在深夜对AI模型进行调试的时候, 你看着进度条在以蜗牛那样的速度一点一点地往前移动, 你是否曾经怀疑过自己的整个生活?当着同样的矩阵运算被同事用C语言在半个小时之中就给搞定掉的时候, 你用却整整需要花费一一整天的时间来进行等待, 那种绝望的感觉是否让你觉得非常眼熟、仿佛是以前就经历过的一样呢?有一位搞技术的人在博客里发的短视频最近非常火, 他的视频播放次数超过了十万次, 点赞数量超过了二千次, 他使用了看起来最清楚的矩阵乘法测试这个办法, 一下子弄清了C语言和其他编程语言之间有一百倍那样大的性能差距的这个真实情况, 这个结果让许多写代码的人全都炸开了锅, 一方面是那些语言的方便和效率高并且容易开发, 另外一方面是C这种语言能够达到极致的性能, 咱们面对这种情况应当怎么样作出选择呢。这个测试不仅仅是解答了开发者们长期以来一直存在的困惑, 同时也是给出了非常具体的优化方案, 也就是说采用库的方式来让C的性能再上一个台阶。它在很大程度上解决了以下三个核心痛点:关键技术, 也就是目前所采用的那些核心技术手段。它是一个非常基础的、属于开源类型的线性代数子程序库, 也就是人们常说的BLAS。这个库是由澎峰北京科技有限公司负责主导开发工作的。它是基于某种原有的版本演进发展而来的。在业界, 它被认为是全球范围内最为受欢迎的高性能数学参考库之一, 同时它还具备以下多个显著特点:二、核心拆解从理论到实战, 一百倍的差距是怎么产生的, 矩阵乘法这个概念它的发明人是阿瑟·凯莱, 这就是一场数学上的革命。矩阵乘法是核心中的核心数学概念, 英国数学家阿瑟·凯莱( , 1821-1895)在1855年, 把这一概念首次进行了系统定义, 在此之前呢, 数学家们处理线性方程组的时候, 依赖的是繁琐的符号系统, 这限制了思想的深度。凯莱的洞察力非常敏锐, 就像闪电一样把混沌劈开, 他把线性方程组的那些系数整理了一下, 打包成了很简洁的矩形阵列, 也就是大家所说的矩阵, 他还定义了非常完整的矩阵代数运算方式, 这种方式给现代数学打好了基础, 也给计算机科学打好了基础。1857年这个时间点, 凯莱发表了名为“矩阵理论备忘录”的论文, 这篇论文在后来被大家公认为是关于近代矩阵理论以及线性代数的一块基石, 因为他这么厉害, 所以很多人也都叫他作“矩阵代数之父”。测试环境与核心步骤关于测试所针对的环境情况。测试方案实现标准的矩阵乘法运算, 即采用包含三个嵌套循环的具体方式。 接着使用优化后的C代码来执行计算, 并且利用NumPy来实现用于测试的矩阵乘法环节。需要对1000乘以1000、2000乘以2000以及3000乘以3000这三种不同规模的矩阵进行性能测试。在此过程中要记录每一种具体实现方式所消耗的执行时间数据, 进而分析并计算各种方法之间存在的性能差距情况。最后需要详细说明如何使用C语言来编写标准模式以及经过优化处理之后的矩阵乘法代码程序。标准C矩阵乘法#include#include#includeusing namespace std;using namespace chrono;// 标准矩阵乘法3层循环实现vector matrix_mult(const vector A,const vector B) {int n A.size();int m B[0].size();int p B.size();vector C(n, vector(m, 0.0));for (int i 0; i n; i) {for (int j 0; j m; j) {for (int k 0; k p; k) {C[i][j] A[i][k] * B[k][j];}}}return C;}int main() {int size 1000;vector A(size, vector(size, 1.0));vector B(size, vector(size, 2.0));auto start high_resolution_clock::now();auto C matrix_mult(A, B);auto end high_resolution_clock::now();duration elapsed end - start;cout 标准矩阵乘法耗时: elapsed.count() 秒 endl;return 0;}请提供具体代码进行审查, 以便优化C代码。#include#include#include#include // OpenBLAS头文件using namespace std;using namespace chrono;int main() {int size 1000;int n size, m size, k size;double alpha 1.0, beta 0.0;// 初始化矩阵列优先存储适配BLAS接口vector A(n*k, 1.0);vector B(k*m, 2.0);vector C(n*m, 0.0);auto start high_resolution_clock::now();// 调用OpenBLAS矩阵乘法函数cblas_dgemm(CblasRowMajor, CblasNoTrans, CblasNoTrans,n, m, k, alpha,A.data(), k,B.data(), m,beta,C.data(), m);auto end high_resolution_clock::now();duration elapsed end - start;cout OpenBLAS优化矩阵乘法耗时: elapsed.count() 秒 endl;return 0;}编译命令# 标准C版本g -O3 matrix_std.cpp -o matrix_std# OpenBLAS优化版本g -O3 matrix_openblas.cpp -o matrix_openblas -lopenblas矩阵乘法实现import numpy as npimport timedef matrix_mult_test(size):# 创建随机矩阵A np.ones((size, size), dtypenp.float64)B np.ones((size, size), dtypenp.float64) * 2start time.time()# NumPy矩阵乘法C np.dot(A, B)end time.time()print(f{size}×{size}矩阵乘法耗时: {end - start:.4f} 秒)# 测试不同规模for size in [1000, 2000, 3000]:matrix_mult_test(size)对代码进行补充说明, 这样学生群体便能够直接执行运行操作了。import numpy as npimport timedef standard_matrix_mult(A, B):纯Python实现标准矩阵乘法3层循环n A.shape[0]m B.shape[1]p A.shape[1]C np.zeros((n, m))for i in range(n):for j in range(m):for k in range(p):C[i][j] A[i][k] * B[k][j]return Cdef numpy_matrix_mult(A, B):NumPy优化矩阵乘法return np.dot(A, B)# 测试函数def test_performance(size):print(f\n {size}×{size}矩阵性能测试 )# 创建测试矩阵A np.ones((size, size))B np.ones((size, size)) * 2# 测试纯Python实现start time.time()standard_matrix_mult(A, B)end time.time()print(f纯Python标准实现: {end - start:.4f} 秒)# 测试NumPy实现start time.time()numpy_matrix_mult(A, B)end time.time()print(fNumPy优化实现: {end - start:.4f} 秒)# 运行测试test_performance(100) # 小矩阵测试test_performance(500) # 中矩阵测试三、我们要去辩证地分析一下这中间高达一百倍的巨大差距, 这背后的真实情况到底是什么样子, 然后我们再仔细思考一下我们究竟应当该如何进行合理的选择, 接下来就让那些实打实的相关数据进行客观、震撼人心的呈现。数据是不会说谎的, 在矩阵乘法这一项核心运算上面, C语言和所谓的优化版本之间, 那个差距确实已经达到了十倍百倍的级别。然而在这个结论的背后面, 我们需要进行一个更加深入的思考动作。优势与局限两种语言的适用场景C所具有的、绝对意义上的强大优势。的不可替代性关于深度思考的这个事情, 我们来看一看它究竟涉及到性能和效率之间的那种平衡的艺术。100倍性能差距这件事儿确实让人觉得非常惊讶, 但是我们绝对不能就这么简单粗暴地得出一个是优于另一个的说法。实际上那些真正搞开发的人心里得琢磨清楚这样一个问题, 那就是究竟是在什么样的特定环境下面, 才需要我们非得去追求那种极限般的性能表现? 还有, 在什么样的状况之下相对来讲, 开发的速度和效率就显得更为关键一些了呢?最高明的处理方式并不是要你在两者之间必须选一个, 而是能够相互补充各自的长处。先用快速开发的工具去实现算法原型, 以此来验证它是不是有可行性, 等到确定没问题的阶段以后把核心的计算部分用C语言重新编写一遍, 然后把这个C代码包好作为一个接口集成到你原来那个系统里面去。四、它的现实意义在于提供了一份性能优化的实用指南, 能够使得代码的效率实现翻倍的提升效果, 并且这里面包含了立即可用的优化方案。对于方案一, 我们将关注点放在它里面的性能提升这块。使用 Numpy 来替代纯循环, 是因为 Numpy 的底层是由 C 语言实现的, 这样可以使得在处理同样的矩阵运算时, 速度能够提升100倍以上, 此外还可以利用多线程, 通过库来实现并行计算的过程, 最后如果要想实现 GPU 加速的话, 可以使用 CuPy 来替换掉 Numpy, 这样做能够在 GPU 设备上让性能提升到50到200倍的水平。方案二采用的是C语言, 并且结合了混合编程的方法。编写使用C作为核心模块: 我们要把像矩阵乘法这样计算量特别大的代码, 全部用C来实现, 然后把它编译成动态链接库, 接着调用我们自己的这个C库: 通过一些方法, 能够实现和C之间的无缝对接集成功能: 我们在C的代码里面直接使用我们的库, 目的是要获得性能方面的最佳表现, 这是一个避坑指南部分会提到的内容: 我们会说说在优化过程之中比较容易出现的常见误区, 比如过度优化这个误区, 你不要为了那些只有一点点的性能提升, 就去牺牲掉代码本身的可读性, 还有开发的工作效率, 再比如忽略瓶颈这一现象, 你要先通过具体的方式来找到真正的性能瓶颈在哪里, 然后再去进行针对性的优化工作, 这样才能避免因为盲目地进行优化而导致的问题, 还有一个就是重复造轮子的误区, 比如像MKL这些非常成熟的库, 它们内部的优化已经做得很好了, 所以我们完全没有必要再自己去实现那些复杂的算法, 这是我们总结的第五部分内容, 也就是互动话题环节的问题是让你思考一下自己会如何去平衡好性能和效率这两个方面呢。大家看完了这次实测之后, 那个性能差距达到了100倍, 不知道你对自己的技术选型, 是不是就有了一番新的思考和看法?请大家在评论区里面, 把你们自己的经验还有见解都分享出来, 让我们能够一同去探讨一下, 怎么样可以在追求性能这个方面的工作之中, 还能够保住开发时候的乐趣以及工作效率这两样重要的事情。