优化算法中的收敛速度是如何分析的？

分析算法的收敛速度通常需要具备哪些基础知识？如何量化的分析算法收敛速度？

谢邀。

通常是在同一实验环境下，收敛速度通常是固定收敛精度去比较各算法所用的时间。直接用数据作图表分析算法优劣，没有别的特别的分析方法。

对比算法性能还可以固定时间，对比各算法在优化同一问题时达到的精度。

如果写论文时实验部分数据过于单调的话，也可以两个实验都做，增加丰富度、篇幅（划掉～）

如果单纯在Algorithm complexity角度的话，可以进行理论的Big O Notation的比较。

如果题主问的是Optimization的Convergence Analysis,往往结合问题使用的solver(Gradient descent)来进行分析。个人认为背后数学的本质就是sequence, series of functions convergence的一些东西。比如两个convergent sequences来比较谁的收敛速度更快。这样的convergence comparison test可以是(root, ratio test, etc)。优化算法的每一步可以想象成element of convergent sequence，比较不同ojbect function和solver可以想象成在不同的sequences来进行不同的convergent test的比较。

当然理论分析是一方面，实验上可以进行numerical experiment，来看是否理论之中有盲区。

希望有帮助