问题：周末凌晨系统进行定时全备，由于数据库已经超过13TB，因此0点开始的全备到第二天8点业务高峰开始的时候并未完成。于是备份与业务共同作用下导致了IO瓶颈的出现，最终导致了系统故障的悲剧。如果运维团队能够第一时间发现该问题，暂停RMAN备份（临时挂起），就可以很快解决该问题，恢复系统运行。而由于现场运维团队往往缺失整体分析的能力，对OS方面也不是很熟，所以很容易忽视这方面的问题，而很快从MOS上找到十分贴切的案例，根据这个案例的误导，最终导致悲剧

原文地址：http://mp.weixin.qq.com/s?__biz=MzA5MzQxNjk1NQ==&mid=2647836459&

全部内容

针对复杂系统的优化，我们也不能掉以轻心，需要进行综合性分析，然后找到一个整体的解决方案，再进行实施。

如果系统是由一系列的服务组成的，这些服务之间存在上下游关系。就像一条河一样，水会从上游流到下游。由于排队效应的存在，任何一个上游环节被打通，就会有更多的水流向下游，下游环节如果存在新的瓶颈，那么可能会出现更为严重的堵塞。因此在做一些存在极限负载的系统的优化的时候，我们一定要考虑到排队效应的问题，充分考虑系统下游的承载能力，再采取相应的优化措施。否则上游优化一旦完成，下游无法承载过量的业务的时候，可能导致灾难。

系统发生性能问题时，最好从系统架构方面分析，对应用服务器jvm作thread du

全部内容