对于24小时不间断服务的客服中心来说，系统稳定运行是业务能够连续的基本前提，因此系统保障的重要性不言而喻。在2008年北京奥运及2009年国庆期间，政府及管理部门一再提高公共服务部门的客服中心系统的保障级别，多次进行督查，商业银行的呼叫中心系统也被列为重点保障系统。
作为技术部门，在确保系统稳定同时，还需要及时响应业务需求，做好系统开发和系统调试，因此客服一线人员压力很大，后台技术支持人员也不能轻松。
本人从事银行呼叫中心系统开发和维护工作多年，对于系统的维护一直如履薄冰，不敢疏忽，各种的体会颇深，现在借助客户世界杂志将系统维护的感受整理出来，既是与朋友分享，更希望抛砖引玉，引同业专家更多指点。
一、呼叫中心系统维护的难点
1、系统庞大，点多面广，维护难度高。呼叫中心系统综合使用了信息技术和电信技术，虽然从单个产品来看，市场上主流产品都是经过充分检验，稳定性很高，如交换机，无论是AVAYA、阿尔卡特还是国产的华为都非常稳定，这些厂商甚至宣称稳定性达99.99%,按此估算，每年出现出现故障的概率只有1-2次，其他的IVR和CTI产品也基本如此。但不能因此就高枕无忧，因为从整个系统来看既有外在电信运营商的系统，也有企业内部网络系统，还有呼叫中心自身的语音交换机、IVR、CTI录音，数据库、座席操作子系统等等，就算每个子系统或设备一年出现一次故障，累计起来故障就不低了，而且每一个环节出故障都有可能影响服务的正常运行，因此给呼叫中心管理者的感觉是系统故障出现频率较高。
2、小故障容易升级为大的故障，局部故障容易升级为全面故障。因呼叫中心直接面对客户，交互性很强，当系统某一环节出现故障，客户不能及时联络座席代表，客户就会产生有恐慌和抱怨情绪，就会不断拨打电话，导致电话量迅速上升，通话时长也会提高，如此恶性循环，很容易导致系统资源紧不足直至系统瘫痪，酿成大事故。
另外系统由多个设备和子系统构成一个完整服务链条，整合性很强，如其中一个环节出现问题很容易迅速传递到其他地方，瞬间话务高峰对系统的冲击力常会导致潜在问题爆发，一旦传导到瓶颈环节，就可以导致系统崩溃，例如呼叫中心子系统中，最难灵活调整的资源就是座席代表数，一旦遇到突发瞬时话务高峰，座席代表无法立即补充，就会导致大量电话排队，占用线路，而客户电话接通后又因等候时间过长升级为投诉电话，延长通话时间，如此反复会导致所有线路被占满，新的电话打不进来，这种现象每个呼叫中心都遇到过，很难避免。
3、呼叫中心技术进入 新一轮转换升级重要时期，带来技术架构和运营模式的转变，系统架构的复杂程度有降低的趋势，但应用上又在朝更复杂的方向发展。随着网络宽带设施的发展，新技术在不断推进，目前呼叫中心技术正由传统的交换机转向基于IP的软交换和融合通讯技术，由此带来多渠道介入和统一路由管理的变革，在变革过程中，对统系调整和稳定性带来新的考验。
4、精细化运营管理带来新的要求。基于成本和利润的考量，呼叫中心在不断降低成本同时，也在努力增加收入，因此在朝着精细化管理方向努力，对运营的绩效、系统监控、服务质量检验、座席排班等应用的技术大量增加，这需要系统开发改造紧密切合运营管理，带来应用上改进压力很大，给维护工作者提出了新的课题。
二、对于技术维护保障工作一些体会
经过多年系统维护的探索，我们意识到，做好系统管理和维护，最重要的是着眼全局，从系统设计时就应该考虑维护的方便，平衡技术和业务之间的关系，投入与收益关系，人才培养和调动各设备原厂商的资源等。
1、系统需要维护，系统设计应该便于维护。好的系统设计者不是在投产后才考虑维护，而是从设计建设开始就为方便维护保障，在不增加成本或者较少增加成本的前提下提高系统安全级别，增强系统纠错、自我恢复性能，可以大大提高运营时维护成本。许多用户在建设时为了省钱，导致架构不合理，以致维护成本长期居高不下，反而带来浪费，这种情况非常普遍。
2、根据系统各个模块或子系统之间的关系和维护特点分别对待，确保关键设备的安全稳定。呼叫中心庞大系统中有多个子系统组成，彼此集成为一个完整的链条，但这个链条上各个环节的稳定性是有差别的，一旦某个环节出问题，就会传导到其他环节。
按功能来分，呼叫中心系统基本分为三大板块：
一是话务处理板块、业务处理板块和运营管理板块，话务处理板块致客户来电接入、转接到录音等，这是呼叫中心系统与其他IT系统差别所在，也是投入最大的一个板块，包括PBX、IVR、CTI、录音及网络等，也可以说整个系统中的最重要板块，理论上不能完全中断，因为这个板块不出现问题，电话就能接进来，对业务影响范围就较小，也便于控制客户情绪。因此对这部分系统一方面要选择市场上成熟高度、非常稳定的产品，另一方面对于这些设备应该采用双机热备自动切换，以便在一台机器出现故障时，备机立即投入使用；对于管家设备或系统，应该纳入监控之中，人工监控或者系统自动监控，设立预警参数，以便提前获知故障信息，及时采取措施。增加预警容错和自我纠正机制不妨碍整个系统运行。
二是业务处理板块：一般指呼叫中心系统中内部处理功能并与企业业务系统对接，包括订单处理、客户账户查询、业务受理等具体交易，涉及到的设备及系统有数据库、应用网关、weblogic及中间件等，与企业业务系统连接，这个板块的系统构件基本是通用的IT设备，但复杂程度仍然较高，对于系统的压力也很敏感，由话务板块在前面支撑，如果出现瞬间的客户不会明显感觉不到，而且即使有些异常，由于电话保持通畅，座席能起到安抚作用，处理客户的请求，一般可以承受片刻的终端，在中断时座席可以通过电话安抚，因此对于这一部分可以在不同类别交易设置隔离机制，以免出现大面积的系统瘫痪，降低影响范围。
三是运营管理板块：现代呼叫中心转向精细化后，需要不断提高工作效率，降低成本，挖掘潜力，因此需要加强对座席代表的管理，提供业务处理自动化程度等，都需要在系统帮助下加强运营的管理，这类系统包括报表、绩效、质检、排班、培训等，基本属于呼叫中心的内部管理，不直接和客户发生联系，因而对系统的实时响应方面要求较低，可以支持较长时间中断。
因此在系统设计上可以将三个板块系统切开，切断故障的传导机制，将资源集中到话务系统和业务处理系统上去，对于关键设备采用备份或负载均衡策略等，在资源闲置时再处理管理业务。
3、加强系统自动监控和预警机制，防患于未然，建立维护操作界面，方便现场工程师维护。
由于系统非常复杂，安排正常系统健康巡检，及早排除故障隐患，同时邀请专业厂商的专家定期诊断系统，不断优化，预防为主，是非常有效的措施。
系统不间断运行，而现场一直驻守工程师成本很高，因此还需要建立系统预警机制，如服务器、交换机、数据库等状态监控，设置预警数值，突破后发送短信给值班工程师等措施，非常重要，可以做到，及时化解系统故障，避免带来大的损失。
最后，还应从技术和运营两方面建立应急机制，通过预警防范可以避免大多数故障，但毕竟系统涉及环节太多，无法做到万无一失。
4、处理通用人才和专业人才的关系
前面已述，客服系统涉及多个系统和设备，而单个工程师很难掌握全部设备和系统的技术，按照我们的测算，一名技术人员至少需要5年时间的锻炼才能全面掌握系统的基本维护，如果排查复杂问题，需要更深入的培训，因此需要培养通用人才，也需要借助专业公司。
通用人才可以全面查看系统计本运行状态，单独操作日志查看、重启等基本操作，对于深层问题则委托专业厂商的专家来解决。
通过上述的工作，基本可以做到系统管理有序，大大减少故障出现的频率，即使出现故障也能较快解决。
