第44章 亡羊补牢 (第1/2页)
电话这边的于剑斟酌了一下,随之说道:“陈总,是这样的,新系统在凌晨发版上线后,从六开始就陆续出现问题。目前全省三百二十七个收费站,五十一个站点出现车道系统卡顿瘫痪,一百二十七个站点计费异常。经智通科技的研发团队分析,初步判定是系统切换上线后,计费模块对ETC门架交易数据的处理出现异常,部分车辆沿途门架的识别数据未能被系统正确调用,导致出口系统无法还原实际行驶路径,只能按兜底费率或最远路径计费,最终造成大范围的计费金额错乱。“
顿了顿,于剑又接着说道:“智通那边评估过,解决线上问题需要6-8个小时。可是你也知道,线上问题不是玩笑,很容易引起舆情发酵。保险起见,沈总建议目前当务之急一是要严控风险、缩小舆情的影响面。二是立刻将异常站点的系统,全部临时回退至原系统运行,待新系统问题彻底解决、全量校验和实测无误后,再重新切换上线。“
说到这里,于剑侧身看了看表情尴尬的李明远一眼,“刚才书记问李明远李总,系统回退需要多久,可智通科技并没有做系统回退的预案。所以才给你打了这个电话,要你帮着出个主意。“
听完于剑说的话,陈默先是站了起来,歉意的对着林薇笑了笑,然后对着电话说道:“于总,我一件事一件事的说一下我的意见,你们也参考一下。“
陈默边说,边绕着长椅转了起来:“首先,李总说六到八个小时能修复线上的问题,这个我信,修复几个bug确实用不了太久。但有个前提,“
电话另一端的陈默停顿了一下,继续说道:“前提就是李明远李总他们对问题原因要十分清楚,知道改哪些业务逻辑,动哪些源码。否则在什么都不清楚的前提下就贸然去修复bug,那需要多少时间,就看运气了。”
随着陈默的话从于剑手机里传了出来,李明远不敢看任何人,只是一味地低着头,装作一副认真听的样子。
“其次,李总说修复完就能发版上线,这个逻辑我不认同。“
指挥大厅里的李明远听到这里,脸色涨成了紫色,好像被人捂住嘴巴不让呼吸一样。就连勾成的脸色也涨成了猪肝色,根本不敢看张国华所在的方向。
“系统上线之前该走的测试流程,“陈默继续说道,“包括单元测试、集成测试、功能测试、压力测试、实车测试、费率验证、入网检测、安全测评,这些全部跑完一遍,不是六到八个小时,是至少需要六到八天。如果这些流程都如实走一遍,绝对不会出这么大的问题。于总,李明远李总也在你身边吧,你现在就问问他和勾总,这些流程里,如果我判断的没错,那么至少在实车测试、费率验证、入网检测这三个环节做的不到位,或者直白的说,干脆就没做。“
听到电话里的陈默这么说,勾成率先把头转向了李明远,一副询问的眼神望向了对方。看到勾成如此,其他人也都看向了李明远。见众人都看着自己,李明远知道这个问题不得不如实回答了,只能硬着头皮凑近了电话跟前,“陈总,我们都做了。只不过是在测试环境做的。至于实车测试,因为时间关系,就没做。”
张国华的脸色愈发难看。他带着一股恨铁不成钢的意味,狠狠的瞪了勾成和李明远一眼。沈志刚和于剑则互相看了看,眼神中都带着遮掩不住的失望。而沈志刚的眼神中,又夹杂着一丝悔意。
于剑心里长长叹了一口气:“这特么办的啥事啊,你们半夜跑到别人家坟头请回来的鬼,现在控制不住了,想起来找法师了。“ 可不管心里如何腹诽,他还得接着和陈默说:“陈总,事已如此,就不说其他的了。按你的意见,短时间内修复线上问题并发版,是不现实的了。那系统回退呢?“
陈默没有丝毫犹豫:“于总,你不问我也要说第二件事,系统回退。回退不是按个按钮就可以的,是要把整个线上系统统一换回旧版本。第一,先把系统停掉,全省几百个收费站一起停。“
“全省几百个收费站一起停?“ 张国华突然插话,“需要多久?“
陈默并没有回答张国华的问题,而是接着说:“第二,做数据备份,凌晨两点到现在的交易数据全部备份,一条都不能丢。第三,清洗数据,把那些多扣的、错乱了的、已经固化进入银行的交易流水筛出来,否则旧版本系统读不懂新产生的数据,依然会出大问题。第四,做版本系统切换,把计费模块、费率参数全部切回旧版本。第五,做联调测试,验证车道、门架、省中心各个节点是不是都通了。第六,做灰度验证,拿几个车流量少的收费站跑一下,确认没问题才能全线切过去。每一个步骤,都需要时间。“
“如果事先有应急预案,并经过反复演练过,最快也要两小时。如果没有预案,也从未演练过,那按实际情况推算:临时决策、仓促回退,数据要校验、业务要验证,要找不同的车型在收费站进行实车测试,最快也需要八个小时。如果在验证过程中出现新旧系统数据格式不兼容,回退过程中发生数据损坏,需要从数据备份里恢复,那时间单位就不是小时了,而是天。“
此刻众人均没有打断电话另一头的陈默,就连张国华也忘了追问。
另一头的陈默叹了口气,语气低缓的说道:“我们技术组曾经给工程组和智通科技提过应急方案,但我不知道因为什么原因,那份技术方案没有得到任何响应。”
陈默喝了
(本章未完,请点击下一页继续阅读)