生信类数据每周有大量的下机数据,需要按照超期周期公示到各个业务部门找对应的负责人、运营经理、生信分息等进行删除,并且要保证超期周期可调整;使用awk 的 ARGIND模块结合hash算法,突破了bash脚本两文件合并慢,占用cpu,内存资源慢的问题,可以10几秒内完成合并,现bash脚本分析(279T)超期数据,需3分钟左右的时间,python脚本 excel 表格生成,数据透视共需4分钟左右。定义扫盘定时任务计划,确认数据的准确性,自动化结合这块,web 页面公示与生信人员自主获取公示结果。
kvm + VManagerPlatform 的快速开通与交付,使用 `virt-copy-in 命令可以将已生成的网卡配置文件焙进镜像,依赖工具包libguestfs-tools-c 突破虚拟机无法生成ip导致的不能自动化问题`,使用python Fabric模块合bash替代原有的ansible自动化roles实现kvm虚拟机开通与相关依赖环境规范化部署的90% 的自动化。大量的节省工作中的人工时间投入,且大大降低人工操作导致的误操作的概率,另代码还需要优化的地方,是虚拟机开通的并发特性,且yum源不能访问导致的中断现象。
因避免爆盘的风险,每个部门对应有多套存储与相应配额,然、当各部门对应存储使用率高的时候需要去调整配额 ,每次带来的重复性较高,耗用时间较大,误操作概率较大。出于这样的需求,把配置提出来,各业务线调整需求,按指定格式,写好后提交给运维。执行行即可。这样大大节省运维人力的投入,也降底了误操作的概率。
Jenkins+gitlab+ansible实现nginx配置多套集群配置生成为分发;要解决问题:"1.解决同步不一致问题,触发钩子强一致同步;2.保留nginx配置文件的人员变更配置记录;3.实现配置的快速回滚;4一次性检验配置文件是否变更,变更后触发重载;5.解决同步慢同步中断,nginx触发重载未知等问题"