SGE+bash+awk+sed+Python+WebStackPage实现P级数据并发扫描与数据报表公示系统

生信类数据每周有大量的下机数据,需要按照超期周期公示到各个业务部门找对应的负责人、运营经理、生信分息等进行删除,并且要保证超期周期可调整;使用awk 的 ARGIND模块结合hash算法,突破了bash脚本两文件合并慢,占用cpu,内存资源慢的问题,可以10几秒内完成合并,现bash脚本分析(279T)超期数据,需3分钟左右的时间,python脚本 excel 表格生成,数据透视共需4分钟左右。定义扫盘定时任务计划,确认数据的准确性,自动化结合这块,web 页面公示与生信人员自主获取公示结果。

linux 系统定制

下载新版的内核源码,根据自己个人的需求对Linux内核进行编译、而后制作grub 启动项、迁系统基础库,最最后可以实现一个完全自己制作的Linux操作系统。并可以将nginx+keepailved 等相关组件迁移至其中。由插图可以看到,实现部署nginx与keepalived 相关的组后,自己定制的操作系统小于100M,极至的精简。

isilon-荣之联存储配额调整自动化

应避免爆盘的分险,每个部门对应有多套存储与相应配额,然、当各部门对应存储使用率高的时候需要去调整配额 ,每次带来的重复性较高,耗用时间较大,误操作概率较大。出于这样的需求,把配置提出来,各业务线调整需求,按指定格式,写好后提交给运维。执行行即可。这样大大节省运维人力的投入,也投底了误操作的概率。