SGE+bash+awk+sed+Python+WebStackPage实现P级数据并发扫描与数据报表公示系统

生信类数据每周有大量的下机数据,需要按照超期周期公示到各个业务部门找对应的负责人、运营经理、生信分息等进行删除,并且要保证超期周期可调整;使用awk 的 ARGIND模块结合hash算法,突破了bash脚本两文件合并慢,占用cpu,内存资源慢的问题,可以10几秒内完成合并,现bash脚本分析(279T)超期数据,需3分钟左右的时间,python脚本 excel 表格生成,数据透视共需4分钟左右。定义扫盘定时任务计划,确认数据的准确性,自动化结合这块,web 页面公示与生信人员自主获取公示结果。

关于某业务线域名未及时备案导致的脱机故障与报告

域名没有备案,主要原因与业务线团队沟通是因为法人变更流程没完成,导致无法备案。 域名未备案,阿里云多次提醒后导致的系统故障分析定位与应急处理。

fabric自动化之kvm私有云服务器快速开通与交付

kvm + VManagerPlatform 的快速开通与交付,使用 `virt-copy-in 命令可以将已生成的网卡配置文件焙进镜像,依赖工具包libguestfs-tools-c 突破虚拟机无法生成ip导致的不能自动化问题`,使用python Fabric模块合bash替代原有的ansible自动化roles实现kvm虚拟机开通与相关依赖环境规范化部署的90% 的自动化。大量的节省工作中的人工时间投入,且大大降低人工操作导致的误操作的概率,另代码还需要优化的地方,是虚拟机开通的并发特性,且yum源不能访问导致的中断现象。

关于某系统阵发性网络问题的处理。

因Linux内核优化带来的影藏很深的阵发性网络问题,记录net.ipv4.tcp_timestamps与net.ipv4.tcp_tw_recycle两个内核开启的状态,对高并发的Linux高可用调度器节点,与负载均衡节点带来的影响。这两个参数默认配合起来是抵御DDOS,与CC洪水攻击的,但对同一个公网IP的客户端请求带来巨大的网络影响,记录了故障的排查过程,问题复现,抓包分析,问题定位与问题处理的过程。

linux 系统定制

下载新版的内核源码,根据自己个人的需求对Linux内核进行编译、而后制作grub 启动项、迁系统基础库,最最后可以实现一个完全自己制作的Linux操作系统。并可以将nginx+keepailved 等相关组件迁移至其中。由插图可以看到,实现部署nginx与keepalived 相关的组后,自己定制的操作系统小于100M,极至的精简。

RHCA447-Ansible-26-gitlab安装

Here's something encrypted, password is required to continue reading.

RHCA447-Ansible-27-git安装和使用

Here's something encrypted, password is required to continue reading.

RHCA447-Ansible-20-Vault配置加密

Here's something encrypted, password is required to continue reading.