生信类数据每周有大量的下机数据，需要按照超期周期公示到各个业务部门找对应的负责人、运营经理、生信分息等进行删除，并且要保证超期周期可调整;使用awk 的 ARGIND模块结合hash算法，突破了bash脚本两文件合并慢，占用cpu，内存资源慢的问题，可以10几秒内完成合并，现bash脚本分析(279T)超期数据，需3分钟左右的时间，python脚本 excel 表格生成，数据透视共需4分钟左右。定义扫盘定时任务计划，确认数据的准确性，自动化结合这块，web 页面公示与生信人员自主获取公示结果。

kvm + VManagerPlatform 的快速开通与交付，使用 `virt-copy-in 命令可以将已生成的网卡配置文件焙进镜像，依赖工具包libguestfs-tools-c 突破虚拟机无法生成ip导致的不能自动化问题`，使用python Fabric模块合bash替代原有的ansible自动化roles实现kvm虚拟机开通与相关依赖环境规范化部署的90% 的自动化。大量的节省工作中的人工时间投入，且大大降低人工操作导致的误操作的概率，另代码还需要优化的地方，是虚拟机开通的并发特性，且yum源不能访问导致的中断现象。

因避免爆盘的风险，每个部门对应有多套存储与相应配额，然、当各部门对应存储使用率高的时候需要去调整配额 ，每次带来的重复性较高，耗用时间较大，误操作概率较大。出于这样的需求，把配置提出来，各业务线调整需求，按指定格式，写好后提交给运维。执行行即可。这样大大节省运维人力的投入，也降底了误操作的概率。

Jenkins+gitlab+ansible实现nginx配置多套集群配置生成为分发;要解决问题:"1.解决同步不一致问题，触发钩子强一致同步;2.保留nginx配置文件的人员变更配置记录;3.实现配置的快速回滚;4一次性检验配置文件是否变更，变更后触发重载;5.解决同步慢同步中断，nginx触发重载未知等问题"

[toc] 高可用gitlab服务器搭建 环境准备,单节点部署 CentOS7.4 64C 192G CentOS7.4 64C 192G 服务器时间同步1~]# ntpdate ntp.aliyun.com 确保SELinux 是关闭的12~]# getenforce Disabled 配置postfix1234~]# yum -y install postfix~]# ...

[toc] sge高性能集群的搭建与使用 集群环境的准备 Node1(master) CentOS7.4 iptables/selinux(off) IP:10.180.66.11 hostname:node1 ali yum源 Node2(slave) CentOS7.4 iptables/selinux(off) IP:10.180.66.12 hostname:node2 ...

[toc] kvm 学习笔记 kvm相关知识梳理123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051KVM: kernel-based Virtual Machine, Qumranet 公司，依赖于HVM: Intel VT-x, ADM ADM-V:KV...

nginx结合redis与lua语言实现请求地址短链接转发为长链接，nginx此时需要加入新的lua相关的模块，即需要二次编译后重新部署。这里给出的是测试环境的链接与实现。但底层逻辑与操作操保持一致。

老的一套环境中常的操作与配置参数，应用运维相关的人员要熟悉每个配置开启的指令参数的作用。以及各个常用数据库的操作等。做为应用运维常用配置参数的积累，方便之后遇到问题后可以更快速的定位到问题，各常用功能的实现场景，与常用配置写法等。另应急情况，一下无法写下所有配置时，可以拿出一份来做为模板。

基于某生产之前，进行keepalived+nginx 高可用lnmp、lamp 、ltmp 等模式的测试，anisble自动化测试环境的搭建与使用。测试keepalived+nginx 故障情况下的基于vrrp协议与keepalived非抢占模式配合shell脚本进行自动切换，nginx负载均衡配置文件自动强一致同步等等。可查看具体的实现内容。