SGE+bash+awk+sed+Python+WebStackPage实现P级数据并发扫描与数据报表公示系统

生信类数据每周有大量的下机数据,需要按照超期周期公示到各个业务部门找对应的负责人、运营经理、生信分息等进行删除,并且要保证超期周期可调整;使用awk 的 ARGIND模块结合hash算法,突破了bash脚本两文件合并慢,占用cpu,内存资源慢的问题,可以10几秒内完成合并,现bash脚本分析(279T)超期数据,需3分钟左右的时间,python脚本 excel 表格生成,数据透视共需4分钟左右。定义扫盘定时任务计划,确认数据的准确性,自动化结合这块,web 页面公示与生信人员自主获取公示结果。

复盘kubernetes证书到期故障状与集群快速恢复

提供kubernetes复盘故障状态脚本快速修复方式、非故障官方修复方式、脚本修复方式;

isilon-荣之联存储配额调整自动化

应避免爆盘的分险,每个部门对应有多套存储与相应配额,然、当各部门对应存储使用率高的时候需要去调整配额 ,每次带来的重复性较高,耗用时间较大,误操作概率较大。出于这样的需求,把配置提出来,各业务线调整需求,按指定格式,写好后提交给运维。执行行即可。这样大大节省运维人力的投入,也投底了误操作的概率。

技术考证

关于爱好的专业证书的自考与个别新技术题目的整理

python 日志处理一

[toc] python 日志处理一 练习 实现ls 命令功能,实现-l、-a和 -all、 -h 选项 实现显示路径下的文件列表; -a和 -all显示包含.开头的文件; -l 详细列表显示; -h 和 -l 配合,人性化显示文件大小,例如1K、1G、1T等。可以认为1G=1000M; c 字符;d目录;-普通文件;l软链接;b块设备;s socket文件;p pip文件,即FIFO;...

python 文件的IO三

[toc] python 文件的IO三 CSV文件csv文件简介 逗号分隔值 Comma-Separated Values。CSV是一个被行分隔符、列分隔符分成行和列的文本文件;没有指定字符编码。参看RFC4180 行分隔符为\r\n,最后一行可以没有换行符;列分隔符常为逗号或者制表符;每一行为一条记录record。 字段可以使用双引号括起来,也可以不使用。如果字段中出现了双引号、逗号、换行...

python 文件的IO二

[toc] python 文件的IO一 练习有一个文件,对其进行单词统计,不区分大小写,并显示单词重复最多的10个单词 12345678910111213141516171819202122232425262728293031# 第一次处理# os.path /usr/local/lib '/usr/local/lib'def wordcount(file='s...

python 文件的IO一

[toc] python 文件的IO一 函数相关练习补充 实现Base64 解码 1234567891011121314151617181920212223242526272829303132333435363738394041424344#!/usr/bin/env python# base64 解码实现alphabet = b"ABCDEFGHIJKLMNOPQRSTUVWX...

python高阶函数函数和装饰器三

[toc] python高阶函数和装饰器三 函数定义的弊端 Python 是动态语言,变量随时可以被赋值,且能赋值为不同的类型; Python 不是表态编译型语言,变量类型是在运行时决定的; 动态语言很灵活,但是这种我也是弊端; 12345678In [1]: def add(x,y): ...: return x + yIn [2]: print(add(4,5))9In [...

python高阶函数函数和装饰器二

[toc] python高阶函数和装饰器二 练习1. 把一个字典扁平化 源字典{'a':{'b':1,'c':2},'d':{'e':3,'f':{'g':4}}} 12345678910111213...