SGE+bash+awk+sed+Python+WebStackPage实现P级数据并发扫描与数据报表公示系统

生信类数据每周有大量的下机数据,需要按照超期周期公示到各个业务部门找对应的负责人、运营经理、生信分息等进行删除,并且要保证超期周期可调整;使用awk 的 ARGIND模块结合hash算法,突破了bash脚本两文件合并慢,占用cpu,内存资源慢的问题,可以10几秒内完成合并,现bash脚本分析(279T)超期数据,需3分钟左右的时间,python脚本 excel 表格生成,数据透视共需4分钟左右。定义扫盘定时任务计划,确认数据的准确性,自动化结合这块,web 页面公示与生信人员自主获取公示结果。

关于某业务线域名未及时备案导致的脱机故障与报告

域名没有备案,主要原因与业务线团队沟通是因为法人变更流程没完成,导致无法备案。 域名未备案,阿里云多次提醒后导致的系统故障分析定位与应急处理。

双网卡team 绑定实践记录

[toc] 双网卡team 绑定 很多时候,由于生产环境业务的特殊需求,我们需要对服务器的物理网卡实施特殊的配置,从而来满足不同业务场景下对服务器网络的特殊性要求。如高并发的网络IO型业务,需要高速的网络IO,即对网卡的收收发包处理能力及网卡最大带宽速度等性能指标提出了更高的要求;事务处理型的系统,如金融交易系统、电商平台等,对物理网络线路、网卡等物理设备的稳定可靠性提出了更高的要求。Lin...

高可用gitlab服务器搭建

[toc] 高可用gitlab服务器搭建 环境准备,单节点部署 CentOS7.4 64C 192G CentOS7.4 64C 192G 服务器时间同步1~]# ntpdate ntp.aliyun.com 确保SELinux 是关闭的12~]# getenforce Disabled 配置postfix1234~]# yum -y install postfix~]# ...

总结glibc的升级操作

[toc] 总结glibc的升级操作 遇到的执行程序报错123fastp.sh 的时候报下面的错,其他节点都没问题fastp: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by fastp)fastp: /lib64/libc.so.6: version `GLIBC_2.14' not found...

sge linux高性能集群的搭建与使用

[toc] sge高性能集群的搭建与使用 集群环境的准备 Node1(master) CentOS7.4 iptables/selinux(off) IP:10.180.66.11 hostname:node1 ali yum源 Node2(slave) CentOS7.4 iptables/selinux(off) IP:10.180.66.12 hostname:node2 ...

kubernetes操作记录(七)

[toc] kubernetes 操作记录七 资源指标API及自定义指标API资源指标: metrics-server自定义指标: prometheus, k8s-prometheus-adapter 新一代架构: 核心指标流水线:由kubelet、metrics-server 以及由API server 提供的api组成;CPU、内存实时使用率、Pod的资源占用率及窗口的磁盘占用率;...

kubernetes操作记录(六)

[toc] kubernetes 操作记录六 调度器、预选策略及优选函数整个调度大致可以分为三个过程: Predicate(预先) –> Priority(优选) –> Select(选定) 调度器: 预选策略: CheckNodeCondition: 检查节点本身是否正常; GeneralPredicates: Host...

kubernetes操作记录(五)

[toc] kubernetes 操作记录五 配置网络插件flannel在Kubernetes集群中要解决四种通信的问题;Kubernetes网络通信: (1) 容器间通信: 同一个Pod内的多个容器间的通信,lo (2) Pod通信: Pod IP Pod IP (3) Pod与 Service通信: PodIP ClusterIP,不在同一网段,通过iptables规则实...

kubernetes操作记录(四)

[toc] kubernetes 操作记录四 kubernetes认证及Service Account在master服务器上启动 proxy 并监听至8080 12# kubectl proxy --port=8080 &# curl http://localhost:8080/api/v1/namespaces 仅有权限获取当前Pod自身的相关信息 1234# kubectl g...