使用Python操作MySQL

前言: 最近做内部运维数据的数据仓库,最终将Hive中的数据清洗后需要业务决策相关的数据进行结构化处理,并存储到关系型数据库MySQL中,以供后期对外接口使用。本篇简单记录下使用Python操作MySQL数据库的简单操作。

使用nvidia-smi来对Tesla-GPU进行故障排查

背景:生产环境中使用Tesla P40型号的进行线上模型训练,突然收到业务方反馈某一块卡好像坏了,无法使用。经了解后,发现业务方无法使用某一块卡进行运行程序,而其他GPU卡设备均正常。本篇文章记录如何排查并修复该问题。

Golang下的protobuf初体验

protpbuf简介

protobuffer(以下简称PB)是google 的一种数据交换的格式,它独立于语言,独立于平台。
google 提供了多种语言的实现:Java、c#、c++、Go 和 Python,每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式,比使用 xml、json等 进行数据交换快许多。
可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换
作为一种效率和兼容性都很优秀的二进制数据传输格式,可以用于诸如网络传输、配置文件、数据存储等诸多领域。

NVIDIA-DIGITS测试使用

DIGITS简介

DIGITS: Deep Learning GPU Training System1,是由英伟达(NVIDIA)公司开发的第一个交互式深度学习GPU训练系统。目的在于整合现有的Deep Learning开发工具,实现深度神经网络(Deep Neural Network,DNN)设计、训练和可视化等任务变得简单化。DIGITS是基于浏览器的接口,因而通过实时的网络行为的可视化,可以快速设计最优的DNN。DIGITS是开源软件,可在GitHub上找到,因而开发人员可以扩展和自定义DIGITS。

Golang正则模块使用

最近在开发过程中会遇到一些字符串匹配相关的内容,正好去大概学习了下Golang中的regexp模块。因为目前正则模块对我来说更多的就是去匹配并处理字符串的,因此目前主要关注几个返回为string类型的方法。

Golang读写文件操作

最近在使用Golang进行文件读写的过程中,遇到几个细节问题导致程序写入数据时有一定脏数据的残留,最后发现是使用os.OpenFile在进行文件操作的时候没有使用正确的flag造成的。因此专门去学习了下Golang中读写文件的几种方式方法,在此记录下一些简单的操作,防止以后遗忘。

开源OCR引擎tesseract的构建使用

简介

OCR

光学字符识别(OCR,Optical Character Recognition)是指对文本资料进行扫描,然后对图像文件进行分析处理,获取文字及版面信息的过程。OCR技术非常专业,一般多是印刷、打印行业的从业人员使用。而在人工智能快速发展阶段,该技术也被大量运用在一些常见的业务场景来提高业务流程效率,比如像一些文件扫描,身份证识别,图片识别等相关业务场景。

CPU虚拟化技术探究

KVM虚拟机CPU的软件调优首先需要对NUMA技术有一定了解,调优的主要手段就是虚拟机对物理机CPU逻辑内核的手工绑定。 内存方面的调优手段主要是KSM,即相同内存页合并、内存气球技术以及大页内存的使用。