前言: 最近做内部运维数据的数据仓库,最终将Hive中的数据清洗后需要业务决策相关的数据进行结构化处理,并存储到关系型数据库MySQL中,以供后期对外接口使用。本篇简单记录下使用Python操作MySQL数据库的简单操作。
使用nvidia-smi来对Tesla-GPU进行故障排查
背景:生产环境中使用Tesla P40型号的进行线上模型训练,突然收到业务方反馈某一块卡好像坏了,无法使用。经了解后,发现业务方无法使用某一块卡进行运行程序,而其他GPU卡设备均正常。本篇文章记录如何排查并修复该问题。
Golang下的protobuf初体验
protpbuf简介
protobuffer(以下简称PB)是google 的一种数据交换的格式,它独立于语言,独立于平台。
google 提供了多种语言的实现:Java、c#、c++、Go 和 Python,每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式,比使用 xml、json等 进行数据交换快许多。
可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换
。
作为一种效率和兼容性都很优秀的二进制数据传输格式,可以用于诸如网络传输、配置文件、数据存储等诸多领域。
NVIDIA-DIGITS测试使用
Golang中GBK和UTF-8格式互相转换
背景: 刚开始学习
Golang
的时候,做一些简单数据处理发现总是会出现乱码,通常是因为字符集的问题,这里记录下如何在GBK
和UTF-8
之间进行格式转换
Golang正则模块使用
最近在开发过程中会遇到一些字符串匹配相关的内容,正好去大概学习了下Golang中的regexp
模块。因为目前正则模块对我来说更多的就是去匹配并处理字符串的,因此目前主要关注几个返回为string
类型的方法。
Golang读写文件操作
最近在使用Golang进行文件读写的过程中,遇到几个细节问题导致程序写入数据时有一定脏数据的残留,最后发现是使用os.OpenFile在进行文件操作的时候没有使用正确的flag造成的。因此专门去学习了下Golang中读写文件的几种方式方法,在此记录下一些简单的操作,防止以后遗忘。
开源OCR引擎tesseract的构建使用
简介
OCR
光学字符识别(OCR,Optical Character Recognition)是指对文本资料进行扫描,然后对图像文件进行分析处理,获取文字及版面信息的过程。OCR技术非常专业,一般多是印刷、打印行业的从业人员使用。而在人工智能快速发展阶段,该技术也被大量运用在一些常见的业务场景来提高业务流程效率,比如像一些文件扫描,身份证识别,图片识别等相关业务场景。