使用Python来操作Hive中的数据

背景:在整个运维内部数据仓库构建中,我们使用了Hadoop大数据生态圈中的组件来支撑运维数据的数据仓库构建。我们使用了Hive作为数据仓库工具,同时使用Hue来对整个运维数据进行管理和查询,最终根据部门需求生成结构化数据存入关系型或K/V型数据库,以供其他部门进行商业化决策。但是在使用command-line方式和hue上操作hive时,经常会有些许问题,并且灵活性交差,因此为了改善数据到Hive的加载过程以及对Hive库中数据的操作,借此机会使用PyHive库进行操作管理Hive.

本篇简单记录下使用Python操作Hive。

使用Python操作MySQL

前言: 最近做内部运维数据的数据仓库,最终将Hive中的数据清洗后需要业务决策相关的数据进行结构化处理,并存储到关系型数据库MySQL中,以供后期对外接口使用。本篇简单记录下使用Python操作MySQL数据库的简单操作。

使用nvidia-smi来对Tesla-GPU进行故障排查

背景:生产环境中使用Tesla P40型号的进行线上模型训练,突然收到业务方反馈某一块卡好像坏了,无法使用。经了解后,发现业务方无法使用某一块卡进行运行程序,而其他GPU卡设备均正常。本篇文章记录如何排查并修复该问题。