近期在收集处理大量的数据,通常是把 XML/文本格式的数据转为关系型,结构化的的数据,能够方便导出直接进行分析,尤其是导出能直接被 pandas 分析的格式(csv/json)。因此需要使用一个在 Python 下的 mysql 处理库,既然找了处理库,也干脆一步到位,直接选一个支持 ORM 的库。于是,就选择了 SQLAlchemy。用了一段时间后,写个记录来记下这段时间用到的常用的东西。
SQLAlchemy 是 Python 编程语言下的一款开源软件。提供了 SQL 工具包及对象关系映射(ORM)工具,主要能满足一下的需求:
- 提供对数据库的常用操作:增删改查
- 提供 ORM 功能,可以让操作的单元变为对象,而不用写 sql 语句进行硬编码/解码解析数据
……在国庆前夕,保研的事情尘埃落定,最终被南大计科录取,将进入软件质量研究所,内心的失学焦虑才得以缓解大部分。在国家推免系统接受拟录取的时候,我与绝大多数保研党一样,内心异常兴奋,而到了第二天之后,这种兴奋已经变成了平静以及后续事情的焦虑。为了以后不至于忘却这一件重大的事,遂打算写下一篇流水账来回顾一下这段保研的历程,抒发一下相关的情感,另外也可作为后来人的一点经验和参考。大家可以当作故事来看看(主要是给自己看看),不想看的可以跳到最后看看经验。
……想找点云计算的网课来看看,无意中发现了这个不错的mooc:CS169.1X 云计算与软件工程。内容涵盖云计算概念,软件工程的相关理念,以及如何通过云计算满足软件工程的需求。遂打算深入学习一下,并做了如下笔记(持续更新)。
……一般的异常检测问题为:对于给定的一系列样本,给出一个新的测试样本,判断该测试样本是否属于这系列已知样本/该样本是否异常样本。
例如:对于一批正常的引擎,监测带有一系列的数据(散热,震动强度),对于一个新的引擎,测得相关的数据,判断其是否异常引擎。
……