存档

文章标签 ‘pandas’

嵌套json下的pandas操作

2021年2月1日 没有评论

在进行json处理的时候,经常会遇到需要提取不同级别的字段内容并合并成表格,见下图所示。本篇就总结下遇到这种情况下如何进行文本内容的提取。在知乎上看到一篇《骚操作!嵌套 JSON 秒变 Dataframe》似乎和我遇到的情况类似,不过在实际处理的时候又有不同。

json-nested

先看[......]

Read more

Pandas中lambda函数的应用

2020年2月7日 没有评论

在使用pandas的过程中,我们可以结合lambda函数很方便的进行各种数据处理操作。而lambda在pandas就又经常和df.assign、df.apply两个函数组合使用,df.assign经常用于列的修改和新增,apply经常作用于一维向量上,其既可作用于行,也可以作用于列,又可作用于[......]

Read more

pandas之SQL类操作

2020年2月6日 没有评论

一、pandas数据

pandas有两类数据,一种是一维的Series;另一种是二维的DataFrame。其实还有一个三维的Panel,不过这种数据分类已经废弃。pandas的数据使用比较灵活,可以像SQL一样操作。本文结合示例说下pandas的操作。

excel数据比对

2020年2月3日 没有评论

一、背景与思路

背景:由于新冠肺炎疫情的影响,每天需要统计公司员工的信息进行上报,并和前一天的数据进行比对。肉眼一个个的比对比较累,而且容易出错,所以就想到通过程序来实现数据的比对。

思路:

1、通过xlrd、xlsxwriter这类模块进行表格读取,读取后[......]

Read more

pandas if条件判断

2020年2月1日 没有评论

python pandas模块是一个功能强大的DataFrame数据处理模块,这里就是结果几个具体常见的应用场景来展示下其应用,该处展示的功能excel上也可以实现,不过站在一个懂python的人角度来说,我觉得这种处理方法比excel更高效好玩。

一、数字判断

这里实[......]

Read more

pandas读写带变更的mysql数据

2019年4月16日 没有评论

pandas在读写mysql数据时,如果是固定的mysql语句是比较容易存取的,不过现网很多需求,需要传入不同的变量的SQL写入或查询。遇到这种情况该如何解决呢?可以使用format函数来实现转化。例如给一个含有时间序列的数据集,给定三个参数,数据集名称tablename,开始时间startD[......]

Read more

pandas小结(七)merge、join与concat

2017年1月16日 1 条评论

一、merge、join与concat的区别

Pandas.DataFrame操作表连接有三种方式:merge, join, concat。三者的使用很容易搅浑,三者之间的区别什么呢?

merge 相当于SQL中的JOIN。该函数的典型应用场景是,两张表有相同内容的列([......]

Read more

pandas小结(六)merge数据合并

2017年1月15日 没有评论

在《pandas小结(五)concat数据合并》中提到了数据合并,本篇学习另一个数据合并方法merge,不过这个和concat是有区别的,concat方法准确的说更像是级联,而不算合并,merge才是真正意义的合并。merge个人用的比较多的一个场景就是两个pandas数据,有相同的列数据,需[......]

Read more

pandas小结(五)concat数据合并

2017年1月9日 没有评论

pandas数据的行更新、表合并等操作,一般用到的方法有concat、join、merge。本篇先说concat方法。其具体用法如下:

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=Fa[......]

Read more

pandas小结(四)删除列的方法

2017年1月8日 没有评论

pandas删除列有如下三种操作方式:

1.del df['columns'] #改变原始数据
2.df.drop('columns',axis=1)#删除不改表原始数据,可以通过重新赋值的方式赋值该数据
3.df.drop('columns',axis=1,inpla[......]

Read more