存档

‘perl/php/python/gawk/sed’ 分类的存档

python获取13位时间戳

2020年2月20日 没有评论

Unix 时间戳根据精度的不同,有 10 位(秒级),13 位(毫秒级),16 位(微妙级)和 19 位(纳秒级)。平时我们在linux命令行下,使用date +%s返回的是一个10位的unix时间,而在常用的http的响应头里,我们经常会发现有13位的unix时间戳。在python下可以比较[......]

Read more

Pandas中lambda函数的应用

2020年2月7日 没有评论

在使用pandas的过程中,我们可以结合lambda函数很方便的进行各种数据处理操作。而lambda在pandas就又经常和df.assign、df.apply两个函数组合使用,df.assign经常用于列的修改和新增,apply经常作用于一维向量上,其既可作用于行,也可以作用于列,又可作用于[......]

Read more

pandas之SQL类操作

2020年2月6日 没有评论

一、pandas数据

pandas有两类数据,一种是一维的Series;另一种是二维的DataFrame。其实还有一个三维的Panel,不过这种数据分类已经废弃。pandas的数据使用比较灵活,可以像SQL一样操作。本文结合示例说下pandas的操作。

excel数据比对

2020年2月3日 没有评论

一、背景与思路

背景:由于新冠肺炎疫情的影响,每天需要统计公司员工的信息进行上报,并和前一天的数据进行比对。肉眼一个个的比对比较累,而且容易出错,所以就想到通过程序来实现数据的比对。

思路:

1、通过xlrd、xlsxwriter这类模块进行表格读取,读取后[......]

Read more

pandas if条件判断

2020年2月1日 没有评论

python pandas模块是一个功能强大的DataFrame数据处理模块,这里就是结果几个具体常见的应用场景来展示下其应用,该处展示的功能excel上也可以实现,不过站在一个懂python的人角度来说,我觉得这种处理方法比excel更高效好玩。

一、数字判断

这里实[......]

Read more

chrome headless抓取websoket数据

2019年12月25日 没有评论

很多页面上会有一些websocket动态数据,这些数据一般每过N秒会自动刷新数据,并在页面上进行闪烁数据。最明显的示例就是行情类数据。这里选取目标站点:https://datacenter.jin10.com/price 。

websocket-price

这里还是使用Headless Chrom[......]

Read more

python+selenium+Chrome Headless套装

2019年12月24日 没有评论

使用python比较多的一个应用场景就是数据采集,采集一些比较蛋疼的页面时,会检测用户是否是通过浏览器打开的页面,还有一些会通过js加载后才会回显内容。这个时候可能用的比较多的方案就是python + Headless  + 浏览器,其会自动打开浏览器,并输入相应的页面地址[......]

Read more

Golang urlencode与urldecode编码解码

2019年11月12日 没有评论

一、urlencode

golang下可以使用net/url模块实现urlencode和urldecode操作。具体实现的函数为url.QueryEscape和url.QueryUnescape,代码如下:

package main
import([......]

Read more

shell实现urlencode和urldecode

2019年11月11日 没有评论

一、问题描述

先说下问题背景,最近在写的一个程序在通过restful API 在以form方式post提交时,发现其中的特殊符号无法提交进行后台,后台这边报错error on parse multipart form array: invalid URL escape "%",而后[......]

Read more

goang switch语句中undefined报错处理

2019年11月6日 没有评论

同事在研究Grafana reporter,一个通过把页把转化为pdf并可以邮件报告的工具。在其中引入的某个模块部分,其调用时发现报错。我对zabbix的东西久未关注了,帮其看了下报错,把报错的模块单独抽离出来单独调用发现其中报"undefined: rows"错误。代码逻辑比较简单,根据传入[......]

Read more