存档

‘perl/php/python/gawk/sed’ 分类的存档

python报错cannot import name ‘Pie’ from ‘pyecharts’

2021年6月19日 没有评论

之前使用过pycharts进行汇图,最近更新本地的pyecharts库,使用之前的代码时,发现之前的方法不好使了,报错:cannot import name 'Pie' from 'pyecharts' 。找了下官方文档看了下,发现其现在有两个版本,v0.5.X和v1两个大版本,v0.5.X和[......]

Read more

python中的map/reduce/filter函数

2021年6月12日 没有评论

近期公司有项目上使用的代码涉及调用外部API接口进行多页请求,并需要把对应的数据返回后进行处理。开发人员使用了多层for嵌套循环处理,从逻辑上看,确实for循环比较简单也比较容易理解,不过性能上会略差一些。在进行响应时延过高的问题分析时,通过换用map函数代替for可以进行效率的提升。本篇就总[......]

Read more

嵌套json下的pandas操作

2021年2月1日 没有评论

在进行json处理的时候,经常会遇到需要提取不同级别的字段内容并合并成表格,见下图所示。本篇就总结下遇到这种情况下如何进行文本内容的提取。在知乎上看到一篇《骚操作!嵌套 JSON 秒变 Dataframe》似乎和我遇到的情况类似,不过在实际处理的时候又有不同。

json-nested

先看[......]

Read more

统一任务管理cronsun

2020年9月21日 没有评论

一、需求

公司写了很多脚本,分别部署在不同的机器上通过crontab进行管理,这里有一个缺点是,没有一个平台可以查看所有的任务执行情况和进行任务统一管理的平台。为此找了一些开源工具进行测试,测试涉及的产品如下:

国内有的有:jobxSaturn(唯品会)、elasti[......]

Read more

chrome报错ssl_client_socket_impl.cc报错解决

2020年9月2日 3 条评论

背景

帮公司的一个爬虫项目安装完成了google chrome headless,其在使用selenium  + chrome爬取内部的一个合作厂家的站点信息时,出现了无法获取内容的情况,同时也没有明显的报错信息。使用内部httpd服务搭建的测试页,可以正常获取[......]

Read more

ChatterBot聊天机器人初体验

2020年8月3日 没有评论

Chatterbot 是基于pyhton实现的一个简单的聊天机器人,它需要大量对话语料来支撑它的运行。当用户给它一个输入时,它会在所有的语料库中寻找和这句话最相似的一句话,然后返回语料库中的下一句。chatterbot_corpus 是 Chatterbot 自带的语料库。本篇就先简单的写下c[......]

Read more

sqlite3 ImportError: DLL load failed报错处理

2020年8月1日 没有评论

windows下python下的开发环境是基于Miniconda3搭建的,在测试某一个功能时,其默认调用的是sqlite3库进行存储。不过在调用时失败,报错信息如下:

from _sqlite3 import *
ImportError: DLL load failed[......]

Read more

防火墙与F5数据的融合

2020年6月15日 没有评论

一、背景

最近有一个需求是想基于 Neo4j 做设备关联关系的查询和关联图的输出。就是通过输入一个公网IP+端口就可以查询其对应的后端F5地址信息和realserver信息。在实现这个功能之前,需要先将防火墙数据F5数据做一个关联。效果类似如下:

firewall-f5

二、数[......]

Read more

faceswap AI换脸

2020年6月11日 没有评论

一、AI换脸需求概述

AI换脸这个需求是领导给一同事的需求,在帮同事装完相关环境后,也顺便帮他一想研究了下。同事选中的是用faceswap开源软件进行测试。faceswap 项目是一个学习重建脸部特征的深度学习算法。你给它一堆的图片,它学习几个小时后,可以根据计算的模型对图片进行批[......]

Read more

web实现DNS查询

2020年5月15日 没有评论

一、功能和需求

先说下现在实现的功能吧,想要在实现一个内部DNS查询系统,通过在页面上输入域名或IP地址就可以查出对应的IP或域名。具体效果如下:

dnsquery

通过点击后面的提交查询,就可以返回相应的结果。里面的地址和域名也是可以直接更换为想要查询的地址或者内容。[......]

Read more