python中的map/reduce/filter函数

近期公司有项目上使用的代码涉及调用外部API接口进行多页请求,并需要把对应的数据返回后进行处理。开发人员使用了多层for嵌套循环处理,从逻辑上看,确实for循环比较简单也比较容易理解,不过性能上会略差一些。在进行响应时延过高的问题分析时,通过换用map函数代替for可以进行效率的提升。本篇就总结[……]

Read more

chrome报错ssl_client_socket_impl.cc报错解决

背景

帮公司的一个爬虫项目安装完成了google chrome headless,其在使用selenium  + chrome爬取内部的一个合作厂家的站点信息时,出现了无法获取内容的情况,同时也没有明显的报错信息。使用内部httpd服务搭建的测试页,可以正常获取。

[……]

Read more

ChatterBot聊天机器人初体验

Chatterbot 是基于pyhton实现的一个简单的聊天机器人,它需要大量对话语料来支撑它的运行。当用户给它一个输入时,它会在所有的语料库中寻找和这句话最相似的一句话,然后返回语料库中的下一句。chatterbot_corpus 是 Chatterbot 自带的语料库。本篇就先简单的写下ch[……]

Read more

windows下spacy安装github包报错

一、报错信息

在windows下使用spacy安装对应的语言模块时,发现其是从github上下载的,使用 python -m spacy download zh_core_web_sm 或 python -m spacy download en时都会报错,报错内容为:requests.ex[……]

Read more