Python 爬虫的工具列表大全

2015年12月16日 没有评论

即然提到了爬虫,就从网上理了一份python爬虫相关的包。包含与网页抓取和数据处理的Python库

网络

  • 通用

  • urllib -网络库(stdlib)。

  • requests -网络库。

  • grab – 网络库(基于pycurl)。

  • pycurl – 网络库(绑定libcurl)。

  • urllib3 – Pyth[......]

Read more

Scrapy爬虫框架安装与demo示例

2015年12月15日 没有评论

Scrapy是一个由python语言编写的通用爬虫框架,最近项目组的一个兄弟在帮大数据那边从一些大型电商网站上爬取商口信息,就是使用scrapy来操作的。由于帮其修改了一点该项目的东西,这里也顺便记录下scray的一些内容,能写多少是多少吧。scrayp源码托管在GitHub上,官网(http://scrapy.org)。当前已更新到了1.0.x版本。

一、安装

scrapy要求python2.7+ 的环境,ubuntu的很久之前就已经是python2.7+了,安装也比较简单。centos7.x上默认使用的是python2.7+ 。这里以这两个主流发行版为例说下安[......]

Read more

centos7下给bond网卡配置bridge桥接

2015年12月10日 没有评论

这篇的主题可以用几个关键字组合:centos7+kvm + bond + bridge 。brige主要用在KVM虚拟化环境下,而bond是进行物理层面的冗余。具体配置信息如下

物理网卡名称:enp0s8、enp0s9
bond名称:bond0
桥接名称:br0

enp0s8网卡配置

[root@361way network-scripts]# cat ifcfg-enp0s8
TYPE=Ethernet
BOOTPROTO=none
NAME=enp0s8
DEVICE=enp0s8
ONBOOT=yes
MASTER[......]

Read more

分类: 虚拟化云和自动化 标签:

ansible小结(十一)ansible普通用户su切换问题

2015年12月3日 没有评论

在之前我曾总结了一点ansible系列博文,本篇还承接之前的篇幅吧。在现网应用中,安全加固后的主机是不允许直接以root用户登陆的,而很多命令又需要root用户来执行,在不改造现网的情况下。希望通过一个普通用户先登陆,再su切到root执行。而且每台主机的普通用户和root用户的密码又不同。希望在通过ansible执行的时候不需要交互输入密码,而是直接执行后输出结果。

一、ansible hosts配置文件

在之前的系列文章中我们提到,可以把密码写到hosts配置文件,通过查询官网的相关信息了解了,其除了ansible_ssh_user、ansible_ssh_p[......]

Read more

PowerCLI批量创建VMware虚拟机

2015年12月2日 没有评论

linux set hardware clock fail无法启动问题处理

2015年12月1日 没有评论

Tomcat安全加固

2015年11月30日 没有评论

从PCF 的卖点看PAAS

2015年11月21日 没有评论

RH318小结(六)虚拟机的安装与模板创建

2015年11月8日 没有评论

RH318小结(五)创建存储域

2015年11月7日 没有评论