python图片采集

2014年10月3日 没有评论

本例是一个通过BeautifulSoup模块解析处理后进行img下载的示例,可以指定下载的路径,代码如下:

# ImageDownloader.py
# Finds and downloads all images from any given URL recursively.
# FB - 20140223
import sys
import os
import urllib2
from os.path import basename
import urlparse
from BeautifulSoup import BeautifulSoup # for HTML parsi[......]

Read more

三个多线程采集网站图片的示例

2014年10月3日 没有评论

采集代码一

#! /usr/bin/env python
# -*- coding: utf-8 -*-
import os ,sys ,urllib2,socket
import re
import time
from threading import Thread
from Queue import Queue
DOWNLOAD_BASEDIR = os.path.join(os.path.dirname(__file__), 'download') #保存地址
socket.setdefaulttimeout(30)
THREAD_COUNT = 5 #线程数量
def m[......]

Read more

python pycurl模块

2014年10月3日 没有评论

一、pycurl概述

PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的,并且容易使用的用在客户端的 URL 传输库。它的功能很强大,在PyCURL的主页上介绍的支持的功能有:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies,[......]

Read more

后起之秀Facebook凭什么挑战互联网霸主Google?

2014年10月2日 没有评论

尽管Google极其推崇开源,并推出大量的开源项目,但是从根本上来看,Google的开源力度、开放程度远远比不上Facebook。这也是为什么Facebook能够在短短的几年间,一跃成为全球最大的社交网站的原因之一。本文就来看看Facebook背后的开源力量。

facebook

[企业开源系列]系列专注于全球著名企业(包括国内企业)中的开源现状,探讨开源软件的力量,以使更多的开发者了解开源、贡献开源,打造更加和谐的国内开源生态。

一、Facebook vs. Google

Facebook从2004年创始以来,已经从一个哈佛大学校内网站一跃发展成为了全球最大的社交网站。目前,Fac[......]

Read more

分类: IT动态 标签:

wordpress使用二级域名做图片加速

2014年10月2日 没有评论

Python之startswith与endswith函数

2014年10月1日 没有评论

linux之core dump

2014年9月30日 没有评论

inode满导致passwd命令出错处理

2014年9月25日 没有评论

centos7重置密码

2014年9月24日 没有评论

centos7设置主机名指令hostnamectl

2014年9月24日 没有评论