python网络爬虫

URL：网页地址, 统一资源定位符 , 对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。

lib：library

URL + lib == urllib(包)

protocol://hostname[:port]/path/[;parameters][?query]#fragment

from urllib import request

url = 'https://www.baidu.com'

head = {

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36"

}

#User-Agent: 普通浏览器会通过该内容向访问网站提供你所使用的浏览器类型、操作系统、浏览器内核等信息的标识

req = request.Request(url,headers=head)

response = request.urlopen(req)

html = response.read().decode('utf-8')

print(html)

request.urlopen()#对于HTTP和HTTPS URLs，此函数返回HTTP://client.HTTPResponse,需要用read(读取的字节数)方法读出内容

import urllib.request

import urllib.parse

import chardet

import json

content = input("输入要翻译的内容：")

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

data = {}

data['i'] = content

data['from'] = 'AUTO'

data['to'] = 'AUTO'

data['smartresult'] = 'dict'

data['client'] = 'fanyideskweb'

data['salt'] = '15860732825741'

data['sign'] = '64a222dc77968fbf373b4eecac7e6bb2'

data['ts'] = '1586073282574'

data['bv'] = '70244e0061db49a9ee62d341c5fed82a'

data['doctype'] = 'json'

data['version'] = '2.1'

data['keyfrom'] = 'fanyi.web'

data['action'] = 'FY_BY_REALTlME'

data = urllib.parse.urlencode(data).encode('utf-8')

head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"}

req = urllib.request.Request(url, data = data, headers = head)

#当data不是默认值时(也没有赋值为Null),将会进行POST:向服务器发送数据,否则将会进行GET:向服务器请求数据

#可以通过Request生成之后通过Request.add_header()将headers添加进去

response = urllib.request.urlopen(req)

html = response.read()

html = html.decode('utf-8')

target = json.loads(html)

print("翻译结果 ： %s" % (target['translateResult'][0][0]['tgt']))

代理ip：百度即可

1. 设置一个字典{'类型' : '代理IP : 端口号'}

proxy_support = urllib.request.ProxyHandler({})

2. 定制、创建一个opener

opener = urllib.request.build_opener(proxy_support)

#是否添加headers

opener.addheaders = [('User-Agent', '')]

3a. 安装opener

urllib.request.install_opener(opener)#将默认open改成定制好的opener

之后就可以使用正常的访问形式了

3b. 调用opener

opener.open(url)#暂时使用特殊的opener

#urlopen()使用的是默认的opener

URLError

try:

urllib.request.urlopen(req)

except urllib.error as e:

print(e.reason)

HTTPError是URLError的子类,需要写在URLError前

try:

urllib.request.urlopen(req)

except urllib.error.HTTPError as e:

print(e.code)

print(e.read())

try:

urllib.request.urlopen(req)

except URLError as e:

if hasattr(e, 'reason'):

print('Reason:', e.reason)

elif hasattr(e, 'code'):

print('Error code:', e.code)

else:

tutorial/

scrapy.cfg#项目配置文件

tutorial/#模块的代码

__init__.py

items.py#容器

pipelines.py#容器

settings.py#设置文件

spiders/#需要添加的地方

__init__.py

......

class Tutorialitem(scrapy.Item)

title = scrapy.Field()#资源名称

link = scrapy.Field()#资源链接

desc = scrapy.Field()#资源描述

import scrapy

class DmozSpider(scrapy.Spider):

#---------------------Request---------------------

name = "dmoz"#唯一，爬虫的名字

allowed_domains = ['dmoz.org']#爬取的范围

start_urls = ["", "", ......]#开始的网址

#-------------------------------------------------

#---------------------Responses-------------------

def parse(self, response):

filename = response.url.spilt("/")[-2]

withh open(filename, "wb") as f:

f.write(response.body)

#-------------------------------------------------

scrapy shell "网址"#载入shell，即Scrapy Selectors选择器，得到response的回应

response.body#网页代码

response.headers#网页头

response.xpath("//title")#查找带有标签的结点

response.xpath("//title").extract()#将xpath得到的列表中的结点字符串化

response.xpath("//title/text()").extract()#得到节点的内容，通过字符串显示

sel.xpath('//url/li')#查找url下的li................没有sel变量，可以用responsed代替

sel.xpath('//url/li/text').extract()#获取内容，字符串显示

sel.xpath('//url/li/a/text').extract()#获取内容，字符串显示

sel.xpath('//url/li/a/@href').extract()#获取网址的链接

sites = sel.xpath('//ul[@class='derectory-url']/li')#查找指定的class的节点

for site in sites:

title = site.xpath('a/text()').extract()

exit()#退出

from toturial/items import DmozItem()#导入item类

def parse(self, response):

sel = scrapy.selector.Selector(response)#手动创建选择器对象

sites = sel.xpath('//ul[@class='derectory-url']/li')

items = []

for site in sites:

item = DmozItem()

item['title'] = site.xpath('a/text()').extract()

item['link ']= site.xpath('a/@href').extract()

item['desc'] = dite.xpath('text()').extract()

items.append(item)

return items

scrapy craul dmoz -o items.json -t json

cd Desktop

scrapy startproject 项目名(tutorial文件夹)#创建文件

cd tutorial

scrapy crawl dmoz(爬虫的名字)运行爬虫

books

Resouces#网页的源代码

xpath()#传入xpath表达式，返回该表达式所对应的所有结点的selector list列表

css()#传入css表达式，返回该表达式所对应的所有结点的selector list列表

extract()#序列化该节点为unicode字符串并返回list

re()#根据传入的正则表达式对数据进行提取，返回unicode字符串list列表