【Python 教程14】- 网络编程

14、Python 教程 - 网络编程

本章首先概述​Python 标准库中的一些网络模块​。然后​讨论 SocketServer 和相关的类​，并介绍​同时处理多个连接的各种方法​。最后，简单地说一说​Twisted​，这是一个使用 Python 编写网络程序的框架，功能丰富而成熟。

几个网络模块

模块 socket

网络编程中的一个基本组件是套接字（socket）。套接字基本上是一个信息通道，两端各有一个程序。套接字分为两类：服务器套接字和客户端套接字。
为传输数据，套接字提供了两个方法：send 和 recv（表示 receive）。要发送数据，可调用方法 send 并提供一个字符串；要接收数据，可调用 recv 并指定最多接收多少个字节的数据。
最简单的服务器服务器套接字先调用方法 bind，再调用方法 listen 来监听特定的地址。然后，客户端套接字就可连接到服务器了，办法是调用方法 connect 并提供调用方法 bind 时指定的地址（在服务器端，可使用函数 socket.gethostname 获取当前机器的主机名）。这里的地址是一个格式为(host, port)的元组，其中 host 是主机名（如 www.example.com），而 port 是端口号（一个整数）。方法 listen 接受一个参数——待办任务清单的长度（即最多可有多少个连接在队列中等待接纳，到达这个数量后将开始拒绝连接）服务器套接字开始监听后，就可接受客户端连接了，这是使用方法 accept 来完成的。这个方法将阻断（等待）到客户端连接到来为止，然后返回一个格式为(client, address)的元组，其中 client 是一个客户端套接字，而 address 是前面解释过的地址。服务器能以其认为合适的方式处理客户端连接，然后再次调用 accept 以接着等待新连接到来。这通常是在一个无限循环中完成的。

import socket s = socket.socket() host = socket.gethostname() port = 1234 s.bind((host,port)) s.listen(5) while True: c,addr = s.accept() print('Got connection from',addr) c.send('Thank you for connecting') c.close()

最简单的客户端

import socket s = socket.socket() host = socket.gethostname() port = 1234 s.connect((host,port)) print(s.recv(1024))

模块 urllib 和 urllib2

1，打开远程文件

from urllib.request import urlopen import re webpage = urlopen('https://beyondyanyu.blog.csdn.net')#变量webpage将包含一个类似于文件的对象，这个对象与该网站相关联 text = webpage.read() m = re.search(b'<a href="([^"]+)".*?>about</a>',text,re.IGNORECASE) m.group(1)

2，获取远程文件函数urlopen返回一个类似于文件的对象，可从中读取数据。可使用urlretrieve，下载文件，并将其副本存储在一个本地文件中。这个函数不返回一个类似于文件的对象，而返回一个格式为(filename, headers)的元组，其中 filename 是本地文件的名称（由 urllib 自动创建），而 headers 包含一些有关远程文件的信息。调用函数urlcleanup且不提供任何参数，清空所有临时文件。
获取 CSDN 的主页，并将其存储到文件 C:\webpage.html 中。

urlretrieve('https://beyondyanyu.blog.csdn.net', 'C:\\python_webpage.html')

一些实用的函数

其他模块

SocketServer 及相关的类

模块SocketServer是标准库提供的服务器框架的基石，这个框架包括 BaseHTTPServer、SimpleHTTPServer、CGIHTTPServer、SimpleXMLRPCServer 和 DocXMLRPCServer 等服务器，它们在基本服务器的基础上添加了各种功能。
SocketServer 包含 4 个基本的服务器：TCPServer（支持 TCP 套接字流）、UDPServer（支持 UDP 数据报套接字）以及更难懂的 UnixStreamServer 和 UnixDatagramServer。后面 3 个你可能不会用到。
使用模块 SocketServer 编写服务器时，大部分代码都位于请求处理器中。基本请求处理程序类 BaseRequestHandler 将所有操作都放在一个方法中——服务器调用的方法 handle。这个方法可通过属性 self.request 来访问客户端套接字。如果处理的是流（使用 TCPServer 时很可能如此），可使用 StreamRequestHandler 类，它包含另外两个属性：self.rfile（用于读取）和 self.wfile（用于写入）。
基于 SocketServer 的极简服务器

from socketserver import TCPServer,StreamRequestHandler class Handler(StreamRequestHandler): def handle(self): addr = self.request.getpeername() print('Got connection from',addr) self.wfile.write('Thank you for connecting') server = TCPServer(('',1234),Handler) server.serve_forever()

多个连接

处理多个连接的主要方式有三种：​分叉​（forking）、线程化和​异步 I/O​。分叉占用的资源较多，且在客户端很多时可伸缩性不佳。
进程：运行着的程序****分叉：对进程（运行的程序）进行分叉时，基本上是复制它，而这样得到的两个进程都将从当前位置开始继续往下执行，且每个进程都有自己的内存副本（变量等）。原来的进程为父进程，复制的进程为子进程。查看函数 fork 的返回值可以区别父子进程。
在分叉服务器中，对于每个客户端连接，都将通过分叉创建一个子进程。父进程继续监听新连接，而子进程负责处理客户端请求。客户端请求结束后，子进程直接退出。由于分叉出来的进程并行地运行，因此客户端无需等待。
鉴于分叉占用的资源较多（每个分叉出来的进程都必须有自己的内存），还有另一种解决方案：​线程化​。
线程是轻量级进程（子进程），都位于同一个进程中并共享内存。这减少了占用的资源，但也带来了一个缺点：由于线程共享内存，你必须确保它们不会彼此干扰或同时修改同一项数据，否则将引起混乱。这些问题都属于同步问题。
种避免线程和分叉的办法是使用​Stackless Python​。它是一个能够快速而轻松地在不同上下文之间切换的 Python 版本。它支持一种类似于线程的并行方式，名为​微线程​，其可伸缩性比真正的线程高得多。

使用 SocketServer 实现分叉和线程化

仅当方法 handle 需要很长时间才能执行完毕时，分叉和线程化才能提供帮助。请注意，​Windows 不支持分叉​。
分叉服务器

from socketserver import TCPSercer,ForkingMixIn,StreamRequestHandler class Server(ForkingMixIn,TCPSercer):pass class Handler(StreamRequestHandler): def handle(self): addr = self.request.getpeername() print('Got connection from',addr) self.wfile.write('Thank you for connecting') server = Server(('',1234),Handler) server.serve_forever()

线程化服务器

from socketserver import TCPServer, ThreadingMixIn, StreamRequestHandler class Server(ThreadingMixIn, TCPServer): pass class Handler(StreamRequestHandler): def handle(self): addr = self.request.getpeername() print('Got connection from', addr) self.wfile.write('Thank you for connecting') server = Server(('', 1234), Handler) server.serve_forever()

使用 select 和 poll 实现异步 I/O

当服务器与客户端通信时，来自客户端的数据可能时断时续。如果使用了分叉和线程化，这就不是问题：因为一个进程（线程）等待数据时，其他进程（线程）可继续处理其客户端。然而，另一种做法是只处理当前正在通信的客户端。你甚至无需不断监听，只需监听后将客户端加入队列即可。这就是框架 asyncore/asynchat 和 Twisted 采取的方法。这种功能的基石是函数 select 或 poll）。这两个函数都位于模块 select 中，其中 poll 的可伸缩性更高，但只有 UNIX 系统支持它（Windows 不支持）。
使用 select 的简单服务器函数 select 接受三个必不可少的参数和一个可选参数，其中前三个参数为序列，而第四个参数为超时时间（单位为秒）。这三个序列分别表示需要输入和输出以及发生异常（错误等）的连接。如果没有指定超时时间，select 将阻断（即等待）到有文件描述符准备就绪；如果指定了超时时间，select 将最多阻断指定的秒数；如果超时时间为零，select 将不断轮询（即不阻断）。
select 返回三个序列（即一个长度为 3 的元组），其中每个序列都包含相应参数中处于活动状态的文件描述符。

import socket,select s = socket.socket() host = socket.gethostname() port = 1234 s.bind((host,port)) s.listen(5) inputs = [s] while True: rs,ws,es = select.select(inputs,[],[]) for r in rs: if r is s: c,addr = s.accept() print('Got connection from',addr) inputs.append(c) else: try: data = r.recv(1024) disconnected = not data except socket.error: disconnected = True if disconnected: print(r.getpeername(),'disconnected') inputs.remove(r) else: print(data)

select 模块中的轮询事件常量

import socket,select s = socket.socket() host = socket.gethostname() port = 1234 s.bind((host,port)) fdmap = { s.fileno():s} s.listen(5) p = select.poll() p.register(s) while True: events = p.poll() for fd, event in events: if fd in fdmap: c, addr = s.accept() print('Got connection from', addr) p.register(c) fdmap[c.fileno()] = c elif event & select.POLLIN: data = fdmap[fd].recv(1024) if not data: 没有数据 --连接已关闭 print(fdmap[fd].getpeername(), 'disconnected') p.unregister(fd) del fdmap[fd] else: print(data)

Twisted

Twisted 是由 Twisted Matrix Laboratories（http://twistedmatrix.com）开发的，这是一个事件驱动的 Python 网络框架。
使用 Twisted 创建的简单服务器事件处理程序是在协议中定义的。你还需要一个工厂，它能够在新连接到来时创建这样的协议对象。如果你只想创建自定义协议类的实例，可使用 Twisted 自带的工厂——模块twisted.internet.protocol中 的Factory类。编写自定义协议时，将模块twisted.internet.protocol中的 Protocol 作为超类。有新连接到来时，将调用事件处理程序 connectionMade；连接中断时，将调用 connectionLost。来自客户端的数据是通过处理程序 dataReceived 接收的。

from twisted.internet import reactor from twisted.internet.protocol import Protocol, Factory class SimpleLogger(Protocol): def connectionMade(self): print('Got connection from', self.transport.client) def connectionLost(self, reason): print(self.transport.client, 'disconnected') def dataReceived(self, data): print(data) factory = Factory() factory.protocol = SimpleLogger reactor.listenTCP(1234, factory) reactor.run()

使用协议 LineReceiver 改进后的日志服务器如果使用 telnet 连接到这个服务器以便测试它，每行输出可能只有一个字符，是否如此取决于缓冲等因素。为此，可编写一个自定义协议。模块 twisted.protocols.basic 包含几个预定义的协议，其中一个就是 LineReceiver。它实现了 dataReceived，并在每收到一整行后调用事件处理程序 lineReceived。

from twisted.internet import reactor from twisted.internet.protocol import Factory from twisted.protocols.basic import LineReceiver class SimpleLogger(LineReceiver): def connectionMade(self): print('Got connection from', self.transport.client) def connectionLost(self, reason): print(self.transport.client, 'disconnected') def lineReceived(self, line): print(line) factory = Factory() factory.protocol = SimpleLogger reactor.listenTCP(1234, factory) reactor.run()

小结

本章介绍的新函数