AG亚游集团AG亚游集团


ag手机亚游

Linux网络文件系统的实现与调试

NFS协议

NFS (网络文件系统)不是传统意义上的文件系统,而是访问远程文件系统的网络协议。整个NFS服务的TCP/IP协议栈如下图所示,NFS是应用层协议,表示层是XDR,会话层是RPC,传输层同时支持UDP和TCP,网络层是IP协议。NFS/XDR/RPC等协议规范细节在《TCP/IP详解 卷1:协议》第29章有详细的描述,这里不再赘述。

经过多年的演进,NFS协议有多个版本,每个版本都有相应的RFC规范,如RFC1813。每个NFS的版本对比如下所示。

NFS通过NFS过程来对外提供服务。如下是RFC1813中定义的一组NFS过程。

null() 返回():不执行任何操作,有两个作用:相当于到服务器的ping,以及检测客户端和服务器间的RTT(Round Trip Time)。lookup(dirfh, name) 返回(fh, attr):返回目录中一个指定文件的fhandle和属性信息。create(dirfh, name, attr) 返回(newfh, attr):创建一个新文件并且返回它的fhandle和属性信息。remove(dirfh, name) 返回(status):从指定目录中删除文件。getattr(fh) 返回(attr):返回文件属性信息。这个调用类似于一个stat调用。setattr(fh, attr) 返回(attr):设置一个文件的mode,uid,gid,size,access time,modify time属性。将文件大小设置为0相当于对文件调用truncate。read(fh, offset, count) 返回(attr, data):从文件的offset偏移处开始,返回最多count个字节的数据。read操作也返回文件的属性信息。write(fh, fh, offset, count, data) 返回(attr):向文件offset偏移处开始,写入count字节的数据,返回写操作完成后的文件属性信息。rename(dirfh, name, tofh, toname) 返回(status):将dirfh目录中名为name的文件,重命名为tofh目录中名为toname的文件。link(dirfh, name, tofh, toname) 返回(status):在tofh目录中创建名为toname的链接,指向dirfh目录中的name文件。symlink(dirfh, name, string) 返回(status):在dirfh目录中创建一个名为name的符号链接。服务器不解释string的具体内容,而只是简单将其保存起来并且与符号链接文件相关联。mkdir(dirfh, name, attr) 返回(fh, newattr):在dirfh目录中创建名为name的目录,并返回其fhandle和属性信息。rmdir(dirfh, name) 返回(status):从dirfh中删除名为name的空目录。readdir(dirfh, cookie, count) 返回(entries):从dirfh目录返回组多count字节的目录项信息。每个目录项信息包含了一个文件名,文件id,和一个由服务器解释的指向下一个目录项的指针cookie。cookie的作用是在后续readdir操作中从一个指定的位置返回目录项信息。cookie为0的readdir调用从目录的第一个目录项开始返回。statfs(fh) 返回(fsstats):返回块大小、空闲块数等文件系统的信息。

NFS特性对比

NFSv3特性对比

V2支持的最大的文件大小为2GB(32bit),V3则更大(64bit)。V2将每个READ和WRITE 过程可以读写的数据限制为8192个字节,V3则取消了限制。RPC的读写字节数只受TCP/IP限制。V3引入新的NFS过程COMMIT,支持异步写,提高写性能。V3引入新的NFS过程ACCESS,支持服务侧ACL访问权限检查。V3引入新的NFS过程READDIRPLUS,其返回file handle和属性,这样可以减少LOOKUP的调用次数。V3对RPC命令进行优化,每个影响文件属性的RPC都返回新的属性,这样可以减少GETATTR的调用次数。

NFSv4特性对比

V3是无状态的,V4开始支持状态。改善文件系统的异常恢复能力。V4支持file delegation(客户端可以工作在本地副本,直到其他客户端请求同一个文件),改善文件系统一致性问题。V4引入新的NFS过程COMPOUND,支持一个COMPOUND请求包含多个NFS过程。提高请求的表达能力,减少RPC请求的调用次数。V4强制支持RPCSEC/GSS,改善文件系统的安全问题。V4支持加密ACL,改善文件访问权限管理。V4服务端为客户端支持统一的伪文件系统视图。服务端所有export目录都必须在一个伪文件系统root export目录下。V3客户端的IP是自动适配的,V4客户端支持mount clientaddr参数,可以指定客户端特定的IP地址。

NFSv4.1特性对比

客户端可以并行访问存储设备。支持多个服务端。支持文件系统的元数据和数据分离。delegation功能支持目录。支持会话机制(session),改善断链、崩溃等异常恢复能力。

Linux NFS实现与实例

LInux NFS架构是典型的CS架构,其结构如下图所示。其中服务端应用程序主要由如下几部分组成:

portmap:端口映射器,主要功能是进行RPC程序的端口映射工作。当客户端尝试连接并使用RPC服务器提供的服务(如NFS服务)时,portmap会将所管理的与服务对应的端口提供给客户端,从而使客户可以通过该端口向服务器请求服务。rpc.mountd:NFS挂载守护进程,主要功能是实现NFS MOUNT协议,负责挂载/卸载NFS文件系统和权限管理。它会读取NFS的配置文件/etc/exports来对比客户端访问权限。挂载成功后,客户获得服务器文件系统的一个文件句柄(fh)。rpc.nfsd:NFS服务端守护进程,是NFS服务的用户态部分。需要提出的是,NFS服务的大部分功能都由nfsd内核模块处理。

 可以看出NFS服务的大部分功能都是由内核模块实现的,除了图中所示的内核模块,内核还提供了2个内核守护进程:

nfsiod:主要作用是为NFS客户端提供高效的缓冲机制,如预读、延时写等,从而改善NFS文件系统的性能rpciod:主要作用是作为RPC(远过程调用服务)的守护进程,用于从客户端启动I/O服务。

下图是一个NFS协议消息流图实例(点击见大图),包含了一些典型的网络文件系统操作场景,如:

服务注册过程NFS挂载:mount 168.0.155.1:/datadisk0 /tmp改变工作目录:cd /tmp查看目录下文件:ls读文件:more tail bootcfg.ini

Linux NFS调试

NFS应用程序调试

打开应用程序调试功能:

/usr/sbin/portmap -d/usr/sbin/rpc.mountd -d all/usr/sbin/rpc.nfsd -d -s

查看NFS配置与记录日志:

cat /etc/exports cat /var/lib/nfs/rmtabcat /var/lib/nfs/etabcat /var/lib/nfs/xtabcat /var/lib/nfs/statetail /var/log/messages

NFS内核模块调试

打开NFS模块调试功能:

sysctl -w sunrpc.nfs_debug=2147483647sysctl -w sunrpc.nfsd_debug=2147483647

查看NFS相关统计和日志:

cat /proc/slabinfo | grep nfs/proc/fs/nfsfs/nfsstatdmesg

TCP/IP模块调试

打开RPC模块调试功能:

sysctl -w sunrpc.rpc_debug=2147483647

查看RPC相关统计和日志:

cat /var/run/portmap_mappingcat /proc/net/rpc/nfscat /proc/net/rpc/nfsd

查看TCP/IP相关统计和配置:

ping // 查看网络情况netstat -tpwn | grep 2049 // 查看NFS TCP链接cat /proc/sys/net/ipv4/tcp_retries2 // 查看TCP配置cat /proc/net/rpc/nfscat /proc/net/rpc/nfsd // deciles等字段cat /proc/net/snmp // IP: ReasmFails等字段

网络抓包:

tcpdump -s 9000 -w /tmp/dump.out port 2049

其他

nfs-utils移植

./configure CC=XX-gcc --build=$(./config.guess) --host=mips64-unknown-linux-gnu LDFLAGS="-L/usr/local/lib" CPPFLAGS="-I/usr/local/include" --disable-tirpc --disable-gss --disable-uuid --without-tcp-wrappers --with-gnu-ld

make

make install

文件系统导出条件

由NFS导出的文件系统由配置文件/etc/exports配置,可以导出的文件系统需要满足如下2个条件:

文件系统必须有一个设备号(需要有FS_REQUIRES_DEV,即存储设备)或FSID号(需要有NFSEXP_FSID 或 ->uuid)。文件系统必须支持s_export_op接口。而支持s_export_op接口的文件系统都是存储设备文件系统,如ext3/4、ubifs等。其他文件系统如rootfs、ramfs、sysfs等是不支持的。

 

欢迎阅读本文章: 谭自力

ag8.com

ag手机亚游