Python高级文件操作之shutil库详解-巨人网络通讯

Python高级文件操作之shutil库详解

前言

什么算是高层的文件操作呢？

普通的文件操作，我们一般只涉及创建文件，文件夹以及写入文件等等。假如我现在需要复制一个文件的内容到另一个文件之中，用pathlib等都只能先打开复制文件，然后进行将其读出来保存，然后再写入新的文件，这种普通的复制操作，无形之中增加了许多步骤。

而shutil库可以直接完成复制符间的操作，同时还支持归档。本篇，将详细介绍文件的高层次操作。

一、copyfile()

copyfile()函数用于将一个文件的内容复制到另一个文件之中，准备的来说，它不是copy内容，而是直接copy文件，并重命名。

示例如下：

import shutil

shutil.copyfile('week.csv', 'week_copy.csv')

很简单，就一行代码，第1个参数是需要copy的源文件，第2个参数是需要复制的新文件。运行之后，效果如下：

二、copy()与copy2()

不过，copyfile()函数用于复制文件有一个缺陷，该函数的原理是通过打开源文件进行读取。所以，如果是某些特殊的文件，比如是UNIX设备节点，没有权限会报IOERROR错误。

还需要注意的是，通过copyfile()函数复制的文件是一个新文件，它不包括旧文件的访问时间与修改时间。

而copy2()函数可以复制文件后保留访问时间，修改时间。示例如下：

import shutil
import os
import time

shutil.copy2('week.csv', 'week_copy.csv')
stat_info1 = os.stat('week.csv')
stat_info2 = os.stat('week_copy.csv')
print("源文件信息")
print(oct(stat_info1.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info1.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info1.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info1.st_mtime)))
print("复制文件信息")
print(oct(stat_info2.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info2.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info2.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info2.st_mtime)))

运行之后，效果如下：

而copy()与copyfile()一样都是复制文件的函数，不过copy()你给它一个文件夹名或者文件都可以复制，如果给文件夹名称，它会复制到文件夹下的目录中，当然复制的文件同名。而copyfile()如果给的是一个文件夹名称会报错。

示例如下：

import shutil
import os

os.mkdir('data')
shutil.copy('week.csv', 'data')

运行之后，效果如下：

三、copymode()与copystat()

通过copy2()函数，我们知道了如何复制文件内容和文件信息等操作。但是其复制并不包含文件的权限，比如我们的Win10系统C盘中，有些文件只能读不能写，那么如果将权限也复制过去呢？

答案是：copymode()函数，示例如下：

import shutil
import os, stat

with open("temp.txt", 'wt') as file:
    file.write("11111111111111111")
os.chmod("temp.txt", stat.S_IREAD)
shutil.copymode('temp_copymode.txt', 'temp.txt')
print(oct(os.stat('temp.txt').st_mode))
print(oct(os.stat('temp_copymode.txt').st_mode))

需要注意的是，copymode()复制的只是文件权限，不是文件，也就是被赋予权限的文件名必须存在后才能将某个文件的权限复制给它。比如这里temp_copymode.txt获取temp.txt权限，那么temp_copymode.txt必须存在后才能操作。而且这只是复制权限，并没有复制内容。（stat.S_IXGRP组用户组执行权限）

至于copystat()函数，不仅复制权限，而且也复制了文件的信息。具体代码如下：

import shutil
import os, stat
import time

with open("temp.txt", 'wt') as file:
    file.write("11111111111111111")
os.chmod("temp.txt", stat.S_IXGRP)
shutil.copystat('temp_copymode.txt', 'temp.txt')
stat_info1 = os.stat('temp.txt')
stat_info2 = os.stat('temp_copymode.txt')
print("源文件信息")
print(oct(stat_info1.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info1.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info1.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info1.st_mtime)))
print("复制文件信息")
print(oct(stat_info2.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info2.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info2.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info2.st_mtime)))

运行之后，效果如下：

四、复制整个文件夹

上面的所有复制都是针对单个文件的操作，但其实我们还会在实际的项目中，将整个文件夹复制到另一个位置。而且复制整个文件夹肯定会用到递归，不过shutil库有一个更简单的函数用于实现该操作：copytree()。

示例如下：

import shutil

shutil.copytree('./text', './text_copy')

这里一行代码就可以完成整个文件夹的实现。需要注意的是，第2个参数为需要复制到的目录，但该文件夹不能存在，copytree()函数会自动创建的，如果存在会报错。

参数copy_function

有时候，我们复制文件夹并不是需要将整个文件夹都复制过来，而是只需要指定的符合规则的文件，比如我们只需要某个文件夹下的所有后缀为py的文件，那么怎么筛选呢？

示例如下：

import shutil

def verbose_copy(src, dst):
    if src.endswith(".py"):
        return shutil.copy2(src, dst)

shutil.copytree('./text', './text_copy', copy_function=verbose_copy)

这里，我们通过copytree()函数的参数copy_function进行参数，该参数提供一个函数用于筛选符合规则的文件进行复制，比如这里，我们提供了一个函数，并判断后缀是否是.py然后再创建，当然，它会保存目录结构，但只复制.py后缀的文件。

参数ignore

copytree()不仅只有copy_function参数，还有一个ignore参数，它可以过滤掉某些文件，比如还是如上面一样，但是我们不需要.py后缀的文件，其他文件都复制，那么可以这样实现。

import shutil

shutil.copytree('./text', './text_copy', ignore=shutil.ignore_patterns('*.py'))

这样，就不会复制*.py规则的文件。

五、删除整个文件夹

既然有复制整个文件夹，那么肯定shutil库也会提供反向的操作用于删除整个文件夹。删除整个文件夹的函数为：rmtree()。

import shutil

shutil.rmtree('./text_copy')

这样，我们就删除了上面复制的文件夹内容。

六、移动文件夹或文件

除了复制文件与文件夹之外，我们在实际的项目中，还会移动整个某个文件或某个目录到另一个位置，shutil库提供了move()函数用于移动文件或文件夹。

示例如下：

import shutil

shutil.move('week.csv', './text')

这里，我们将csv文件移动到了刚才用于复制的text源文件目录。（移动文件夹一样操作，只是将文件名改为文件夹名）

七、查找文件

在更多的文件操作中，我们往往还需要查找某个文件。而shutil库提供了which()函数用于搜索查找目标文件。它有3个参数：mode可以设置查找文件的权限，path为需要查找的路径，cmd为要查找的文件。

示例如下：

import shutil

filename = shutil.which('python')
print(filename)

运行之后，效果如下：

八、归档

shutil库提供了更多高层函数来创建和解压归档文件。我们先来看看shutil库支持哪些格式，示例如下：

import shutil

for format,desc in shutil.get_archive_formats():
    print('{:5}:{}'.format(format,desc))

运行之后，效果如下：

简单的理解就是支持的压缩格式。

8.1 压缩文件

我们先来看一个简单的例子，将某个文件夹进行压缩，代码如下：

import shutil

shutil.make_archive('text','gztar',root_dir='..',base_dir='base_demo')

这里我们将text文件夹，压缩格式为gztar。运行之后，效果如下：

其中，root_dir指定要压缩的路径根目录（默认当前目录），只能指定路径，优先级低于base_dir。base_dir指定要压缩文件的路径，可以指定路径下的文件名，也可以指定路径。

8.2 解压缩

既然有压缩，肯定也就有解压缩。shutil库提供了unpack_archive()进行解压缩文件。示例如下：

import shutil

shutil.unpack_archive('text.tar.gz',extract_dir='text_un')

unpack_archive()函数的第1个参数为需要解压的文件，第2个参数为需要解压到哪里。

8.3 文件系统空间

完成一个长时间运行的可能耗尽可用空间的操作之前，最好先检查本地文件系统，来看看有多少可用的空间。shutil库提供了disk_usage()函数来返回包括总空间，当前正在使用的空间以及未使用的空间。

示例如下：

import shutil

(total, used, free) = shutil.disk_usage("E:/")
BytesPerGB = 1024 * 1024 * 1024
print ("Total: %.2fGB" % (float(total)/BytesPerGB))
print ("Used: %.2fGB" % (float(used)/BytesPerGB))
print ("Free: %.2fGB" % (float(free)/BytesPerGB))

运行之后，效果如下：