Python :读取带有方括号/长路径名称的文件名的问题

Question

我试着和熊猫一起读excel文件。

df=pd.read_excel('abcd (xyz-9) Interim Report 01-03-18.xlsx')

这给了我文件找不到的错误。如果去掉括号并将文件重命名为'abcd Interim Report 01-03-18.xlsx'，那么它可以正常工作。

我试着用shutil重命名，但是它给了我同样的错误。

shutil.copyfile('abcd (xyz-9) Interim Report 01-03-18.xlsx','test.xlsx')

我试过了

1. pd.read_excel('abcd ^(xyz-9) Interim Report 01-03-18.xlsx')
2. pd.read_excel('abcd \\(xyz-9\\) Interim Report 01-03-18.xlsx')

编辑：

该文件似乎在本地驱动器上工作，但在网络驱动器上工作，即使我将cwd更改为文件位置。

关于glob和os.path.exists的使用

for i in range(0,1):
    for filename in glob.glob(fpath+"\\"+ldir[i]+"\\"+"*Interim*.xlsx"):
        print(filename)
        print(os.path.exists(filename))

\\Africa-me.xxx.com\Africa-me\xxx\xxx\xxx\xxx\06 xxx\02 xxx, xxx and xxxx xxx\03 xxx\04 xxx\05 xx xx & xx\12 2018 xx\06 xx xxx\\\AAA-61\abcd (xyz-9) Interim Report 01-03-18.xlsx
False

\\Africa-me.xxx.com\Africa-me\xxx\xxx\xxx\xxx\06 xxx\02 xxx, xxx and xxxx xxx\03 xxx\04 xxx\05 xx xx & xx\12 2018 xx\06 xx xxx\\\AAA-61\abcd Interim Report 01-03-18.xlsx
True

关于glob和os.stat的使用

import ctypes

for i in range(0,1):
    for filename in glob.glob(fpath+"\\"+ldir[i]+"\\"+"*Interim*.xlsx"):
        print(filename)
        try:
            print(os.stat(filename))
        except OSError as e: 
            ntstatus = ctypes.windll.ntdll.RtlGetLastNtStatus()
            print('winerror:', e.winerror) 
            print('ntstatus:', hex(ntstatus & (2**32-1)))

\\Africa-me.xxx.com\Africa-me\xxx\xxx\xxx\xxx\06 xxx\02 xxx, xxx and xxxx xxx\03 xxx\04 xxx\05 xx xx & xx\12 2018 xx\06 xx xxx\\\AAA-61\abcd (xyz-9) Interim Report 01-03-18.xlsx
winerror: 3
ntstatus: 0x80000006

\\Africa-me.xxx.com\Africa-me\xxx\xxx\xxx\xxx\06 xxx\02 xxx, xxx and xxxx xxx\03 xxx\04 xxx\05 xx xx & xx\12 2018 xx\06 xx xxx\\\AAA-61\abcd Interim Report 01-03-18.xlsx
os.stat_result(st_mode=33206, st_ino=15624813576354602, st_dev=3657573641, st_nlink=1, st_uid=0, st_gid=0, st_size=726670, st_atime=1563172745, st_mtime=1523347973, st_ctime=1563170560) 

Answer 1

os.stat测试表明，使用ERROR_PATH_NOT_FOUND (3)访问带有括号的路径失败，这要么来自缺少的path组件，要么来自太长的路径。我们知道查找最终路径组件不是问题，因为在本例中，我们预计错误为ERROR_FILE_NOT_FOUND (2)。我们知道这不是保留字符的问题，因为在这种情况下，我们期望错误是ERROR_INVALID_NAME (123)。另外，在这两种情况下，Windows都必须进行NT系统调用，但我们看到最后的NT状态是STATUS_NO_MORE_FILES (0x80000006)，它来自glob.glob中的os.listdir调用。因此，问题可能是这条路太长了。

为了简洁或隐私起见，这个问题似乎将某些路径组件名称缩短为"xxx“。如果扩展到真名，我们会看到"(xyz-9)“的路径至少有260个字符，这比MAX_PATH - 1 (259个)路径的最大允许长度多一个字符。

我们可以通过将长路径转换为扩展路径来访问长路径，扩展路径是以“\\”设备路径前缀或UNC路径的“\\UNC\”开头的Unicode字符串。首先，由于Windows中的字节路径仅限于MAX_PATH字符，所以我们必须将字节路径解码为Unicode。接下来，我们必须通过os.path.abspath对路径进行规范化和限定，因为扩展路径在访问时绕过了规范化。下面是一个将DOS路径转换为扩展路径的extpath函数：

import os

try:
    from os import fsdecode
except ImportError: # Probably Python 2.x
    import sys
    def fsdecode(filename):
        if isinstance(filename, type(u'')):
            return filename
        elif isinstance(filename, bytes):
            return filename.decode(sys.getfilesystemencoding(), 'strict')
        raise TypeError('expected string, not {}'.format(
                type(filename).__name__))

def extpath(path):
    path = os.path.abspath(fsdecode(path))
    if not path.startswith(u'\\\\?\\'):
        if path.startswith(u'\\\\.\\'):
            path = u'\\\\?\\' + path[4:]
        elif path.startswith(u'\\\\'):
            path = u'\\\\?\\UNC\\' + path[2:]
        else:
            path = u'\\\\?\\' + path
    return path

背景

Windows (即自XP以来的所有Windows版本)的核心是NTOS操作系统，它使用NT内核。这类似于20世纪80年代和90年代初16位Windows在DOS上的分层方式。但与DOS相比，NTOS与Windows的耦合更为紧密，而且它是一种功能更强的操作系统(例如，支持对称多处理、抢占多线程、虚拟内存、异步I/O、安全对象以及同时登录和会话的多个用户)。

在某些方面，Windows仍然维护它的MS根。特别是对于磁盘设备和文件系统路径，Windows使用DOS路径而不是NT对象路径。这包括DOS驱动器"A:“通过"Z:”和UNC路径(如"\server\share\path“)。Windows API规范DOS路径以用反斜杠替换正斜杠；使用进程工作目录或每个驱动器工作目录解析相关路径(即没有根目录或驱动器的路径)；解决“。还有“.”组件；以及从最终组件中修剪尾随空间和点。

当访问DOS路径时，Windows将其转换为以WINAPI设备前缀"\.\“和”\？“开头的设备路径。"C:\Windows“->”\\C：\Windows“)对于驱动器-字母路径和相对路径(但不包括UNC路径)，它在最终路径组件中保留一小组DOS设备名称(例如，"C:\Temp\con“-> \.\con”和"nul“-> \.\nul”)。对于UNC路径，它使用"UNC“设备挂载点(例如\server\share\path ->”\\UNC\server\share\path“)。在调用传递到NT域之前，WINAPI设备前缀("\.\“或”\\“)将被NTAPI设备前缀(”\？“)替换。

这些设备名称空间前缀是NT对象命名空间中调用方本地挂载点目录的缩写(即“\ Session \0\DosDevice\")。本地挂载目录隐式隐藏全局挂载点目录(即"\ global ??")。例如，"C:\Temp“变成”\？C：\Temp“，如果全局"C:”不是本地阴影，则计算结果为“\ global？\C：\Temp”。全局挂载点可以通过“全局”对象链接(例如“\\ global \C：\Temp”)显式引用，应该始终可用。

传统上，DOS路径规范化使用的字符串缓冲区的空间不超过MAX_PATH (260个)字符。在Windows 10中，如果系统启用了长路径，并且应用程序清单声明它具有长路径感知，则取消此遗留限制(在大多数情况下)。Python中的"pythonw.exe“可执行文件具有以下清单设置。

如果没有启用长DOS路径，大多数文件API函数仍然支持长路径。我们只需使用以“\？”前缀开头的WINAPI设备路径，该前缀称为扩展路径。这类似于以"\.\“前缀开头的常规设备路径，除非扩展路径在访问时不会正常化。缺点是我们必须实现我们自己的路径正常化。在Python中，这是由os.path.abspath实现的。我们仍然需要手动重写UNC路径，但这是一个简单的问题，就是用“\？\UNC”替换前导"\“。

请注意，工作目录不支持扩展或不支持设备路径。如果我们将设备路径设置为工作目录，则系统具有未定义的行为。因此，不要将它们与Python的os.chdir或subprocess.Popen的cwd参数一起使用。这意味着我们不能通过将扩展路径设置为工作目录来绕过使用长相对路径的限制。在Windows 10中，如果为进程启用了长DOS路径，则工作目录确实支持长路径，但它仍然只支持常规DOS路径(UNC和驱动器路径)，而不支持设备路径。

Answer 2

每当我处理文件时，我总是尝试使用python的pathlib模块。文件名中的初始a似乎有错误。

import pandas as pd                                                        
import pathlib                                                             
path_to_file = pathlib.Path("g:\Python\abcd (xyz-9) Interim Report 01-03-18.xlsx")
df = pd.read_exces(path_to_file)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'pandas' has no attribute 'read_exces'
df = pd.read_excel(path_to_file)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Program Files\Python37\lib\site-packages\pandas\util\_decorators.py", line 188, in wrapper
    return func(*args, **kwargs)
  File "C:\Program Files\Python37\lib\site-packages\pandas\util\_decorators.py", line 188, in wrapper
    return func(*args, **kwargs)
  File "C:\Program Files\Python37\lib\site-packages\pandas\io\excel.py", line 350, in read_excel
    io = ExcelFile(io, engine=engine)
  File "C:\Program Files\Python37\lib\site-packages\pandas\io\excel.py", line 653, in __init__
    self._reader = self._engines[engine](self._io)
  File "C:\Program Files\Python37\lib\site-packages\pandas\io\excel.py", line 424, in __init__
    self.book = xlrd.open_workbook(filepath_or_buffer)
  File "C:\Program Files\Python37\lib\site-packages\xlrd\__init__.py", line 111, in open_workbook
    with open(filename, "rb") as f:
OSError: [Errno 22] Invalid argument: 'g:\\Python\x07bcd (xyz-9) Interim Report 01-03-18.xlsx'

由于前面的反斜杠，最初的a在某种程度上被解释为控制符号\x07 U+0007 : the。

这就是为什么在将路径定义为Dawid suggested时必须使用原始字符串

path_to_file = pathlib.Path(r"g:\Python\abcd (xyz-9) Interim Report 01-03-18.xlsx")