Repository navigation
Expand file tree
/
Copy pathfile_parser.py
More file actions
253 lines (197 loc) · 11.1 KB
/
Copy pathfile_parser.py
File metadata and controls
253 lines (197 loc) · 11.1 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
"""
file_parser.py —— 阶段1:多格式文档解析(新手必读!)
【小白解释:这个文件做什么?】
这个文件负责"读取文档",把 PDF、Word、Excel 三种格式的文件,
统一解析成纯文本字符串,供后续处理。
【小白解释:什么是"解析"?】
解析就是把文档里的文字提取出来。比如 PDF 里可能有图片、表格、格式,
但我们只需要纯文字,所以要把这些"包装"去掉,只保留文字内容。
职责:把PDF/Word/Excel三种格式的文件,统一解析成纯文本字符串。
对应作业要求的"多格式文档上传与解析功能"。
设计思路:
- 每种格式写一个独立的 parse_xxx() 函数,互不影响,方便单独测试和调试
- 统一用 ParseResult 这个小结构体返回结果,success/text/error 三个字段,
上层(main.py)只需要判断 success 就知道要不要往下走,不用到处写 try/except
- 所有异常都在这一层兜底捕获,绝不让一个文件解析失败拖垂整个程序
"""
import os # 【小白解释】操作系统模块,用来检查文件是否存在、获取文件大小等
from dataclasses import dataclass # 【小白解释】用来快速创建一个简单的"数据类"
# 下面三个是第三方库,用来解析不同格式的文档:
import pdfplumber # 解析 PDF,对中文支持比 PyPDF2 更好
from docx import Document # 解析 Word 文档(.docx 格式)
import openpyxl # 解析 Excel 表格(.xlsx/.xls 格式)
import config
# 硬性要求里提到"超大文件"要拦截,这里给个具体阈值,你也可以根据自己电脑性能改
MAX_FILE_SIZE_MB = config.MAX_FILE_SIZE_MB
@dataclass
class ParseResult:
success: bool # 是否成功
text: str = "" # 解析出的文本内容
error: str = "" # 错误信息
def _check_file_basic(file_path: str) -> str:
# os.path.exists() 检查文件是否存在
if not os.path.exists(file_path):
return f"文件不存在:{file_path}"
# os.path.getsize() 获取文件大小(字节)
file_size = os.path.getsize(file_path)
if file_size == 0:
return "文件为空,无法解析"
# 把字节转换成 MB(1 MB = 1000 * 1000 字节,采用十进制标准)
size_mb = file_size / (1000 * 1000)
if size_mb > MAX_FILE_SIZE_MB:
return f"文件过大({size_mb:.1f}MB),超过限制({MAX_FILE_SIZE_MB}MB),已拦截"
return "" # 检查通过,返回空字符串表示没问题
def parse_pdf(file_path: str) -> ParseResult:
# 先做基本检查(文件是否存在、是否过大等)
err = _check_file_basic(file_path)
if err:
return ParseResult(success=False, error=err)
try:
pages_text = [] # 【小白解释】用列表收集每一页的文字
# 【小白解释】with 语句是 Python 的"上下文管理器",
# 打开文件后,无论成功还是失败,都会自动关闭文件,不会忘记关。
with pdfplumber.open(file_path) as pdf:
if len(pdf.pages) == 0:
return ParseResult(success=False, error="PDF文件没有任何页面")
# 【小白解释】enumerate() 可以同时获取索引和元素
# start=1 表示索引从 1 开始(而不是默认的 0)
for page_num, page in enumerate(pdf.pages, start=1):
page_text = page.extract_text() # 提取这一页的文字
if page_text:
pages_text.append(page_text.strip()) # strip() 去掉首尾空白
# 【小白解释】"\n\n".join() 把列表里的字符串用双换行连接起来
# 这样每一页之间会有空行分隔,方便阅读
full_text = "\n\n".join(pages_text)
if not full_text.strip():
# 提取出来是空的,大概率是扫描版PDF(图片型),没有可提取的文字层
return ParseResult(
success=False,
error="未能从PDF中提取到文字内容,可能是扫描版图片PDF",
)
return ParseResult(success=True, text=full_text)
except Exception as e:
# 损坏文件、加密文件、格式不匹配等,pdfplumber会在这里抛异常
return ParseResult(success=False, error=f"PDF解析失败,文件可能已损坏或格式异常:{e}")
def parse_docx(file_path: str) -> ParseResult:
"""
【小白解释】解析 Word 文档(.docx 格式)
解析Word(.docx):逐段提取正文,过滤掉空白段落。
注意:python-docx只能读.docx,读不了老的.doc格式,这点在README里要提醒用户。
"""
err = _check_file_basic(file_path)
if err:
return ParseResult(success=False, error=err)
# 【小白解释】检查文件扩展名,确保是 .docx 格式
# .lower() 把文件名转成小写,这样 ".DOCX" 和 ".docx" 都能识别
if not file_path.lower().endswith(".docx"):
return ParseResult(
success=False,
error="不支持的Word格式,仅支持.docx(老版本.doc请先用Word转存为.docx)",
)
try:
# 【小白解释】Document() 打开 Word 文档
doc = Document(file_path)
paragraphs = []
# 【小白解释】doc.paragraphs 是文档里所有段落的列表
for para in doc.paragraphs:
text = para.text.strip() # 提取段落文字,去掉首尾空白
if text: # 过滤空白段落(只保留有内容的)
paragraphs.append(text)
# 【小白解释】Word 文档里可能还有表格,也要提取出来
# doc.tables 是文档里所有表格的列表
for table in doc.tables:
for row in table.rows:
# 【小白解释】把一行里的每个单元格内容用 " | " 连接
# cell.text.strip() for cell in row.cells 是"列表推导式"的写法
row_text = " | ".join(cell.text.strip() for cell in row.cells if cell.text.strip())
if row_text:
paragraphs.append(row_text)
full_text = "\n".join(paragraphs)
if not full_text.strip():
return ParseResult(success=False, error="Word文档中没有可提取的文字内容")
return ParseResult(success=True, text=full_text)
except Exception as e:
return ParseResult(success=False, error=f"Word解析失败,文件可能已损坏或格式异常:{e}")
def parse_excel(file_path: str) -> ParseResult:
"""
【小白解释】解析 Excel 表格(.xlsx/.xls 格式)
解析Excel(.xlsx/.xls):按工作表(sheet)拆分,逐行逐单元格提取,
并且把"列名:值"绑定在一起,这样切块、检索的时候,模型才知道
某个数字对应的是哪一列,不会出现"数据对应关系错乱"的问题。
例如一行数据 [张三, 28, 工程师] 配合表头 [姓名, 年龄, 职位],
转成文本是: "姓名: 张三 | 年龄: 28 | 职位: 工程师"
这样即使被切块切散了,单条文本本身依然语义完整。
"""
err = _check_file_basic(file_path)
if err:
return ParseResult(success=False, error=err)
if not file_path.lower().endswith((".xlsx", ".xls")):
return ParseResult(success=False, error="不支持的Excel格式,仅支持.xlsx/.xls")
try:
# 【小白解释】openpyxl.load_workbook() 打开 Excel 文件
# data_only=True 表示只读取数据,不读取公式(公式会显示计算结果而不是公式本身)
workbook = openpyxl.load_workbook(file_path, data_only=True)
if len(workbook.sheetnames) == 0:
return ParseResult(success=False, error="Excel文件没有任何工作表")
all_sheets_text = []
# 【小白解释】workbook.sheetnames 是所有工作表名称的列表
for sheet_name in workbook.sheetnames:
sheet = workbook[sheet_name] # 获取这个工作表
# 【小白解释】iter_rows() 按行遍历表格,values_only=True 只返回值不返回单元格对象
rows = list(sheet.iter_rows(values_only=True))
if not rows:
continue # 空sheet跳过,不报错,因为一个workbook里其他sheet可能有数据
# 【小白解释】rows[0] 是第一行,通常就是表头(列名)
header = rows[0]
sheet_lines = [f"【工作表:{sheet_name}】"] # 标记这是哪个工作表
# 【小白解释】从第二行开始遍历数据行(跳过表头)
for row_idx, row in enumerate(rows[1:], start=2):
cell_parts = []
for col_idx, value in enumerate(row):
# 【小白解释】跳过空单元格
if value is None or str(value).strip() == "":
continue
# 【小白解释】获取列名:如果表头有这一列就用表头名称,否则用"列1"、"列2"等
col_name = header[col_idx] if col_idx < len(header) and header[col_idx] else f"列{col_idx + 1}"
cell_parts.append(f"{col_name}: {value}")
if cell_parts:
# 【小白解释】把这一行的所有单元格用 " | " 连接
sheet_lines.append(" | ".join(cell_parts))
if len(sheet_lines) > 1: # 除了sheet标题行还有实际数据
all_sheets_text.append("\n".join(sheet_lines))
# 【小白解释】把所有工作表的文本用双换行连接
full_text = "\n\n".join(all_sheets_text)
if not full_text.strip():
return ParseResult(success=False, error="Excel文件中没有可提取的数据")
return ParseResult(success=True, text=full_text)
except Exception as e:
return ParseResult(success=False, error=f"Excel解析失败,文件可能已损坏或格式异常:{e}")
def parse_document(file_path: str) -> ParseResult:
"""
【小白解释】这是"统一入口"函数,其他文件只需要调用这一个函数
统一入口:根据文件后缀自动分发到对应的parse_xxx函数。
main.py只需要调用这一个函数,不用关心具体是什么格式。
这也是"格式不匹配"异常容错的拦截点——不认识的后缀直接拒绝。
【小白解释】工作流程:
1. 获取文件扩展名(如 ".pdf"、" .docx")
2. 根据扩展名调用对应的解析函数
3. 返回解析结果(成功或失败)
"""
# 【小白解释】os.path.splitext() 把文件路径拆分成"文件名"和"扩展名"
# 比如 "document.pdf" 会拆成 ("document", ".pdf")
# [1] 取第二个元素,就是扩展名
# .lower() 转成小写,这样 ".PDF" 和 ".pdf" 都能识别
ext = os.path.splitext(file_path)[1].lower()
# 【小白解释】根据扩展名分发到不同的解析函数
if ext == ".pdf":
return parse_pdf(file_path)
elif ext == ".docx":
return parse_docx(file_path)
elif ext in (".xlsx", ".xls"):
return parse_excel(file_path)
else:
# 【小白解释】不认识的文件格式,直接拒绝
return ParseResult(
success=False,
error=f"不支持的文件格式:{ext}(本系统仅支持PDF/Word/Excel三类文档)",
)