用python解析epub格式文件

用Python解析Epub格式文件

用python解析epub格式文件-平凡之路

一、开发环境

1.1、系统环境

  • windows 10 + python 3.9
  • Vscode V1.65.2
  • vs插件:xmltool、Python

1.2、注意事项

  • 配置好自己的vscode的代码片段
  • 安装好vscode的关键插件(xmltool、Python)
    • 设置好xmltool的Xpath的 快捷方式
  • 配置好vscode的python开发环境
  • 配置好python 的虚拟环境(我使用的pipenv)

1.3、Python的包环境

  • 系统包

  • 第三方包,需要在虚拟环境中安装好

    | 包名 | 作用 | 安装 |
    | ------- | ---------------------------------------------------------- | ------ |
    | yaml | 应用或工具的配置文件信息读取 | pipenv |
    | json | json的处理包 | |
    | zipfile | zip压缩文件的处理包 | |
    | pathlib | python 3.x 的目录路径处理包,替代os.path | |
    | lxml | 解析xml文件,不过只能读取xml文件 | |
    | logging | 用于记录运行日志,同时也可以用于调试过程中的错误或数据检查 | |
    | PIL | 需要处理电子书的封面图像,可能需要缩略图 | |
    | Jinja2 | 用于根据模板生成文件的方法 (生成MD格式文件) | |

    其他包如果有变化,后期在更新说明。

1.4、应用程序目录结构

​ 比较简单,这里就不贴了.......

二、主要知识点

2.1、学习使用yaml进行配置信息读取

​ yaml的配置......

​ 读取yaml文件前需要安装pyyaml和导入yaml模块

pipenv install pyyaml

​ 最新版本是6.0 ;PyYAML==6.0

​ 示例:

​ (关于yaml的目录结构,在开发时需要注意,这里我就不细节展开说明目录的处理了,请自行思考)

​ 《yaml文件内容》===============:

import json
from jinja2 import Template

temps = Template('haha namepad= {{ namepad }} !!!!--- strfn= {{ strfn }}')
dic_var = { "namepad" : "who123" , "strfn" : "ssshahah123" }
s = temps.render(dic_var)

print(s)

​ 《python读取yaml》=============:

import yaml
import os

def getYamlData(ymal_fpath):
    '''
    打开yaml文件,读取并返回一个数据字典。
    '''
    fl = open(ymal_fpath,'r', encoding="utf-8")
    fl_data = fl.read()
    fl.close()

    yl_data = yaml.load(fl_data,Loader=yaml.FullLoader) #返回字典类型
    return yl_data
#getYamlData

def getYamlByKey(yaml_fpath,strkey):
    '''
    1-打开yaml文件,读取并返回一个数据字典。
    2-读取yaml文件中某个配置的值,并返回字符串。
    异常:
        如果Key输入的错误,或没有找到这个Key,则返回字符串 Key_Error
    '''
    yldict = getYamlData(yaml_fpath)
    try:
        return yldict[strkey]
    except KeyError:
        return "Key_Error"
        raise KeyError
    #try
#getYamlByKey


curpath = os.path.abspath("../conf") # 获取配置文件所在的目录
yl_path = os.path.join(curpath,"config.yaml")

if(os.path.isfile(yl_path)):
    yldict = getYamlData(yl_path)
    print(yldict)
    print(yldict['psw'])
    print(yldict['use1'])
    print(yldict['use1']['a'])

    print(getYamlByKey(yl_path,'psw'))
else:
    print("配置文件未找到,请确认配置文件是否真的存在。")

​ python:yaml模块 - 简书 (jianshu.com)

​ python配置yaml - 测试-安静 - 博客园 (cnblogs.com)

2.2、学习zip文件处理

​ zip文件处理.....

​ Python中的zipfile模块使用实例 - 简书 (jianshu.com)

2.3、学习json的数据处理

​ Python JSON | 菜鸟教程 (runoob.com)

​ Python3 JSON 数据解析 | 菜鸟教程 (runoob.com)

2.4、学习path目录或文件的处理方式

​ python路径操作新标准:pathlib 模块 - 和牛 - 博客园 (cnblogs.com)

​ Python文件操作,看这篇就足够 - 知乎 (zhihu.com)

2.5、学习xml文件处理(主要是lxml读取)

​ 学习URL地址:

​ **问题1💀:**解析xml格式的文件时要注意名称空间的问题:

​ 示例代码:

	parser = etree.XMLParser(encoding = "utf-8")
    ht_str = etree.parse(opffile, parser=parser)
    print(ht_str)

    xpathquery_str = "//package/metadata/dc:publisher"
    q_result = ht_str.xpath(xpathquery_str)

​ 我的XML文件内容:

用python解析epub格式文件-平凡之路

​ 报错:lxml.etree.XPathEvalError: Undefined namespace prefix

​ 修改上面的python代码最后一行:在运行就不报这个错误了。

q_result = ht_str.xpath(xpathquery_str, namespace={'opf': 'http://www.idpf.org/2007/opf'})

​ **问题2💀:**namesapce字符拼写问题:

​ 🔥🔥🔥

​ 特别注意:namespace 和 namespaces 绝对不能错哦 ;上面的代码是不会报错;但是会报一个另外的错误啊,这个另外错误花费了两个小时啊......

​ lxml.etree.XPathResultError: Unknown return type: dict

​ 🔥🔥🔥

	xpathquery_str = "//dc:title/text()"
    q_result = ht_str.xpath(xpathquery_str, namespaces=NS)

​ **问题3💀:**opf文件的xpath查询问题:

​ 这个问题难点是,中文的很多文章中并没有对解析xpath查询讲得更深入吧,(咱英语也不是很好啊,慢慢看能看懂的水平.....😕), 我已经花了两个多小时了啊,代码是这样的:

	# XMLNS
    # Namespaces (Epub文件中Opf文件中定义的名称空间,用一个字典变量定义) 
    NS = { 'opf': 'http://www.idpf.org/2007/opf',
            'xsi': 'http://www.w3.org/2001/XMLSchema-instance',
            'dcterms': 'http://purl.org/dc/terms/',
            'ns0': 'http://www.idpf.org/2007/opf',
            'dc': 'http://purl.org/dc/elements/1.1/',
          }

    # etree.XMLParser(encoding = "utf-8")
    parser = etree.XMLParser(encoding = "utf-8")
    ht_str = etree.parse(opffile, parser=parser)
    print(ht_str)

    xpathquery_str = "//dc:title/text()"
    q_result = ht_str.xpath(xpathquery_str, namespaces=NS)
    print("图书标题=" + q_result[0])

    # result=html.xpath('//li[@class="item-1"]/a/text()') #获取a节点下的内容
    xpathquery_str = "//dc:identifier[@opf:scheme='ISBN']/text()"
    q_result = ht_str.xpath(xpathquery_str, namespaces=NS)
    print("ISBN=" + q_result[0])
    #log.logger.info(q_result)

    xpathquery_str = "//dc:identifier[@opf:scheme='ASIN']/text()"
    q_result = ht_str.xpath(xpathquery_str, namespaces=NS)
    print("ASIN=" + q_result[0])

    xpathquery_str = "//dc:date/text()"
    q_result = ht_str.xpath(xpathquery_str, namespaces=NS)
    print("创建时间=" + q_result[0])

    xpathquery_str = "//dc:creator/text()"
    q_result = ht_str.xpath(xpathquery_str, namespaces=NS)
    print("创建人=" + q_result[0])

    xpathquery_str = "//reference/@href"
    q_result = ht_str.xpath(xpathquery_str)
    print(q_result)

    xpathquery_str = "//item[@properties='cover-image']/@href"
    q_result = ht_str.xpath(xpathquery_str)
    print(q_result)

    xpathquery_str = "//item[@properties='media-type']"
    q_result = ht_str.xpath(xpathquery_str, namespaces=NS)
    print(q_result)

​ 关键是上面的代码中,前部分(dc:xxx)的哪些元素能获取到信息,但是后面哪些查询就不灵了啊。

​ content.opf就不帖了;

​ 试错过程:

​ 1、我不停的试xpath的查询语句,怎么都不行,我怀疑还是跟名称空间有关系。

​ 2、所以用一个string的方式(去掉名称空间的str)来测试,代码参考网上的(w3cschool)。

​ 🔥🔥🔥 真是太难了啊:

​ 对于content.opf 格式的XML文件解析,带很多的namespace的;这样的文件使用两种方式进行xpath进行查询

​ 🔥对于不带ns的标记,使用HTML的格式化后在xpath查询;

  html=etree.HTML(text.encode("utf-8")) #初始化生成一个XPath解析对象
  result=etree.tostring(html,encoding='utf-8')   #解析对象输出代码

  xpq_str = "//item[@id='id_6']/@href"
  print(html.xpath(xpq_str))

​ 🔥对于带ns的标记,使用XML的格式化后的xpath查询:

  dom = etree.XML(text.encode("utf-8"))
  #xpq_str = "//dc:identifier[@opf:scheme='ISBN']/text()"
  xpq_str = "//dc:title/text()"
  aid = dom.xpath(xpq_str, namespaces=NS)
  print(aid)

​ lxml 库安装教程_w3cschool

​ Python3 XML 解析 | 菜鸟教程 (runoob.com)

​ python3解析库lxml - Py.qi - 博客园 (cnblogs.com)

​ 使用lxml解析xml文件 - 阿布_alone - 博客园 (cnblogs.com)

​ lxml解析包(二):对于xpath中含有命名空间的xml文件解析_不愿透露姓名の网友的博客-CSDN博客

2.6、学习logging日志包的使用方法

​ logging可以在哪些场景下使用,比如:替代print;记录日志到文件、输出结果到控制台......

​ logging的包使用其实不难,但是想做一个AOP的开发试验,就需要了解Python的装饰器知识了,日志这个方模需要学习内容还是很多的。

​ 2022-3-21;测试学习logging

  • 编写一个可以输出到控制台、输出到日志文件中的类

  • 在其他需要调用该类的方法引用该类,并将调用输出日志信息,调用方法大概如下:( 这个程度目前应该够用了吧...... )

    from logtest import Loggers
    
    ......... 
    if(os.path.isfile(yl_path)):
        yldict = getYamlData(yl_path)
    
        log = Loggers(level='info')
        log.logger.info("我的logging测试==" + yldict)
        log.logger.info(getYamlByKey(yl_path,'psw'))
    
    else:
        print("配置文件未找到,请确认配置文件是否真的存在。")
    

参考:

​ python 中面向切面编程AOP和装饰器 - 简书 (jianshu.com)

​ python中logging日志模块详解 - 咸鱼也是有梦想的 - 博客园 (cnblogs.com)

​ python logging详解及自动添加上下文信息 - xybaby - 博客园 (cnblogs.com)

​ 一看就懂,Python 日志 logging 模块详解及应用 | 静觅 (cuiqingcai.com)

​ Python之日志处理(logging模块) - 云游道士 - 博客园 (cnblogs.com)

2.7、最重要的是学习了Epub格式规范和解析

​ Epub2基础知识介绍 - 大西瓜3721 - 博客园 (cnblogs.com)

​ EPUB3.0内容文件规范中文版_免费.pdf (book118.com)

2.8、学习Jinja2 模板生成MD格式文件

​ 使用Jinja2 可试用模板的方式,构造MD文件

​ 请注意先安装Jinja2;

pipenv install Jinja2

​ 示例1:

import json
from jinja2 import Template

temps = Template('haha namepad= {{ namepad }} !!!!--- strfn= {{ strfn }}')
dic_var = { "namepad" : "who123" , "strfn" : "ssshahah123" }
s = temps.render(dic_var)

print(s)

​ 示例2:

2.9、学习图片文件处理

​ 图片图像文件处理.....

​ Python基础模块:图像处理模块@PIL(批量分类处理图片及添加水印)_可以叫我才哥的博客-CSDN博客

​ python:PIL库学习笔记 - Jessie- - 博客园 (cnblogs.com)

​ python PIL 图像处理 - 简书 (jianshu.com)

​ python+glob+PIL+plt 图片批量导入+显示_ClearLon的博客-CSDN博客_pil批量读取图片

三、应用需求

  • ​ 输入:

    1. 一个epub电子书文档
    2. 一个MD文章的模板文件
  • ​ 处理:

    1. 获取epub电子书的书名
    2. 获取电子书的封面
    3. 获取电子书的内容简介
    4. 生成一个该电子书的介绍的MarkDown的文章
  • ​ 输出:

    1. 输出电子书的封面文件(.jpg / .png),保存在特定目录
    2. 输出md文件,保存在特定目录

四、设计思考

​ 首先epub文件处理(读取或写入)应该是单独的功能,可以按包的思路去实现,未来这个可以复用。

​ 使用epub的这个文件处理工具,可以进行epub文件的信息获取,用获取的信息可以做其他的应用了,比方:这里的需求是生成MD格式文件


用python解析epub格式文件-平凡之路

五、学习验证测试

5.1 测试操作epub

​ 构建一个类 epub

  • 导入主要的包

  • 创建一个类的构建函数

  • 定义类的公有属性

    • zip文件(电子书epub文件)实例;
    • opf文件实例,一个lxml对象;
    • toc文件实例,一个lxml对象;
    • opf中的元数据信息实例,用字典类型保存;
    • 电子书epub文件的封面图片对象实例;
  • 创建公有方法,获取电子书名

  • 创建公有方法,获取电子书一些基本信息,并复制到Metadata中

  • 创建公有方法,获取opf文件实例

  • 创建公有方法,获取toc文件实例

  • 创建公有方法,获取电子书封面文件

  • 创建公有方法,改名保存的方法

5.2 测试生成MD文件

今天先就这样吧,休息.............


用python解析epub格式文件-平凡之路

兴奋起来吧.....; 好看吧!

六、开始实现

6.1、先编写epub文件处理工具

6.2、再编写生成MD文件函数

源码:pyepub


用python解析epub格式文件-平凡之路