语音识别总结系统

目录一、基于whisper的语音识别模块二、文本摘要模块一、基于whisper的语音识别模块import json import whisper import torch #from paddlenlp import Taskflow # 加载模型自动下载 torch.cuda.empty_cache() # 清理缓存 model whisper.load_model(small) # 首次运行会自动下载模型 # 转录音频 result model.transcribe( audio13-后台任务.mp4, temperature0.2, # 降低随机性 languagezh, # 中文 fp16False, # 一定记得设置这个参数避免Nan问题 beam_size5, # 束搜索宽度 #word_timestampsTrue # 获取词级时间戳 initial_prompt 以下是普通话的句子这是一段会议记录。 ) # 输出json格式 with open(output.json, w) as f: json.dump(result, f, indent2) #输出txt格式 with open(output.txt, w, encodingutf-8) as f: f.write(result[text]) print(result)1、一开始运行时出现NaN问题添加参数fp16False降低精度2、由于后续使用bert模型进行文本摘要需要文本中有标点符号small模型转出的文本没有标点medium和large应该有我的电脑配置不够添加参数initial_prompt 以下是普通话的句子这是一段会议记录。3、代码运行后如果视频或音频较长需要等待好几分钟参考我1.5小时的视频大概等待7—9分钟会自动在当前目录下生成json和txt文件。结果如下二、文本摘要模块目前方案1、抽取式1用bert获取句子表示计算每个句子与文档的整体相似度按顺序选择top句子test2.py或mybert.py已实现效果不好只能得到最后几个句子2使用bert-extractive-summarizer库代码如下from summarizer import Summarizer model Summarizer(modelbert-base-chinese) text 这里是需要摘要的中文文本... # 抽取式摘要 summary model(text, ratio0.2) # 按比例提取关键句子 print(summary)安装有问题无法安装这个库pip install bert-extractive-summarizer报错如下原因是没有支持spacy依赖包的c编译环境安装预编译好的spacypip install spacy --prefer-binary -i https://pypi.tuna.tsinghua.edu.cn/simplepip install transformers scikit-learn numpy # 手动安装核心依赖2、生成式from transformers import BertConfig, EncoderDecoderConfig, EncoderDecoderModel # 首先创建编码器和解码器配置 encoder_config BertConfig.from_pretrained(bert-base-chinese) decoder_config BertConfig.from_pretrained(bert-base-chinese) # 修改解码器配置以支持生成任务 decoder_config.is_decoder True decoder_config.add_cross_attention True # 创建EncoderDecoder模型 model EncoderDecoderModel.from_encoder_decoder_pretrained( bert-base-chinese, bert-base-chinese, encoder_configencoder_config, decoder_configdecoder_config ) # 然后需要在摘要任务上微调这个模型才能获得好的效果需要自己配置模型jieba分词器安装jieba · PyPI进入目录下运行cmdpython环境下测试