山东济南网站推广,酒店网站建设考虑哪些因素,哪个软件可以看街道实景,万江网站建设Fish-Speech-1.5数据预处理#xff1a;音频切片与标注自动化流程 想用Fish-Speech-1.5训练一个专属的语音模型#xff0c;第一步也是最关键的一步#xff0c;就是把你的原始音频数据“收拾”好。这就像做菜前要洗菜、切菜一样#xff0c;数据预处理的质量直接决定了最终模…Fish-Speech-1.5数据预处理音频切片与标注自动化流程想用Fish-Speech-1.5训练一个专属的语音模型第一步也是最关键的一步就是把你的原始音频数据“收拾”好。这就像做菜前要洗菜、切菜一样数据预处理的质量直接决定了最终模型“好不好吃”。很多朋友卡在这一步面对一堆长短不一、背景嘈杂的录音文件不知道从何下手。手动切分、标注那工作量想想都头大。今天我就来手把手带你走一遍这个流程用几个现成的工具和脚本把音频切片、人声分离、自动标注这些繁琐的活儿变成一条顺畅的自动化流水线。整个过程你只需要准备一些基础的Python环境跟着步骤走就行。1. 准备工作理清思路与工具清单在动手之前我们先搞清楚要做什么以及需要哪些工具。Fish-Speech-1.5的训练数据最终需要的是一堆干净的、短小的音频片段比如每段5-15秒以及一个文本文件里面记录了每个音频片段对应的文字内容。我们的处理流程大致是这样的人声分离如果你的原始录音有背景音乐或噪音先把它剥离出来只保留干净的人声。音频切片把长音频比如几分钟的录音自动切割成适合训练的小段。自动标注为每一小段音频自动识别并生成对应的文字稿。质量检查与修正机器识别难免有错我们需要快速检查并修正标注错误。需要用到的工具我都帮你找好了都是开源且容易上手的人声分离demucs或uvr5。这里我们用demucs效果不错且安装简单。音频切片audio-slicer这个Python库它能根据静音片段智能切割。自动标注funASR或Whisper。funASR对中文支持很好速度快Whisper多语言能力强更通用。我们可以按需选择。下面我们就从环境搭建开始。2. 环境搭建一步到位安装所有依赖为了避免后面各种库版本冲突的麻烦我们直接用conda创建一个独立的环境。打开你的终端或Anaconda Prompt执行以下命令# 创建一个名为 fish-speech-prep 的 Python 3.10 环境 conda create -n fish-speech-prep python3.10 -y conda activate fish-speech-prep # 安装 PyTorch请根据你的CUDA版本选择以下以CUDA 11.8为例 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装音频处理核心库 pip install demucs # 人声分离 pip install audio-slicer # 音频切片 pip install pydub librosa soundfile # 音频读写和处理 pip install pandas tqdm # 数据处理和进度条 # 安装自动标注工具这里以 funASR 为例你也可以安装 openai-whisper pip install funasr # 如果需要用 Whisper执行pip install openai-whisper安装完成后你的工具包就齐全了。接下来我们假设你的原始音频文件都放在一个叫raw_audio的文件夹里。3. 第一步人声分离提取干净干声背景噪音和音乐会影响后续的切割和识别精度。我们用demucs来批量处理。创建一个Python脚本比如叫01_separate_vocals.pyimport os from pathlib import Path import subprocess # 设置路径 raw_audio_dir Path(./raw_audio) output_dir Path(./separated_audio) output_dir.mkdir(exist_okTrue) # 获取所有音频文件支持常见格式 audio_extensions [.wav, .mp3, .flac, .m4a] audio_files [] for ext in audio_extensions: audio_files.extend(raw_audio_dir.glob(f*{ext})) print(f找到 {len(audio_files)} 个音频文件待处理。) # 使用 demucs 进行人声分离 # ‘htdemucs’ 是模型名--two-stemsvocals 表示只分离人声和其他即伴奏 for audio_file in audio_files: print(f正在处理: {audio_file.name}) cmd [ demucs, --two-stemsvocals, # 分离出人声(vocals)和其他(other) -n, htdemucs, # 指定模型 -o, str(output_dir), # 输出目录 str(audio_file) ] # 运行命令 subprocess.run(cmd, checkTrue) print(人声分离完成分离后的人声文件在 separated_audio 文件夹下。) # demucs 的输出结构是separated_audio/htdemucs/歌曲名/vocals.wav # 我们需要把它们收集到一个地方方便后续处理运行这个脚本后你会在separated_audio/htdemucs/下找到以原音频文件名命名的子文件夹里面的vocals.wav就是纯净的人声文件。我们写个小脚本把它们都复制到一个统一的文件夹比如叫clean_vocals。4. 第二步智能音频切片告别手动裁剪长音频不适合直接训练我们需要把它切成5-15秒左右、首尾干净的小段。audio-slicer库能通过检测静音区间来实现智能切割。创建脚本02_slice_audio.pyfrom pathlib import Path import librosa import soundfile as sf from audio_slicer import Slicer import tqdm # 设置路径 input_dir Path(./clean_vocals) # 上一步得到的干净人声文件夹 output_dir Path(./sliced_audio) output_dir.mkdir(exist_okTrue) # 初始化切片器这些参数可以根据你的音频特点调整 slicer Slicer( sr44100, # 采样率保持与多数音频一致 threshold-40, # 音量阈值低于此值视为静音单位dB min_length3000, # 最小片段长度毫秒即3秒 min_interval300, # 最小静音间隔毫秒用于合并相近的切割点 hop_length10, # 计算音量时的步长毫秒越小越精确但越慢 max_sil_kept500 # 在切片开头和结尾保留的最大静音长度毫秒 ) audio_files list(input_dir.glob(*.wav)) print(f开始切割 {len(audio_files)} 个音频文件...) for audio_file in tqdm.tqdm(audio_files, desc切片进度): # 加载音频 audio, sr librosa.load(audio_file, srNone) # srNone 保持原始采样率 # 进行切片 chunks slicer.slice(audio, sr) # 保存切片 for i, chunk in enumerate(chunks): chunk_name output_dir / f{audio_file.stem}_slice_{i:03d}.wav sf.write(chunk_name, chunk, sr) print(f音频切片完成所有片段已保存至 {output_dir}。) print(f建议手动浏览一下删除那些质量不佳如仍有杂音、过短的片段。)运行后你的长音频就变成了一堆短小精悍的wav文件整齐地放在sliced_audio文件夹里。5. 第三步自动语音识别为音频配上文字现在我们需要知道每一段音频在“说”什么。这里我们用funASR进行批量语音识别它对中文的离线识别效果很好。创建脚本03_auto_transcribe.pyfrom funasr import AutoModel from pathlib import Path import pandas as pd import tqdm # 设置路径 audio_dir Path(./sliced_audio) output_csv Path(./audio_transcripts.csv) # 加载 funASR 模型 # model_revision 指定版本vad_revision 是语音活动检测版本 print(正在加载语音识别模型首次使用需要下载请稍候...) model AutoModel(modelparaformer-zh, model_revisionv2.0.4, vad_modelfsmn-vad, vad_revisionv2.0.4) audio_files list(audio_dir.glob(*.wav)) transcripts [] print(f开始为 {len(audio_files)} 个音频片段生成文本标注...) for audio_file in tqdm.tqdm(audio_files, desc识别进度): # 进行语音识别 result model.generate(inputstr(audio_file)) # result 是一个列表里面是字典我们取识别出的文本 text result[0][text] if result else transcripts.append({ audio_path: str(audio_file.relative_to(audio_dir)), # 相对路径 text: text.strip() }) # 保存为CSV文件 df pd.DataFrame(transcripts) df.to_csv(output_csv, indexFalse, encodingutf-8-sig) print(f自动标注完成结果已保存到 {output_csv}。) print(请注意自动识别并非100%准确下一步需要进行人工检查和修正。)如果你处理的是多语言音频或者更信任Whisper也可以使用类似的脚本调用Whisper模型只需修改模型加载和识别的部分即可。6. 第四步质量检查与标注修正上一步得到的audio_transcripts.csv文件就是我们的初步标注。用Excel或任何文本编辑器打开它你会看到两列audio_path和text。质量检查要点听音频对文字随机抽查一些片段尤其是音量较小、语速较快或带有口音的部分听一遍音频看识别文字是否正确。检查无效片段有些片段可能只有呼吸声、咳嗽声或很短的语气词对应的文本可能是空或无意义字符。这类数据对训练帮助不大可以考虑删除这行记录。统一文本格式确保文本是纯文本没有多余的符号如奇怪的标点、*号等。中文文本通常不需要在句末添加英文句点。修正与整理你可以直接在CSV文件里修改text列的内容。修正完成后这个CSV文件就是Fish-Speech-1.5训练所需的标准标注文件格式之一另一种常见的是每行音频路径|文本的.list文件。为了方便后续训练我们通常会把音频文件和这个标注文件放在一个规范的目录下。假设你的训练数据文件夹叫dataset可以这样组织dataset/ ├── wavs/ # 里面存放所有 sliced_audio 里的 .wav 文件 │ ├── recording1_slice_000.wav │ ├── recording1_slice_001.wav │ └── ... └── metadata.csv # 标注文件内容为wavs/recording1_slice_000.wav|这是第一段文本你可以写一个简单的脚本04_prepare_final_dataset.py来自动完成这个搬运和格式转换的工作。7. 总结走完这一整套流程你会发现原本令人望而生畏的数据预处理工作被分解成了几个清晰的、可自动化的步骤。从分离人声、智能切片到自动标注我们利用现有的开源工具极大地提升了效率。最关键的质量检查环节虽然仍需人工介入但因为我们处理的是清洗后的短音频校对起来也比直接面对长音频要轻松得多。这套流程不仅适用于Fish-Speech-1.5其核心思想——分离、切割、识别、校验——对于其他语音模型的训练数据准备也同样有参考价值。你可以根据自己数据的特点调整切片参数、尝试不同的ASR模型直到找到最适合你那个“菜谱”的数据处理方案。好了数据已经准备妥当下一步就可以愉快地开始训练你的专属语音模型了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。