官網(wǎng)文檔與示例

Fish Speech V1.2 是一款領(lǐng)先的文本到語音 (TTS) 模型，使用 30 萬小時的英語、中文和日語音頻數(shù)據(jù)進行訓(xùn)練。我嘗試用1066運行，但是質(zhì)量不盡如人意，建議使用RTX系列的顯卡進行推理。

使用結(jié)果展示

    text= """2024年1月6日，夜色如墨，而深圳C局客戶機房內(nèi)的燈光卻異常明亮，現(xiàn)場支撐的淞哥，眼睛緊盯著屏幕，手指在鍵盤上飛速敲擊，隨著最后一行代碼的執(zhí)行，他難掩激動地在大網(wǎng)改造保障群對話框里迅速寫下：“服務(wù)啟動完成、OSS（無線運營商業(yè)務(wù)系統(tǒng)）正常接入、定時報表正常生成、數(shù)據(jù)遷移范圍符合預(yù)期……”這不僅是一條消息，更是一聲勝利的號角。
消息一發(fā)出，群里立刻沸騰了，點贊和鼓掌的表情包不斷在屏幕上跳動著。這一刻，我們所有人的心都緊緊相連，共同分享著這份來之不易的喜悅。
我坐在電腦前，閉上眼睛，任由思緒穿越時空，回到了過去一年中的每一個日夜……
緣起：跨領(lǐng)域迎接挑戰(zhàn)
在OMC（無線網(wǎng)絡(luò)管理）的先進領(lǐng)域，運營商客戶始終在追求擁有一個高效管理系統(tǒng)——能夠統(tǒng)一掌控龐大網(wǎng)絡(luò)設(shè)備的理想平臺。無論省份、設(shè)備制造商如何分散，都能通過統(tǒng)一的OMC系統(tǒng)實現(xiàn)無縫運維管理，這將極大提升運維效率，優(yōu)化網(wǎng)絡(luò)性能。
此前，我們的PRS（無線網(wǎng)絡(luò)性能評估系統(tǒng)）作為無線網(wǎng)絡(luò)管理領(lǐng)域的創(chuàng)新成果，成為了運營商客戶日常網(wǎng)絡(luò)運維不可或缺的一部分?？蛻魧ξ覀兊男刨嚭蛯Υ缶W(wǎng)能力的期待，成為我們不斷追求技術(shù)突破的動力。
2019年，我們邁出了重要的一步：PRS首套1W大網(wǎng)商用系統(tǒng)上線?！?W大網(wǎng)”能夠管理一萬個等效網(wǎng)元，為了有效處理海量T級別網(wǎng)絡(luò)性能數(shù)據(jù)，我們首次引入了“Hadoop分布式集群系統(tǒng)”。同時，我們還有靈活管理規(guī)模小于一萬個網(wǎng)元的 “PRS小網(wǎng)”系統(tǒng)，它一直依賴于公司自主研發(fā)的高斯數(shù)據(jù)庫來存儲數(shù)據(jù)。因此在大網(wǎng)商用之初，研發(fā)團隊面臨的一大挑戰(zhàn)便是同時維護Hadoop和高斯兩套技術(shù)棧。"""

輸出結(jié)果： output.wav

官網(wǎng)相關(guān)文檔

https://fish.audio/zh-CN/about/    # 官方
https://speech.fish.audio/samples/ # 示例
https://github.com/fishaudio/fish-speech # 源碼地址

使用硬件要求

GPU 內(nèi)存: 4GB (用于推理), 8GB (用于微調(diào))
系統(tǒng): Linux, Windows

此處介紹的是ubuntu系統(tǒng)上的安裝與使用。本文使用的windows 子系統(tǒng)ubuntu22.04

• 安裝

# 創(chuàng)建一個 python 3.10 虛擬環(huán)境, 你也可以用 virtualenv
python3 -m venv sp_venv
source sp_venv/bin/activate# 安裝 pytorch
pip3 install torch torchvision torchaudio -i  https://pypi.tuna.tsinghua.edu.cn/simple# 下載fish-speech 代碼
git clone https://github.com/fishaudio/fish-speech# 安裝 fish-speech
cd fish-speech
pip3 install -e .# (Ubuntu / Debian 用戶) 安裝 sox
apt install libsox-dev

• 下載模型文件
  方法一： 官網(wǎng)給定的下載模型文件命令：python ./tools/download_models.py
  但是由于網(wǎng)絡(luò)原型，可能下載不成功。如果有翻墻工具，可以下載。
  方法二： 通過 modelscope 社區(qū)進行下載 ：https://modelscope.cn/models/AI-ModelScope/fish-speech-1.2/files

cd fish-speech
mkdir checkpoints/fish-speech-1.2-sft

將下載的模型文件拷貝到 fish-speech-1.2-sft 文件夾下
如果使用的windows 子系統(tǒng) 可以使用一下 命令

wsl cp config.json /home/km/fish-speech/checkpoints/fish-speech-1.2-sft

• 使用
  使用方法有兩種，
  一種是通過 web UI 使用，更直觀，便捷
  一種是通過API方式，更靈活，移植性更大

web UI

python -m tools.webui \--llama-checkpoint-path "checkpoints/fish-speech-1.2-sft" \--decoder-checkpoint-path "checkpoints/fish-speech-1.2-sft/firefly-gan-vq-fsq-4x1024-42hz-generator.pth" \--decoder-config-name firefly_gan_vq

啟動后 web : http://127.0.0.1:7860

API 方式使用

python -m tools.api \--listen 0.0.0.0:8080 \--llama-checkpoint-path "checkpoints/fish-speech-1.2-sft" \--decoder-checkpoint-path "checkpoints/fish-speech-1.2-sft/firefly-gan-vq-fsq-4x1024-42hz-generator.pth" \--decoder-config-name firefly_gan_vq

使用

python -m tools.post_api \--text "要輸入的文本" \--reference_audio "參考音頻路徑" \--reference_text "參考音頻的文本內(nèi)容" \--streaming True

參考音頻路徑 可以在 https://speech.fish.audio/samples/ 中下載一個參考音頻。也可以使用自己創(chuàng)建的音頻文件。
注意格式為 ：wav