摘要

本文介紹了音畫不同步問題的五個因素：編碼和封裝階段、網(wǎng)絡(luò)傳輸階段、播放器中的處理階段、源內(nèi)容產(chǎn)生的問題以及轉(zhuǎn)碼和編輯。針對這些因素，提出了相應(yīng)的解決方案，如使用標(biāo)準(zhǔn)化工具、選擇強大的傳輸協(xié)議、自適應(yīng)緩沖等。此外，介紹了第三方音視頻服務(wù)商如即構(gòu)的解決方案，包括優(yōu)化的編解碼器、動態(tài)碼率調(diào)整、前向糾錯和包重傳等。最后，強調(diào)了開發(fā)者需要密切監(jiān)控應(yīng)用性能并與音視頻服務(wù)提供商合作，以確保最佳的音畫同步體驗。

一、前言

對于音視頻開發(fā)者來說，掌握排查問題的技術(shù)技巧方法是非常必要的，排查問題的技術(shù)方法也能夠幫助開發(fā)者更好地了解音視頻技術(shù)的原理和工作機制，從而更加深入地理解音視頻開發(fā)中遇到的各種問題。

即構(gòu)基于多年實時互動領(lǐng)域技術(shù)的沉淀和客戶服務(wù)保障，我們將推出《視頻直播技術(shù)FAQ》系列文章，將實時互動技術(shù)領(lǐng)域的常見問題和經(jīng)驗分享出來，同時會針對具體問題附上業(yè)務(wù)通識和常用解決方案以及案例經(jīng)驗，希望本系列能成為你手邊的音視頻通識冊子，幫助到開發(fā)者們快速定位問題并找到合適的解決方案。

本系列將持續(xù)更新，目前已整理了以下常見問題：

1. 視頻卡頓

2. 延時高

3. 音畫不同步

4. 視頻花屏、綠屏

5. 視頻黑屏

6. 視頻放大或黑邊

7. 首開慢

8. 音視頻流控

9. 視頻模糊

10. 無法打開攝像頭

11. 音頻回聲

12. 音量太小

13. 音頻噪聲

14. 無聲

15. 上下麥音量變化

在上一篇文章中，我們探討了音視頻傳輸過程中延時高的問題。我們首先詳細(xì)介紹了延時的概念以及延時可能產(chǎn)生的各個環(huán)節(jié)，包括設(shè)備端延時、網(wǎng)絡(luò)傳輸延時和服務(wù)器延時。我們提供了一系列排查和解決方案，如排查網(wǎng)絡(luò)問題、核實技術(shù)棧預(yù)期延時是否一致，以及使用UDP進行音視頻傳輸?shù)取Ｍㄟ^這些方法，讀者可以更好地理解并解決音視頻傳輸中延時高的問題。

但解決延時高的問題后，我們可能還會面臨其他挑戰(zhàn)。例如，音畫不同步是許多開發(fā)者經(jīng)常遇到的一個棘手問題。當(dāng)音頻和視頻數(shù)據(jù)不完全同步時，使視頻播放顯得非常不自然，觀眾會有很差的觀看體驗。因此，了解其原因并掌握相應(yīng)的解決策略顯得尤為重要。

本文是《實時互動技術(shù)FAQ》系列的第三篇文章。我們將深入剖析音畫不同步的原因，包括硬件設(shè)備、編解碼處理、網(wǎng)絡(luò)傳輸?shù)确矫婵赡軐?dǎo)致的不同步情況。同時，我們將提供一系列方法來識別、排查和解決音畫不同步問題，以確保用戶在觀看音視頻內(nèi)容時能夠獲得更好的體驗，并為開發(fā)者提供相應(yīng)的解決方案。

二、音畫不同步基本概念和表現(xiàn)

音畫不同步：又被稱為口音不同步或AV同步問題，是指在觀看視頻時，畫面與聲音之間存在明顯的時間差，導(dǎo)致用戶觀感受到的打斷。具體表現(xiàn)為：

• 先聲后影：聲音先于畫面出現(xiàn)，使觀眾聽到聲音但尚未看到對應(yīng)的畫面。

• 先影后聲：畫面先于聲音出現(xiàn)，使觀眾先看到畫面但稍后才能聽到對應(yīng)的聲音。

三、時間戳-音畫不同步的核心影響因素

指揮棒作用：時間戳在音視頻處理中起著“指揮棒”的作用，它決定了音頻和視頻什么時候播放、如何播放。處理時間戳的正確性和連續(xù)性是確保音畫同步，為用戶提供無縫、高質(zhì)量的音視頻體驗的關(guān)鍵。不準(zhǔn)確或不連續(xù)的時間戳可能導(dǎo)致一系列的播放問題，其中最明顯和令人困擾的便是音畫不同步。

解決其他問題的基礎(chǔ)：時間戳是解決其他音畫不同步相關(guān)問題的關(guān)鍵。例如，網(wǎng)絡(luò)波動導(dǎo)致的數(shù)據(jù)包延遲或丟失可以通過使用時間戳進行包的重新排序或補償來解決。正確和連續(xù)的時間戳為這些操作提供了必要的信息。

與其他技術(shù)的互動：時間戳是許多音視頻技術(shù)的基礎(chǔ)，如緩沖、前向糾錯、適應(yīng)性流等。它們都依賴于準(zhǔn)確和連續(xù)的時間戳來優(yōu)化和同步音視頻流的傳輸和播放。

時間戳，通常表示為“PTS”（Presentation Time Stamp），是附加到音頻或視頻樣本上的一個標(biāo)記，用于指示該樣本應(yīng)當(dāng)在何時被呈現(xiàn)或播放。這意味著，不論數(shù)據(jù)是否被實時傳輸，播放器都可以根據(jù)時間戳來正確地同步并播放音頻和視頻幀。

在音視頻領(lǐng)域，時間戳是一個至關(guān)重要的概念。音視頻內(nèi)容在創(chuàng)建、傳輸和播放過程中都依賴時間戳來確保同步。時間戳是與每一幀（音頻或視頻）相關(guān)聯(lián)的標(biāo)記，用來表示該幀應(yīng)該在何時進行播放。理想情況下，音頻和視頻的時間戳應(yīng)該緊密匹配，這樣在播放時，聲音和畫面就會同步。如果處理不當(dāng)，可能會導(dǎo)致音畫不同步、幀丟失或其他相關(guān)問題。

四、音畫不同步產(chǎn)生的原因

音畫同步問題的核心在于“時間戳”。當(dāng)音畫不同步發(fā)生時，其背后的內(nèi)在邏輯是：在音視頻處理、傳輸或播放的某個環(huán)節(jié)，音頻和視頻之間的這種時間戳匹配性被破壞。這可能是由于多種原因，如網(wǎng)絡(luò)延遲、編解碼延遲、播放器處理策略、源內(nèi)容問題等。

以下是關(guān)于時間戳導(dǎo)致音畫不同步的核心原因：

1. 時間戳的不準(zhǔn)確性：如果在錄制、采集、編碼或封裝過程中，音頻和視頻的時間戳不準(zhǔn)確，那么在播放時，它們將不會同步播放。

2. 時間戳的處理：在傳輸或流化過程中，尤其是在實時音視頻通信或直播中，網(wǎng)絡(luò)波動可能會導(dǎo)致部分?jǐn)?shù)據(jù)包的延遲或丟失。當(dāng)這些數(shù)據(jù)包包含關(guān)鍵的時間戳信息時，可能會導(dǎo)致音畫不同步。

3. 播放器的處理方式：播放器需要根據(jù)時間戳來解碼和渲染音頻和視頻幀。如果播放器不能正確地解析或使用這些時間戳，或者在處理緩沖、丟包等問題時未能維護時間戳的一致性，也會導(dǎo)致音畫不同步。

4. 總之，確保音畫同步的關(guān)鍵是在整個音視頻處理鏈路中正確地生成、維護和使用時間戳。任何破壞時間戳一致性的因素都可能導(dǎo)致音畫不同步。

音畫不同步本質(zhì)上是由于音頻和視頻幀的時間戳不匹配導(dǎo)致的，這種不匹配可能在任何音視頻內(nèi)容的生命周期階段發(fā)生，從創(chuàng)作、傳輸?shù)讲シ?。為了修?fù)這種不同步，通常需要在受影響的環(huán)節(jié)進行校準(zhǔn)或同步操作，確保音頻和視頻幀的時間戳再次匹配。

以下是根據(jù)上述因素的一些建議和解決策略：

編碼和封裝階段：

• 標(biāo)準(zhǔn)化工具：使用經(jīng)過時間測試且廣泛認(rèn)可的編碼和封裝工具可以降低時間戳錯誤的風(fēng)險。
• 封裝格式選擇：了解并選擇適合應(yīng)用場景的封裝格式。例如，對于流媒體HLS可能更為合適

網(wǎng)絡(luò)傳輸：

• 強大的傳輸協(xié)議：使用像RTMP或WebRTC這樣的協(xié)議，它們內(nèi)置了對音畫同步的支持。
• 前向糾錯：應(yīng)用前向糾錯技術(shù)，減少因網(wǎng)絡(luò)問題導(dǎo)致的數(shù)據(jù)包丟失。
• 適應(yīng)性流：根據(jù)網(wǎng)絡(luò)條件調(diào)整碼率和質(zhì)量，減少數(shù)據(jù)包丟失和延遲。

播放器處理：

• 選擇成熟播放器：成熟的播放器往往對時間戳處理有更強的容錯性。

• 自適應(yīng)緩沖：動態(tài)調(diào)整緩沖長度，確保流暢播放同時減少同步問題。

• 硬件加速檢查：確保所使用的硬件加速器與播放器兼容，并正確處理時間戳的排序。

源內(nèi)容問題：

• 校準(zhǔn)錄制設(shè)備：確保攝像機和麥克風(fēng)在錄制時是同步的。

• 監(jiān)控錄制：實時監(jiān)測錄制內(nèi)容，以便快速發(fā)現(xiàn)和解決任何不同步問題。

轉(zhuǎn)碼和編輯：

• 非破壞性編輯：選擇可以非破壞性處理音視頻的編輯軟件，避免改變原始時間戳。

• 標(biāo)準(zhǔn)轉(zhuǎn)碼工具：與編碼和封裝階段一樣，選擇經(jīng)過驗證的轉(zhuǎn)碼工具。

確保音畫同步是一個復(fù)雜的任務(wù)，涉及整個音視頻處理鏈路的多個階段。不過，通過理解可能的問題來源并采用恰當(dāng)?shù)募夹g(shù)策略，可以最大程度地減少或消除音畫不同步問題。

五、音畫不同步解決方案

下面我們將針對每一個階段影響音畫不同步因素進行拆解，并根據(jù)不同因素提供一些建議和解決策略，處理時間戳的正確性和連續(xù)性是關(guān)鍵。

原因1：編碼和封裝階段產(chǎn)生的音畫不同步問題

產(chǎn)生原因：

• 生成時間戳的不準(zhǔn)確性：在錄制、編碼或封裝過程中，如果源設(shè)備或軟件沒有正確生成時間戳，可能導(dǎo)致同步問題。

• 封裝格式：不同的封裝格式如MP4, MKV, TS等處理時間戳的方式可能會有所不同，如果不當(dāng)可能會引入不同步。

解決方案：

• 標(biāo)準(zhǔn)化工具：使用經(jīng)過時間測試且廣泛認(rèn)可的編碼和封裝工具可以降低時間戳錯誤的風(fēng)險。如FFmpeg、第三方音視頻廠商的編解碼工具：即構(gòu)。

• 封裝格式選擇：了解并選擇適合應(yīng)用場景的封裝格式。例如，對于流媒體，MPEG-DASH或HLS可能更為合適。

原因2：網(wǎng)絡(luò)傳輸階段產(chǎn)生的音畫不同步問題

產(chǎn)生原因：

• 數(shù)據(jù)包的丟失：在網(wǎng)絡(luò)不穩(wěn)定的情況下，音頻或視頻數(shù)據(jù)包可能丟失，導(dǎo)致播放器收到的時間戳信息不連續(xù)。

• 數(shù)據(jù)包的延遲：網(wǎng)絡(luò)波動或擁塞可能導(dǎo)致音頻或視頻數(shù)據(jù)包延遲，導(dǎo)致時間戳在播放時不連續(xù)。

• 重傳機制：為了彌補丟失的數(shù)據(jù)包，某些協(xié)議可能會重新發(fā)送數(shù)據(jù)包，這可能會導(dǎo)致時間戳的亂序或重復(fù)。

解決方案：

• 強大的傳輸協(xié)議：使用開源協(xié)議RTMP或WebRTC這樣的協(xié)議，它們內(nèi)置了對音畫同步的支持。

• 前向糾錯：應(yīng)用前向糾錯技術(shù)，減少因網(wǎng)絡(luò)問題導(dǎo)致的數(shù)據(jù)包丟失。

• 適應(yīng)性流：根據(jù)網(wǎng)絡(luò)條件調(diào)整碼率和質(zhì)量，減少數(shù)據(jù)包丟失和延遲。

原因3：播放器中的處理階段產(chǎn)生的音畫不同步問題

產(chǎn)生原因：

• 緩沖策略：播放器為了提供流暢的播放體驗，可能會緩存一定量的音視頻數(shù)據(jù)，這可能會影響音畫的同步。

• 錯誤的時間戳解析：播放器在解析音視頻流的時間戳?xí)r，可能由于編碼、封裝或其他問題而出現(xiàn)錯誤。

• 硬件加速：某些硬件加速解碼器在處理音視頻流時，可能不完全遵循標(biāo)準(zhǔn)的時間戳處理邏輯，導(dǎo)致不同步。

解決方案：

• 選擇成熟播放器：成熟的播放器往往對時間戳處理有更強的容錯性。

• 自適應(yīng)緩沖：動態(tài)調(diào)整緩沖長度，確保流暢播放同時減少同步問題。

• 硬件加速檢查：確保所使用的硬件加速器與播放器兼容，并正確處理時間戳。

原因4：源內(nèi)容產(chǎn)生的音畫不同步問題

產(chǎn)生原因：

• 錄制時的不同步：如果在錄制過程中音視頻源本身就存在不同步問題，那么即使時間戳是準(zhǔn)確的，播放時仍會出現(xiàn)音畫不同步的現(xiàn)象。

解決方案：

• 校準(zhǔn)錄制設(shè)備：確保攝像機和麥克風(fēng)在錄制時是同步的。

• 監(jiān)控錄制：實時監(jiān)測錄制內(nèi)容，以便快速發(fā)現(xiàn)和解決任何不同步問題。

原因5：轉(zhuǎn)碼和編輯

產(chǎn)生原因：

• 在后期編輯或轉(zhuǎn)碼過程中，如果音視頻軌道被分離并且分別處理，可能會導(dǎo)致時間戳的不一致。

• 轉(zhuǎn)碼工具或編輯軟件可能會對原始的時間戳進行修改或重新生成，如果處理不當(dāng)，可能會引入不同步問題。

解決方案：

• 非破壞性編輯：選擇可以非破壞性處理音視頻的編輯軟件，避免改變原始時間戳。

• 標(biāo)準(zhǔn)轉(zhuǎn)碼工具：與編碼和封裝階段一樣，選擇經(jīng)過驗證的轉(zhuǎn)碼工具。

考慮到上述因素，維持音畫同步需要在整個音視頻處理鏈路中對時間戳進行持續(xù)、準(zhǔn)確的管理和維護。

六、音視頻廠商解決方案-音畫不同步問題

當(dāng)我們使用第三方音視頻服務(wù)，如ZEGO即構(gòu)（https://www.zego.im/），來搭建音視頻應(yīng)用時，許多與音畫同步相關(guān)的問題實際上已經(jīng)被該服務(wù)處理或優(yōu)化了。第三方服務(wù)通常具有專門的團隊和技術(shù)來應(yīng)對這類問題，并在其SDK和平臺中實現(xiàn)了多種解決策略。即構(gòu)音視頻SDK的核心策略是保持時間戳傳遞正確，下面為大家介紹即構(gòu)等音視頻廠商解決音畫不同步問題的解決策略，以即構(gòu)為例操作步驟如下：

1 問題排查

1. 如果使用了自定義視頻采集，請檢查自定義視頻采集的時間戳是否正確，尤其要檢查時間戳的單位是否正確（SDK 使用 Unix 標(biāo)準(zhǔn)時間戳，單位為毫秒）。ZEGO SDK 內(nèi)部會根據(jù)您提供的采集時間戳進行音畫同步。

2. 如果使用了虛擬攝像頭采集（比如XX直播助手），由于虛擬攝像頭的采集延遲可能存在過大問題，而 ZEGO SDK 是無法獲取到這種延遲的，可能存在音畫不同步的問題。針對這種情況，您可以在即構(gòu)官網(wǎng)與 ZEGO 技術(shù)支持聯(lián)系，技術(shù)支持可在分析確認(rèn)后，通過引擎進階配置進行修正。

2 使用星圖監(jiān)控質(zhì)量

使用?ZEGO管理控制臺?（https://console.zego.im/）中的 星圖（https://console.zego.im/），對音視頻通話的質(zhì)量進行跟蹤。即構(gòu)ZEGO星圖平臺提供全鏈路音視頻質(zhì)量監(jiān)測，含問題定位診斷、洞察質(zhì)量與體驗、業(yè)務(wù)經(jīng)營分析、實時監(jiān)控告警等核心模塊，提供豐富的大盤數(shù)據(jù)幫助開發(fā)者多維度全方位監(jiān)控業(yè)務(wù)運轉(zhuǎn)。

3 技術(shù)策略

ZEGO 即構(gòu)（https://www.zego.im/）作為一家提供實時音視頻技術(shù)的公司，有許多先進的技術(shù)策略來提供高質(zhì)量的音視頻傳輸。

1. 優(yōu)化的編解碼器：即構(gòu)和其他音視頻廠商通常會集成或優(yōu)化業(yè)界標(biāo)準(zhǔn)的編解碼器，確保時間戳的準(zhǔn)確生成和解碼。

2. 動態(tài)碼率調(diào)整：針對網(wǎng)絡(luò)條件不斷變化的情況，即構(gòu)的SDK會動態(tài)調(diào)整碼率，以確保音視頻數(shù)據(jù)的連續(xù)性，并最小化數(shù)據(jù)包的丟失或延遲。

3. 前向糾錯與包重傳：為了彌補網(wǎng)絡(luò)傳輸中的數(shù)據(jù)丟失，即構(gòu)等服務(wù)實現(xiàn)了前向糾錯和數(shù)據(jù)包重傳機制，這有助于恢復(fù)音畫同步。

4. 分層編碼和大小流策略：即構(gòu)的分層編碼和大小流策略，發(fā)送端發(fā)送不同分辨率的流，根據(jù)網(wǎng)絡(luò)狀況動態(tài)選擇哪個流進行播放，確保視頻的流暢性同時也有助于音畫同步。

5. 智能路由與多路徑傳輸：為了最小化網(wǎng)絡(luò)延遲和丟包，即構(gòu)可能使用其云服務(wù)進行智能路由或?qū)崿F(xiàn)多路徑傳輸。

七、結(jié)語

使用如即構(gòu)這樣的第三方音視頻服務(wù)，開發(fā)者可以大大簡化音畫同步的問題處理。這些服務(wù)在其技術(shù)和平臺上實施了多種策略和優(yōu)化，從而為最終用戶提供了優(yōu)質(zhì)的音視頻體驗。然而，盡管有了這些高級的解決方案，開發(fā)者仍然需要密切監(jiān)控其應(yīng)用的性能，并與音視頻服務(wù)提供商合作，以確保最佳的音畫同步體驗。

關(guān)于?音畫不同步 的問題的排查和解決方案就介紹到這里了，在下一篇文章中，我們將深入探討?視頻花屏、綠屏?這個話題。