將WebRTC用于多人音視頻通信

? ? ? ?WebRTC非常適合點對點（即一對一）通信。 但是，當我與客戶討論超出一對一（即一對多或多對多）的解決方案和服務時，問題就出現(xiàn)了：“我應該采用哪種架構？”。 有些服務提供商希望復用他們網(wǎng)絡中的組播支持（我們正在為此嘗試做一些實驗），有些正在探索基于聯(lián)播（simulcast）的解決方案，還有一些正在考慮像MCU /Mixer這樣的集中式解決方案，而其中一些 只是愿意通過使用基于Mesh的技術將負擔放在端點（endpoint）上。

? ? ? ?盡管能實現(xiàn)WebRTC多人音視頻的方案，該技術最流行的用途不局限于多方視頻會議場景。不要以為只是傳統(tǒng)的音視頻會議室，更多的情況包括：智能硬件、ipcamera、在線課堂，實時直播等。在每種情況下，核心功能都能夠?qū)碜远鄠€來源的媒體流分配到多個目的地。因此......如果您是服務提供商，您如何使用WebRTC端點實施多方拓撲？
? ? ? ?根據(jù)您的要求，有幾種不同的架構可能是合適的。這些架構基本上圍繞兩個方面：
☆集中式 VS 點對點（P2P）
☆Mixing VS Routing
? ? ? ?我將在這里描述最受歡迎的解決方案。如果您需要更深入地了解協(xié)議含義和實施細節(jié)，您可以在RTP拓撲IETF文檔中找到所有相關信息。

Mesh解決方案
? ? ? ?Mesh方法是最簡單的解決方案。它在新的WebRTC服務提供商中很受歡迎，因為它不需要架設服務器。該體系結構基于從每一個發(fā)送者創(chuàng)建多個一對一的數(shù)據(jù)流到每一個接收者。

? ? ? ?即使看起來效率低下，實際上它也是非常有效的，并且提供了盡可能低的延遲，并為根據(jù)實際情況為每個接收者提供獨立的比特率。
? ? ? ?“唯一”問題是該解決方案需要大量的上行鏈路帶寬來同時向所有目的地發(fā)送媒體流，而現(xiàn)有的瀏覽器實現(xiàn)需要大量的CPU功率來并行地對視頻進行多次編碼。

Mixer解決方案
? ? ? ?Mixer是多人視頻會議的傳統(tǒng)解決方案，并且已經(jīng)使用了多年，取得了巨大成功。這個成功歸功于它在終端（endpoint）中需要最少的成本。 該體系結構基于中心點與每個參與者保持單一的一對一流。然后，中央元件接收并混合每個傳入的音頻和視頻流，為每個參與者生成一個單獨的流。視頻會議行業(yè)中這些集中式元件的一個常見術語是多點控制單元（MCU）。實際上，使用MCU通常是指Mixer解決方案。

? ? ? ?Mixer是與老舊設備互操作性非常好的解決方案。它們還允許全比特率適應，因為Mixer可以產(chǎn)生不同的輸出流，給每個接收者提供不同的質(zhì)量。Mixer解決方案的另一個優(yōu)勢是它可以在設備中利用硬件解碼，只要設備具有硬件解碼能力。
? ? ? ?主要的缺點是MCU的成本。另外，由于混合需要解碼和重新編碼，這會引入額外的延遲和質(zhì)量損失。最后，轉(zhuǎn)換和合成可能在理論上導致應用程序UI的靈活性較低（盡管此問題有解決方法）。

Router解決方案
? ? ? ?Router（或Relay）因H.264 SVC基礎架構變得普及，并且這種架構被大多數(shù)新的WebRTC平臺所使用，這些平臺在沒有任何老舊設備。該體系結構基于中心點接收來自每個發(fā)送者的流，并向每個參與者發(fā)送流。這個中心點只能進行數(shù)據(jù)包檢測和轉(zhuǎn)發(fā)，而不會對流媒體進行昂貴的編碼和解碼。常見術語是SFU。

? ? ? ?Router提供了一種便宜且可擴展的多方解決方案，與傳統(tǒng)調(diào)Mixer解決方案相比，在保證視頻質(zhì)量的前提下具有更低的延遲。
? ? ? ?另一方面，這個方案的行業(yè)經(jīng)驗較少，將流適配到不同的接收者變得棘手。我們需要在終端中支持生成多種不同的流，這些流隨后可以在路由器中被選擇性地轉(zhuǎn)發(fā)。

三種架構的流量對比

我們該用那種架構？
? ? ? ?不幸的是，沒有簡單的答案。事實上，一些商業(yè)解決方案包括對所有這些解決方案的支持，以優(yōu)化不同客戶的使用。但是，這里有一些一般性的經(jīng)驗法則。
1.如果您僅提供音頻服務，或者需要與傳統(tǒng)設備互操作，那么Mixer架構可能最適合您。另外，如果基礎設施的成本不是問題，并且參與者具有異構連接，這可能是一個很好的解決方案。
2.假設你提供企業(yè)級服務，且有較好的寬帶和高效的硬件（即一個企業(yè)內(nèi)部服務），并且參與者數(shù)量有限，那么您可以使用Mesh體系結構獲得良好結果。
3.一般而言，如果您提供大規(guī)模服務，則應優(yōu)先考慮Router方案。歸根結底，Router解決方案最接近于將智能置于網(wǎng)絡邊界的Internet模式，以在構建最終用戶應用程序時實現(xiàn)更好的伸縮性和靈活性。

WebRTC中缺少什么？

? ? ? ?即使有商業(yè)和免費的解決方案在WebRTC上提供多方服務，仍然存在需要在基礎技術中解決的問題，以實現(xiàn)更好的用戶體驗。這些包括：
1.改進了音頻處理和編碼，特別是聲學回聲消除和噪聲抑制算法。
2.更先進和靈活的擁塞控制，允許開發(fā)人員即時修改流的參數(shù)，比如比特率，質(zhì)量或視頻分辨率。
3.simulcast和分層視頻編碼支持獨立地將原始視頻流適配到每個接收者，而無需昂貴的代碼轉(zhuǎn)換。
? ? ? ?總而言之，我們有能力開始基于WebRTC技術為我們的客戶提供多方服務。隨著標準的發(fā)展，隨著更多API的提供，以及隨著更多瀏覽器中更好的實現(xiàn)的出現(xiàn)，基于網(wǎng)絡的視頻會議的未來變得更加有前途。

原文鏈接：https://webrtchacks.com/webrtc-beyond-one-one/