在米爾電子MPSOC實現(xiàn)12G SDI視頻采集H.265壓縮SGMII萬兆以太網(wǎng)推流
引言
隨著網(wǎng)絡(luò)視頻平臺的發(fā)展,用戶對于4K高清畫質(zhì)的需求日益增長。然而,許多用戶發(fā)現(xiàn),即使購買了視頻平臺的會員,觀看4K內(nèi)容時畫質(zhì)卻不如預(yù)期,有時甚至還會出現(xiàn)模糊、卡頓的情況。這種現(xiàn)象背后涉及到視頻編碼、網(wǎng)絡(luò)帶寬、和視頻傳輸?shù)闹T多因素。
近期“影視颶風(fēng)”發(fā)布的視頻《清晰度不如4年前!視頻變糊是你的錯覺嗎?》因討論視頻平臺降低碼率和改變編碼格式以壓縮視頻畫質(zhì),影響了內(nèi)容表達(dá)。
4K視頻清晰度下降的一個主要原因是平臺為了節(jié)省帶寬而壓縮視頻流,有時導(dǎo)致比特率降低,無法發(fā)揮4K分辨率的全部潛力。
在這種背景下,如何高效地壓縮和傳輸4K視頻成為了一個關(guān)鍵技術(shù)難題。本文將探討如何通過米爾電子的ZU4EV MPSoC平臺,接入真4k 60UHD-SDI視頻源后,使用VCU進(jìn)行高效H.265編解碼,再通過SGMII萬兆以太網(wǎng)實現(xiàn)網(wǎng)絡(luò)推流,以確保高質(zhì)量4K視頻的流暢傳輸。
視頻質(zhì)量下降的原因與優(yōu)化方法
帶寬瓶頸:在用戶數(shù)量增加的情況下,服務(wù)器和網(wǎng)絡(luò)的帶寬常常無法滿足4K視頻流的需求。
壓縮算法不足:傳統(tǒng)的視頻壓縮技術(shù)在高分辨率內(nèi)容上表現(xiàn)不佳,容易導(dǎo)致畫面模糊。
視頻流傳輸?shù)膬?yōu)化
在推流過程中,網(wǎng)絡(luò)帶寬和視頻壓縮效率直接決定了視頻播放的清晰度與流暢度。為了確保4K視頻在萬兆以太網(wǎng)上的高效傳輸,本設(shè)計采用以下優(yōu)化措施:
合理的碼率控制:在保證視頻清晰度的前提下,調(diào)整H.265編碼的目標(biāo)碼率,避免過低的碼率影響視頻質(zhì)量或過高的碼率導(dǎo)致帶寬浪費或。通過CBR或VBR模式可以根據(jù)網(wǎng)絡(luò)情況動態(tài)調(diào)整碼率。
低延時模式:VCU支持低延時編碼模式,確保視頻在壓縮和傳輸過程中保持盡可能低的延遲,提升用戶的觀看體驗。
網(wǎng)絡(luò)傳輸協(xié)議選擇:根據(jù)應(yīng)用場景選擇合適的傳輸協(xié)議。對于實時性要求較高的場景,可選擇UDP傳輸,而對于數(shù)據(jù)可靠性要求較高的場景,則推薦使用TCP協(xié)議。
MPSoC與VCU架構(gòu)在4K UHD音視頻廣播領(lǐng)域的優(yōu)勢
高性能與低功耗的結(jié)合:Zynq UltraScale+ MPSoC采用了16nm FinFET工藝,集成了多核處理器和可編程邏輯,能夠在提高性能的同時降低功耗,這對于音視頻廣播領(lǐng)域來說至關(guān)重要,因為它可以在保證高清晰度視頻傳輸?shù)耐瑫r,減少能源消耗。
實時壓縮與解壓縮能力:集成的VCU支持H.264/AVC和H.265/HEVC標(biāo)準(zhǔn),能夠?qū)崿F(xiàn)高達(dá)4K UHD分辨率的視頻的實時壓縮和解壓縮。這意味著在廣播應(yīng)用中,可以利用VCU進(jìn)行高效的視頻編碼,減少存儲空間和帶寬的需求,同時保持視頻質(zhì)量。
多視頻流處理能力:VCU能夠同時處理多達(dá)八個不同的視頻流,這對于需要同時廣播多個視頻源的4K UHD廣播應(yīng)用來說非常有用。這種多任務(wù)處理能力使得MPSoC成為多媒體中心和視頻服務(wù)器的理想選擇。
靈活性和可擴(kuò)展性:MPSoC的可編程邏輯(PL)提供了任意到任意高速視頻/音頻接口的靈活性,可以為多媒體管道帶來定制圖像及視頻處理功能的差異化效果。這種可編程性使得系統(tǒng)能夠適應(yīng)不斷變化的音視頻廣播需求。
專用硬件加速:MPSoC提供了專用的處理引擎,如基于ARM Cortex A53的APU、Mali圖形處理單元等,這些專用硬件能夠加速圖形和視頻處理任務(wù),提高系統(tǒng)的整體性能。
支持多種視頻格式:VCU支持高達(dá)4:2:2 10位UHD-4K的視頻格式,適合專業(yè)和高端消費級的制作與后期制作解決方案。這種廣泛的格式支持使得MPSoC可以應(yīng)用于各種不同的音視頻廣播場景。
集成的多媒體框架支持:MPSoC結(jié)合常見的多媒體框架GStreamer,可以開發(fā)硬件加速型多媒體應(yīng)用。這種集成支持簡化了開發(fā)過程,使得開發(fā)者能夠快速實現(xiàn)復(fù)雜的音視頻處理任務(wù)。
優(yōu)化的功耗管理:Zynq UltraScale+ MPSoC將處理引擎、硬件編解碼器等組件放置在具有獨立電軌的不同電源域中,這種配置可用于為整個系統(tǒng)設(shè)計優(yōu)化功耗管理方案,進(jìn)一步降低系統(tǒng)功耗。
高速互聯(lián)外設(shè):MPSoC提供高速互聯(lián)外設(shè),如集成式DisplayPort接口模塊,支持高達(dá)6 Gb/s的工作速率,這有助于處理來自PS或PL的實時音視頻流,進(jìn)一步降低系統(tǒng)BOM成本。
支持新一代地面數(shù)字電視廣播技術(shù):隨著超高清電視時代的到來,MPSoC與VCU架構(gòu)能夠支持新一代地面數(shù)字電視廣播技術(shù),如DVB-T2、ATSC 3.0和DTMB-A等,這些技術(shù)支持更高的視頻質(zhì)量和新的廣播應(yīng)用模式。
綜上所述,MPSoC與VCU架構(gòu)在4K UHD音視頻廣播領(lǐng)域提供了高性能、低功耗、實時壓縮解壓縮、多視頻流處理、靈活性、硬件加速、廣泛格式支持、多媒體框架集成、優(yōu)化的功耗管理和高速互聯(lián)外設(shè)等多重優(yōu)勢,使其成為該領(lǐng)域理想的解決方案。
系統(tǒng)架構(gòu)概述
在本設(shè)計中,我們使用Zynq UltraScale+ MPSoC平臺(具體型號為MYIR XCZU4EV),通過FPGA實現(xiàn)對SDI視頻的H265壓縮,并通過SGMII接口推送到萬兆以太網(wǎng)上。系統(tǒng)架構(gòu)主要包括以下幾個部分:
視頻輸入:輸入源可以是SDI攝像機(jī)、SDI信號發(fā)生器或通過HDMI轉(zhuǎn)SDI設(shè)備從電腦接入的HDMI信號。視頻信號通過TI公司的LMH1219芯片做均衡處理,并將單端信號轉(zhuǎn)換為差分信號后輸入FPGA。
SDI視頻解碼:FPGA中的UHD-SDI GT IP核用于SDI視頻的解串,并將視頻信號轉(zhuǎn)換為AXI4-Stream格式供后續(xù)處理。通過SMPTE UHD-SDI RX SUBSYSTEM IP核,SDI視頻被解碼為RGB格式。
視頻幀緩存與處理:解碼后的視頻信號存儲在PS側(cè)的DDR4中,通過Xilinx提供的Video Frame Buffer Write IP核實現(xiàn)。在這一階段,可以對視頻幀進(jìn)行顏色轉(zhuǎn)換、縮放等處理。
H.265視頻壓縮:使用Zynq UltraScale+ VCU IP核對存儲的RGB視頻幀進(jìn)行H.265編碼壓縮。VCU支持YUV420格式的視頻,編碼分辨率最高可達(dá)到4K@60fps。
SGMII萬兆以太網(wǎng)傳輸:經(jīng)過H.265壓縮后的視頻流通過SGMII接口推送至萬兆以太網(wǎng)。通過PetaLinux系統(tǒng),利用TCP/UDP協(xié)議將壓縮后的碼流傳輸?shù)絇C或服務(wù)器端,用戶可以通過VLC播放器等軟件實時播放接收到的H.265碼流。
工程設(shè)計主要流程
SDI輸入:通過LMH1219進(jìn)行信號均衡,SDI信號轉(zhuǎn)換為AXI4-Stream格式。
通過HDMI轉(zhuǎn)SDI盒子,通過12G UHD-SDI輸出4K 60FPS視頻給FPGA,用戶也可以使用SDI 工業(yè)相機(jī);
視頻解碼:UHD-SDI GT IP核完成視頻解串,SMPTE UHD-SDI RX SUBSYSTEM IP核將視頻解碼為RGB信號。
視頻緩存:使用Video Frame Buffer Write IP核將視頻寫入DDR4。
用戶可以選擇在這里做出customer ISP,例如圖像縮放,拼接
視頻壓縮:通過Zynq UltraScale+ VCU IP核對視頻進(jìn)行H265壓縮。
網(wǎng)絡(luò)傳輸:通過SGMII萬兆以太網(wǎng)接口,將壓縮后的H265視頻流通過UDP協(xié)議推送至PC端,使用VLC播放器播放。
結(jié)論
在視頻內(nèi)容不斷向4K發(fā)展的大背景下, 通過Zynq UltraScale+ MPSoC平臺,基于VCU實現(xiàn)的SGMII萬兆以太網(wǎng)視頻壓縮推流方案,不僅能夠高效地壓縮和傳輸4K視頻,還可以確保較低的延遲和高質(zhì)量的圖像輸出。該方案適用于視頻監(jiān)控、醫(yī)療影像、工業(yè)自動化等對高分辨率視頻有需求的應(yīng)用場景。
對于希望在網(wǎng)絡(luò)視頻平臺上獲得更好觀看體驗的用戶來說,視頻平臺和服務(wù)提供商則需要在視頻編碼、網(wǎng)絡(luò)傳輸?shù)确矫孢M(jìn)行優(yōu)化,以滿足用戶對于4K視頻的畫質(zhì)需求。
互動環(huán)節(jié)
在SGMII網(wǎng)兆以太網(wǎng)推流到PC端,因為是萬兆網(wǎng),CPU無法負(fù)擔(dān)這里的高速吞吐率,這里我們需要用到網(wǎng)絡(luò)卸載,米爾電子的MYC-7A100T雙芯設(shè)計核心板可通過SFP采集SGMII萬兆以太網(wǎng)數(shù)據(jù)后,PC通過PCIE讀取視頻源,實現(xiàn)萬兆網(wǎng)口數(shù)據(jù)包卸載,我們會在后續(xù)系列文章中做出分享基于米爾MYC-7A100TSFP采集后PCIE XDMA中斷讀取。
圖:MYD-7A100T開發(fā))