《多媒體計算機技術》課件第3章 音頻信息的獲取與處理.ppt
- 【下載聲明】
1. 本站全部試題類文檔,若標題沒寫含答案,則無答案;標題注明含答案的文檔,主觀題也可能無答案。請謹慎下單,一旦售出,不予退換。
2. 本站全部PPT文檔均不含視頻和音頻,PPT中出現的音頻或視頻標識(或文字)僅表示流程,實際無音頻或視頻文件。請謹慎下單,一旦售出,不予退換。
3. 本頁資料《《多媒體計算機技術》課件第3章 音頻信息的獲取與處理.ppt》由用戶(momomo)主動上傳,其收益全歸該用戶。163文庫僅提供信息存儲空間,僅對該用戶上傳內容的表現方式做保護處理,對上傳內容本身不做任何修改或編輯。 若此文所含內容侵犯了您的版權或隱私,請立即通知163文庫(點擊聯系客服),我們立即給予刪除!
4. 請根據預覽情況,自愿下載本文。本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
5. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007及以上版本和PDF閱讀器,壓縮文件請下載最新的WinRAR軟件解壓。
- 配套講稿:
如PPT文件的首頁顯示word圖標,表示該PPT已包含配套word講稿。雙擊word圖標可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國旗、國徽等圖片,僅作為作品整體效果示例展示,禁止商用。設計者僅對作品中獨創性部分享有著作權。
- 關 鍵 詞:
- 多媒體計算機技術 多媒體計算機技術課件第3章 音頻信息的獲取與處理 多媒體 計算機技術 課件 音頻 信息 獲取 處理
- 資源描述:
-
1、第3章 音頻信息的獲取與處理 3.1 信號處理的基本術語信號處理的基本術語采樣與量化采樣長度的選擇與頻率分辨率 DFT和IDFT小波變換采樣和量化 信號的數字化處理包括兩個步驟,一個是信號在時間上的離散化,即采樣;另一個是幅度上的離散化,即量化。采樣也稱抽樣,是信號在時間上的離散化,即按照一定時間間隔t在模擬信號x(t)上逐點采取其瞬時值。它是通過采樣脈沖和模擬信號相乘來實現的t=采樣點之間的距離采樣和量化量化是對幅值進行離散化,即將振動幅值用二進制量化電平來表示。量化電平按級數變化,實際的幅度值是連續的物理量。具體幅度值用舍入法歸到靠近的量化電平上。對模擬信號采樣首先要確定采樣間隔。如何合理
2、選擇t涉及到許多需要考慮的技術因素。過采樣信號低采樣產生的偏差信號采樣定理sfmfsfmfsfmf采樣定理證明,不產生頻率混疊的最低采采樣定理證明,不產生頻率混疊的最低采樣頻率樣頻率 應為信號中最高頻率應為信號中最高頻率 的兩倍,即即2考慮到計算機二進制表示考慮到計算機二進制表示=(2.564)方式的要求,一般取方式的要求,一般取采樣長度的選擇與頻率分辨率 cfnnffcTtNntnffs1156.21156.2NnTfTTfNm2 采樣長度就是采樣時間的長短。對周期信號,理論上采集一個周期信號就可以了。實際上,考慮信號平均的要求等因素,采樣總是有一定長度的,為了減少計算量,采樣長度也不宜過長
3、。信號采樣要有足夠的長度,不但是為了保證信號的完整,而且是為了保證有較好的頻率分辨率。設分析頻率為,譜線數為,則頻率分辨率為改用采樣頻率表示式中,=2.56為采樣點數,為采樣長度。=l/可知,對給定的分析頻率,采樣長度(由即分辨率越高??梢?,頻率分辨率是與采樣長度呈反比的。在信號分析中,采樣點數一般選為,使用較多的有512、1024、2048、4096等。)越大,就越小,DFT和IDFT傅立葉分析是將原始信號分解成不同頻率成分的正弦波,將時域信號轉變為頻域信號的一種數學方法,在信號的分析和處理中有著十分重要的作用對數字信號,需要采用相關的離散化方法,這就是由傅立葉分析得到的離散傅立葉變換DFT
4、,其逆變換表示為IDFT。DFT和IDFT設是連續函數h(t)的N個采樣值,則這N個點的寬度為N的DFT定義為IDFT定義為 稱為N點DFT的變換核函數 稱為N點IDFT的變換核函數1,1,0,10/2NkexXNnNnkjnk1,1,0,110/2NneXNxNkNnkjknNnkje/2Nnkje/2小波變換 一個小波是一個在有限周期內的波形,它的平均值為零。比較正弦波形和小波,正弦信號正是Fourier分析的基礎,它沒有限定的周期,它可以從負無窮擴展到正無窮,正弦信號是平滑并且是可預知的,小波信號是不規則的并且不對稱。圖3.3正弦信號和小波信號正弦波小波小波變換傅立葉分析是將信號分解為各
5、種頻率的正弦信號,類似地,小波分析是將信號分解為滑動的、與母系小波成比例的各種子波。信號傅立葉變換不同頻率的連續正弦子波dtetfwFjwt)()()(F)(tf傅里葉變換的數學表達式為這個變換的結果稱為傅里葉系數,它表示為信號被一復指數(復指數可分解為實部和虛部組成的正弦成分)相乘后在所有時間范圍內的積分。信號小波變換不同尺度與位置的連續小波)(tfdttpositionscaletfpositionscaleC),()(),(連續小波變換(Continuous Wavelet Transform,CWT)定義為信號被小波關于比例、滑移位置函數在所有時間內的積分。相乘CCCWT的結果包含了許
6、多小波系數,position的函數。每個系數乘以合適的標度和滑移位置小波可得出原始信號不同成分的小波。是scale和)(tf)(t假定小波函數=,當時,小波圖形分別如圖3-6所示。圖3-6 標度因素變化的曲線=1,2,4小波變換小波變換可以使得信號的低頻長時特性和高頻短時特性同時得到處理,具有良好的局部化性質,能有效地克服傅氏變換在處理非平穩復雜信號時存在的局限性,具有極強的自適應性。由于小波變換能夠有效地解決方塊效應和基本上解決蚊式噪聲,所以小波變換已經成為當今圖像壓縮編碼的主要研究方向。數字音頻基礎 模擬音頻和數字音頻 數字音頻的文件格式 在多媒體計算機中,存儲聲音信息的文件格式主要有WA
7、V文件、VOC文件、MIDI 文件、AIF文件、SNO文件及RMI文件等 波形音頻波形音頻 波形音頻是多媒體計算機獲得聲音最直接、最簡便的方式。在這種方式中,通常以麥克風、立體聲錄音機或CD激光唱盤等作為聲音信號的輸入源,聲卡以一定的采樣頻率和量化級對輸入聲音進行數字化,將其從模擬聲音信號轉換為數字信號(模/數轉換),然后以適當的格式存在硬盤上。記錄下來的聲音重放時,聲卡將文件中的數字信號還原成模擬信號(數/模轉換),經混音器混合后由揚聲器輸出。波形文件是Windows所使用的標準數字音頻文件,文件的擴展名是.WAV,記錄了對實際聲音進行采樣的數據。優點:在適當的硬件及計算機控制下,使用波形文
8、件能夠重現各種聲音。主要缺點:是產生的文件太大,不適合長時間記錄。VOC文件文件 VOC文件是Creative公司波形音頻文件格式,也是聲卡使用的音頻文件格式。每個VOC文件由文件頭塊和音頻數據塊組成。文件頭包含一個標識、版本號和一個指向數據塊起始的指針。VOC格式音頻文件的文件頭如下:(1)00H13H字節。文件類型說明。前19個字節包含正文:Creative Voice File。最后是EOF字節(1AH)。(2)14H15H字節。其值為001AH。(3)16H17H字節。文件的版本號。(4)18H19H字節。是一個識別碼。由這個代碼可以檢驗其文件是否是真正的VOC文件。MIDI文件文件
9、MIDI音頻是多媒體計算機產生聲音(特別是音樂)的另一種方式,可以滿足長時間音樂的需要。由于MIDI文件記錄的不是聲音本身,因此它比較節省空間。與波形文件不同的是,MIDI文件(擴展名為.MID)并不對音樂進行采樣,而是將每個音符記錄為一個數字,MIDI標準規定了各種音調的混合及發音,通過輸出裝置就可以將這些數字重新合成為音樂。與波形文件相比,MIDI文件要小得多,例如,同樣半小時的立體聲音樂,MIDI文件只有200KB左右,而波形文件(.WAV)則要差不多300MB。CMF文件文件 CMF文件(creative music file)也是隨聲卡一起誕生的,是它自帶的MIDI文件存儲格式。CD
10、音頻音頻 CD音頻是一種數字化聲音,以16位量化級、44.1kHz 采樣率的立體聲存儲,可完全重現原始聲音,每片CD唱盤能記錄約74min這種質量的音樂節目。在多媒體計算機上輸出CD音頻信號一般有兩種途徑,一種是通過CD-ROM驅動器前端的耳機插孔輸出,另一種使用特殊連線接入聲卡放大后由揚聲器輸出。音頻信號的特點 在多媒體系統中,音頻信號可分為兩類:語音信號和非語音信號。音頻信號處理的特點如下:(1)音頻信號是時間依賴的連續媒體。因此音頻處理的時序性要求很高。如果在時間上有25ms的延遲,就會感到斷續。(2)由于人接收聲音有兩個通道(左耳、有耳),因此為使計算機模擬自然聲音,也應有兩個聲道,即
11、理想的合成聲音應是立體聲。(3)由于語音信號不僅僅是聲音的載體,同時還攜帶了情感的意向,故對語音信號的處理不僅是信號處理問題,還要抽取語意等其他信息,因此可能會涉及語言學、社會學、聲學等。3D音頻 隨著軟、硬件的不斷發展,傳統的雙聲道單層面立體聲音場,已經不能滿足人們的需要。為了得到更好的立體感受和空間感受,科學家借助數字化音頻生成了一種全新的聲音-模擬3D音頻。DirectSound 3D Aureal3D EAX Sensaura IAS 聲卡的組成與工作原理 聲卡的功能(1)錄制、編輯和回放數字聲音文件錄制、編輯和回放數字聲音文件。(2)控制聲音源的音量,混合后再數字化(3)記錄和回放數
12、字聲音文件時進行壓縮和解壓縮以節省存儲語音文件的磁盤空間(4)文語轉換與語音識別(5)MIDI接口和音樂合成 聲卡的技術指標聲卡的技術指標 采樣率與量化位采樣率與量化位 衡量聲卡錄制和重放聲音質量的主要參數是采樣率與量化位(也稱為分辨率或解析度),采樣率與量化位越大,錄制和重放聲音質量與原始聲音就越接近。FM合成與波形表合成與波形表 FM合成法就是通過正弦波相互調制來模擬真實的樂器聲音。這種方法成本較低,但也導致了在游戲或音樂演奏中產生的音效與實際的樂器明顯不同?,F今聲卡的FM合成通常是使用日本Yamaha公司生產的OPL-2(老式聲卡上的芯片,也叫做M3812,可合成11種單聲道的聲音)或O
13、PL-3(也叫做YMF262,可合成11種單聲道的聲音)合成芯片。較好的聲卡采用的是波形表合成技術來實現音樂合成(即所謂的波表卡)。波形表包含有真實樂器聲音波形的數字記錄,在演奏時將相應樂器的波形記錄播放出來。為了與原有的FM合成聲卡的兼容性,波表卡上的合成芯片能完成FM合成的所有功能,如Yamaha公司非常流行的OPL-4(可運行為較早的OPL-2和OPL-3芯片編寫的所有程序)就是典型的波表合成芯片。兼容性兼容性 外圍接口外圍接口 音頻壓縮音頻壓縮 DSP芯片芯片 軟件支持軟件支持 聲卡的分類聲卡的分類 按應用環境分類按應用環境分類 按照聲卡的應用環境,聲卡基本可以分為DOS/GAME和W
14、indows兩種環境。這兩種聲卡分別以Sound Blaster和Windows Sound System為代表。前者Sound Blaster是 GAME聲卡的事實標準,幾乎所有的DOS環境下的游戲都支持Sound Blaster。從聲卡的技術角度分類從聲卡的技術角度分類 從聲卡所采用的技術上來看,聲卡主要可分為3類:一是DSP技術為基礎的聲卡。二是全硬件聲卡。三是結合一類和二類兩種聲卡的優點,采用有限可編程控制器,使聲卡具有一定能力的自管理功能,又不至于成本太高、復雜的聲卡。根據總線的不同分類根據總線的不同分類 根據總線的不同,把聲卡分為兩大類,一類是ISA聲卡,另一類是PCI聲卡,由于兩
15、種端口不能互相通用,因此在安插聲卡時不能插錯。主板上的ISA插槽是黑色的,比PCI 槽長,其中的金屬簧片也比PCI的寬;PCI插槽呈白色,相對較短,其中的簧片很細,分布密集。當然還可以按照聲卡的組成結構分為普通聲卡和集成主板的聲卡。按照聲卡取樣分辨率的位數不同,可分為8位聲卡、準16位聲卡、真16位聲卡、32位聲卡等。按照聲卡功能的不同,可分為單聲道聲卡、真立體聲聲卡、準立體聲卡等。聲卡的組成和布局聲卡的組成和布局 MIDI/GAME端口端口I/O接口接口 CD-ROM接口接口 聲音處理芯片聲音處理芯片 功率放大芯片功率放大芯片 跳線和跳線和SB-link接口接口 聲卡的組成I/O接口接口 聲
16、卡的工作原理 音頻卡的工作原理的主要組成部分聲音的合成與處理 混合信號處理器及功率放大器 計算機總線接口和控制器 SPDIF數字音頻接口 SPDIF是SONY、PHILPS數字音頻接口的簡稱。就傳輸載體而言,SPDIF又分為同軸和光纖兩種。就傳輸方式而言,SPDIF分為輸出(SPDIF OUT)和輸入(SPDIF IN)兩種。目前大多數的聲卡芯片都能夠支持SPDIF OUT。SPDIF在多媒體聲卡上應用的優勢和不足在多媒體聲卡上應用的優勢和不足 在目前的家用多媒體聲卡上,SPDIF同軸電信號輸出主要用來傳輸Dolby Digital AC-3信號和連接純數字音箱。光纖輸出則主要用來連接MD等數
展開閱讀全文
