本文的標題是《》來源于:由作者:陳日升采編而成,主要講述了如果要問這幾年智能手機市場最值得關注的技術發展趨勢,那么 AI 的深度應用一定要算一個。這些年比較火的詞,什么計算攝影、動態刷新、人臉識別、A
如果要問這幾年智能手機市場最值得關注的技術發展趨勢,那么 AI 的深度應用一定要算一個。這些年比較火的詞,什么計算攝影、動態刷新、人臉識別、AR 等等,背后其實都離不開 AI 技術的支撐。可以預見,2022 年 AI 仍將緊密伴隨廣大智能手機用戶,這一點,在小米剛剛發布的全新旗艦小米 12 系列上其實有特別體現。
小米 12 系列相信大家已經有所了解,我們以旗艦的小米 12 Pro 為例,它首發全新一代驍龍 8 移動平臺,最高主頻達到 3.0GHz,擁有 6.73 英寸微曲面屏,后置 5000 萬像素 IMX707 主攝,同時還有 5000 萬像素的超廣角相機、5000 萬像素的 2 倍人像長焦鏡頭。
而小米 12 Pro AI 體驗的核心,正是來自驍龍 8 的第 7 代高通 AI 引擎。接下來,我們不妨先通過實際體驗,來感受一下小米 12 Pro 的 AI 能力有多強大。
小米 12 Pro,這些 AI 功能實用且強大
在觀看發布會和后續上手體驗評測的過程中,小米 12 Pro 在 AI 方面有很多出色的功能和特性讓小編印象深刻。這里IT之家不妨選取其中一些比較典型的功能應用和大家分享。
首先是小米 12 Pro 的智能動態刷新率技術。我們知道,小米 12 Pro 采用的是 6.73 英寸 2K 分辨率 Amoled 屏幕,刷新率最高達 120Hz,這樣的屏幕素質的確是好,但始終“全力顯示”也比較耗電,而且就刷新率來說,我們并不是任何時候都需要滿滿的 120Hz,于是小米 12 Pro 引入了智能動態刷新率技術。
在這項技術的加持下,小米 12 Pro 會智能實時地識別手機的應用場景,然后匹配合適的刷新率。例如當你看普通視頻的時候,刷新率會調整到 30Hz:
而當你滑動信息流的時候,刷新率又會瞬間恢復到 120Hz。
特別是當你滑動屏幕時,隨著畫面移動速度的變化,小米 12 Pro 的屏幕刷新率也會有一個慢慢下降的過程,直到最后變成 10Hz。
雖然小米 12 Pro 會根據不同場景進行精細的刷新率調節,但是在實際使用體驗時,這些調節的過程可以做到自然、無感,會始終保持體驗感受上的流暢性,這樣既確保使用的絲滑,也起到了省電的效果。
只是要做到這個效果,其實很不容易,必須即時判斷手機的使用場景,以及用戶觸摸屏幕的動作,然后給出對應的刷新率調節方案。非常考驗 AI 運算的速度和持續性。而驍龍 8 的第 7 代高通 AI 引擎足以應對這樣的需求,我們在后面可以具體分析。
小米 12 Pro 另一個比較典型的 AI 用例是動態性能調度技術。
我們知道,驍龍 8 擁有強大的高性能輸出能力,但一直維持高性能也會帶來發熱和耗電量的增加。想要讓用戶一直體驗快速的響應,必須在性能調校上張弛有度,配合 AI 技術,在不同場景下以不同的方式釋放性能。動態性能調度技術就是為此而生的。
以玩《王者榮耀》游戲這個場景來說,動態性能調度技術可以實時分析游戲進度,例如在啟動游戲的時候,驍龍 8 的性能會瞬時爆發,全力運行,同時屏幕刷新率只需要 60Hz 就行了,確保快速進入游戲。
而當游戲進入角色選擇界面,驍龍 8 又會瞬時進入低功耗狀態,低頻維持即可:
而當進行游戲時,單人對線、打野等較低負載時,驍龍 8 會動態降低頻率:
但當進入多人團戰這樣的高壓場景時,驍龍 8 又能提前進行預判,在 1ms 內對所有核心進行頻率調度,確保幀率穩定流暢。
和智能動態刷新率技術類似,動態性能調度技術根據游戲運行的狀態來實時調度驍龍 8 的性能資源,本身也需要強大的實時 AI 算力支持。
我們知道,驍龍移動平臺的高通 AI 引擎本身就是綜合平臺 CPU、GPU、Hexagon 處理器等運算模塊的算力資源實現 AI 運算的,這樣的 AI 運算機制,對于終端廠商利用 AI 進行實時動態的性能調度有著先天的優勢。
除了上面這兩項技術,小米 12 Pro 在 AI 的應用上還有一個非常獨特的功能,就是萬物追焦,這也是小米在發布會上重點介紹的。
萬物追焦系統,最主要的 AI 應用就是圖像識別,包括人臉識別、物體識別等等。小米 12 Pro 的萬物追焦,首先是能自動識別人體、人臉、甚至貓和狗等小動物也不在話下。
開啟萬物追焦,只要人物進入取景畫面,小米 12 Pro 就能快速識別并鎖定焦點。即便人物在快速運動,也能精準、敏捷地鎖定焦點。
而當物體短暫出畫返回后,小米 12 Pro 能夠迅速找回焦點,繼續牢牢鎖定。
而且,借助驍龍 8 強大的 AI 識別能力,小米 12 Pro 還首次實現了人眼追焦的能力,近距離拍攝人物時,小米 12 Pro 會快速鎖定人物的眼部為焦點,隨著距離越來越遠,焦點慢慢放大的臉部、全身,這非常符合人們觀察物體的習慣。
基于強大的萬物追焦功能,小米 12 Pro 能夠實現非常出色的抓拍效果,在拍攝高速運動的物體時,可以捕捉到一瞬間的清晰細節,就像時間定格一樣。
IT之家還是以人為例,拍攝在上籃的人物。可以看到,小米 12 Pro 的確能精準捕捉到人物上籃的一瞬間,下面這張照片中,人物和籃球細節都是清晰的,效果非常出色。
簡單的人臉、物體識別并不是難事,但要持續追焦,識別運動中的物體,那就非常考驗設備 AI 運算的能力了,必須擁有不斷自學習的特征判斷能力,并且能快速預測每一幀運動物體的運動方向,當拍攝者按下快門時,還能立刻給出最好的拍攝參數方案,這一切都需要驍龍 8 強大的 AI 能力提供支持。
從技術到應用,驍龍 8 超強智慧背后的秘密
剛才我們介紹了小米 12 Pro 在 AI 應用方面的諸多新功能,都是小米 12 Pro 的核心賣點。當然,小米 12 Pro 與 AI 相關的功能特性顯然遠不止小編列舉的這些,比如更強的夜景拍照、像素級肌膚煥新技術等等,都離不開 AI 技術的運用。
而驍龍 8 的第 7 代高通 AI 引擎就像取之不盡的寶藏,可供終端廠商們源源不斷地開采,然后發揮創意,作出讓消費者感到實用、好用的功能。
那么高通是如何通過驍龍 8 幫助終端廠商實現這些強大好用的功能的呢?下面我們就具體來說一說。
1、第 7 代高通 AI 引擎,算力能效雙翻倍的 AI 實力
首先,自然是第 7 代高通 AI 引擎本身擁有強悍的 AI 運算能力。
在第 7 代高通 AI 引擎上,高通著重提升了高通 Hexagon 處理器的性能,實現了性能翻倍的表現,同時對共享內存進行了翻倍。
第 7 代高通 AI 引擎在廣泛的 AI 模型用例中的推理時間比前代 AI 引擎快 4 倍,同時 AI 能效比前代提升 1.7 倍。這使得驍龍 8 的 AI 性能在 inceptionv3、mobilenet_v2、Resnet50、VDSR 等 AI 測試中能實現最高 4 倍的提升。
除了高通 Hexagon 處理器性能翻倍,第 7 代高通 AI 引擎的 AI 軟件性能也提升了 2 倍。正是因為更快的運算速度和更強大的算力,上面小米 12 Pro 才能實現像萬物追焦那樣實時的、需要秒速、持續 AI 運算的功能。
另外第 7 代高通 AI 引擎值得關注的就是它的傳感器中樞模塊,驍龍 8 中,高通在傳感器中樞里引入了全新低功耗 AI 子系統。該系統為多核架構,由專用 AI 處理器、DSP、外加自有內存組成,用于處理情境數據流,包括語音、音頻、傳感器和連接。
在全新低功耗 AI 子系統的輔助下,傳感器中樞模塊的 AI 性能提升 75 %,功耗降低 50%。
傳感器中樞模塊的增強,讓搭載驍龍 8 的終端能夠始終待命,以實現一些長時間、或者隨機性質的 AI 功能。比如我們前面提到的小米 12 Pro 的智能動態刷新率技術,就必須實時感知智能手機所處的使用情景然后來調整刷新率方案,同時,用戶觸摸屏幕的時間點也是隨機的,能實現這個功能,就有傳感器中樞模塊 AI 性能提升的功勞。
2、深入合作,推動驍龍 8 AI 應用快速落地
當然,作為終端產品,小米 12 Pro 能將驍龍 8 強大的 AI 能力成功轉化為落地的應用,除了第 7 代高通 AI 引擎本身的實力提升,更離不開高通和終端廠商的深度合作,只有這樣,才能幫助終端廠商真正吃透驍龍 8 的 AI 特性,從而推動 AI 應用落地。
事實上,小米 12 Pro 在發布之前,高通就和小米開始了提前數月的聯合調優,數百位工程師共同合作,反復打磨,**磕體驗,這其中包括如何讓驍龍 8 的 AI 技術實現完美的應用落地,給消費者帶來最好的 AI 體驗。不僅如此,小米和高通的合作已經超過十年,雙方更是在全球多地成立了聯合研發中心,正是基于這樣深厚的合作基礎,我們才能在驍龍 8 發布后這么短的時間里看到小米 12 Pro 上如此成熟的 AI 功能應用。
NAS 研究可以將要使用的硬件以及其他設計參數以幫助工程師快速實現最優設計,自動設計神經網絡模型。從根本上繪制硬件藍圖并利用 AI 充分發揮那些特性以產生最優結果。這項合作對于開發者快速了解第 7 代高通 AI 引擎的 AI 能力,并在加速應用落地方面非常有幫助。
再比如,高通還和 NLP 領域應用廠商 Hugging Face 合作,在第 7 代高通 AI 引擎中支持了 Transformer 網絡,可以幫用戶分析手機上的通知并推薦哪些可優先處理,讓用戶不錯過最重要的信息。
總之,通過廣泛的合作和在產品、技術層面的巨大升級,高通讓驍龍 8 的 AI 技術能夠順利轉化為實際終端的功能應用,也真正讓 AI 能夠更快的為用戶帶來極致體驗。
3、AI 應用領域積累豐厚,驍龍 8 的強悍并非偶然
在全新一代驍龍 8 移動平臺正式發布不到 1 個月的時間里,我們就能在小米 12 Pro 手機上體驗到讓人驚艷且好用的 AI 功能,這背后有第 7 代高通 AI 引擎本身強大的實力,有高通和小米以及其他產業鏈合作伙伴的深入合作,更重要的是,高通在 AI 領域數十年投入的積累,讓他們在推動 AI 應用切實落地方面擁有深厚的經驗,更形成了產業合力,這是我們這么快就能領略驍龍 8 的 AI 技術風采的深層原因。
高通對 AI 人工智能領域的研究從 2007 年即已開始,他們在 2007 年就啟動首個人工智能項目,隨后開始進行脈沖神經網絡等領域的研究。后來,高通在 2015 年驍龍 820 處理器上正式融入了第 1 代 AI 引擎 Zeroth,此后人工智能引擎成為驍龍旗艦移動平臺的“標配”,發展至今已經到了第 7 代。在這個過程中,高通 AI 引擎無數次將自身的 AI 能力轉化為實際落地的應用,服務終端消費者。所以,驍龍 8 在 AI 應用方面的強勢表現,其實就是數年經驗積累的結果。
遠的不說,就以近些年比較典型的案例來說,比如短視頻是這幾年最炙手可熱的賽道之一,而拍攝短視頻需要用到的各種**,如果少了 AI 的助力,體驗將會非常糟糕。而這正是高通 AI 引擎落地的典型用例之一。
舉例來說,國內的《快手》App 有一款“手繪濾鏡”**,能將**照轉換為資深藝術家創作的素描作品。這個功能在實現過程中,需要用 AI 算法在極短的時間里完成手繪畫像創作等功能。
過去,快手利用 CPU 來進行 AI 運算,但效果不理想,然后他們又把 AI 運算的過程放到云端,又受到網絡覆蓋的影響,存在時延。后來他們和高通合作,利用驍龍移動平臺的高通 AI 引擎來進行 AI 運算。高通 AI 引擎是利用 CPU、GPU、Hexagon 處理器等各種運算模塊來進行 AI 運算,其中 GPU 和 Hexagon 處理器更擅長 AI 方面的運算,這樣就完美釋放了 CPU 的工作負載,讓 App 里的各種視覺**能夠流暢地運行。
在比如拍照也是這幾年手機廠商們非常關注的功能,以去年的驍龍 888 為例,第 6 代高通 AI 引擎聯合高通 Spectra 580 ISP 可以讓手機上的多攝像頭進行三重并發和三重并行處理,這個特性也很快被終端廠商落地到具體應用中,比如中興的 Axon 30 Ultra 手機,就借此實現了一鍵拍攝全焦段照片的功能,照片在不同焦距間自由縮放,實現“先拍照、后變焦”,此外還有多攝同拍同錄、超級月亮 Ultra 模式、希區柯克變焦等創新影像玩法。無疑,這就是驍龍移動平臺強大 AI 技術快速應用落地帶來的新鮮影像玩法,能夠讓消費者們的娛樂生活更加多彩。
此外,過去這些年異常火爆的移動電競,高通也在移動終端的電競體驗上應用了很多 AI 技術。例如在 Snapdragon Elite Gaming 技術系統中,就有很多技術離不開高通 AI 引擎的助力,像很多手機都能在打開游戲時自動進入高性能模式,還有游戲里的 VRS 技術等等,都需要 AI 的深度參與。
AI 技術的應用無處不在,消費者在生活、工作、娛樂中需要用到 AI 的場景也很普遍。而高通這些年持續推動 AI 技術落地為實際的應用,不僅是推動了 AI 產業的發展,更為普通消費者帶來了切實的便利,讓技術真正能夠造福于大眾。
結語
搭載全新一代驍龍 8 移動平臺的小米 12 Pro 在這么短的時間里,在 AI 方面的功能體驗已經足夠讓小編驚艷,這不禁讓人更加期待接下來更多搭載驍龍 8 的終端會迸發出怎樣的“AI 創造力”,相信更多終端、應用廠商會和高通一起,用 AI 為世界、為消費者的生活帶來不一樣的風景。
本文原作者為陳日升,轉載請注明:出處!如該文有不妥之處,請聯系站長刪除,謝謝合作~
原創文章,作者:陳日升,如若轉載,請注明出處:http://www.uuuxu.com/2022011516368.html