谷歌發(fā)力AI搜索，視覺檢索+識別會成主流？AR眼鏡也要東山再起？

今年的谷歌開發(fā)者大會(Google I/O 2022)上有什么新玩意、硬科技?

谷歌翻譯、谷歌多重AI搜索、保護性計算、Android 13、谷歌硬件。

在2小時的主題演講上，谷歌梳理了自己現(xiàn)有AI計算的進度，并演示了關(guān)鍵技術(shù)應用。并發(fā)布了谷歌手機，還提前曝光了谷歌AR眼鏡!

有不少最新技術(shù)理念和硬核產(chǎn)品，科技圈媒體已經(jīng)鋪天蓋地報道了。

01谷歌的邏輯

一家高科技公司總要有句通俗易懂的口號，方便和用戶直接交流。

曲高和寡、孤芳自賞裝深沉裝睿智是行不通的。

谷歌CEO桑達爾·皮查伊(Sundar Pichai)很懂這思路，所以他的口號從來簡明扼要。

這次他的口頭禪是：“谷歌的目的，深化用戶對信息的理解，讓人們無論在哪都能獲得知識?！?

桑達爾·皮查伊印度平民家庭出身、買不起新書包的窮學生，一路爬到谷歌寡頭公司的CEO，皮查伊的成功充滿了勵志色彩，激勵著世界許多寒門子弟奮發(fā)前進。

Google搜索引擎、谷歌Chrome、Chrome OS、地圖、Gmail、Android都是在他的帶領下壯大的，人稱劈柴哥!

谷歌的工程師文化在他手里被發(fā)揚到了極致，一個重要的行事規(guī)則是——殺雞要用牛刀，集重兵狂投入優(yōu)化產(chǎn)品功能性到極點。

Chrome瀏覽器就是這個邏輯的經(jīng)典產(chǎn)品，核心功能細節(jié)比同行強的時候，用戶蜂擁而至。

工程師文化，就是這點好，拼產(chǎn)品功效功能細節(jié)，沒有花哨，比不過別人就是比不過別人，沒有廢話連篇的自我遮羞布。

市場用戶最公平，不管競爭是否激烈，不管條件是否艱苦，不管舞臺大小，不看你演戲演技演給誰看。

就看產(chǎn)品本身實用性說話。

不行，千萬別浪費觀眾時間，大家都不傻，煩了，人家真會扔臭雞蛋香蕉皮砸人的。

02谷歌翻譯、谷歌地圖

在翻譯領域，谷歌已經(jīng)要超神!

谷歌宣布，谷歌翻譯增加了對24種新語言的支持，深度神經(jīng)網(wǎng)絡算法功不可沒!

大概全世界所有主流語言都能支持翻譯了。

在視頻領域，YouTube視頻已經(jīng)支持了16種語言的實時翻譯。YouTube去年已經(jīng)可以自動生成章節(jié)分段。現(xiàn)在通過語音/視頻腳本分析等，讓這種分段更準確，數(shù)量也會達到8千萬段。

在NLP(自然語言處理)領域，谷歌的AI技術(shù)可以對文字段落進行更好的理解、總結(jié)，并幫助用戶快速找到重點信息。

谷歌地圖(Google Maps)，進一步完善了地圖數(shù)據(jù)，谷歌的心氣自然是讓全世界都能用谷歌地圖，所以這次人家表態(tài)，已經(jīng)能讓非洲等偏遠地區(qū)使用了。

有一說一，谷歌地圖的細節(jié)處理非常優(yōu)秀。據(jù)官方說，已經(jīng)開始大規(guī)模應用3D航拍、AI智能等技術(shù)，以此來確保導航、搜索等功能的準確性。

同時，3D繪圖和機器學習等+航拍，讓沉浸式實景地圖更逼真完整。

會上，谷歌也公布了關(guān)于地圖應用的最新數(shù)據(jù)：已在全球范圍內(nèi)繪制超16億座建筑和6000萬公里的道路。

03多重維度AI搜索

谷歌核心產(chǎn)品是搜索引擎。

2022這產(chǎn)品又添加了什么黑科技功能?

在之前，搜索是類似查詢的方式，你輸入文字，它給出一堆相應結(jié)果。

現(xiàn)在，用戶的要求多了，也復雜了。

例如用戶會上傳一張圖片、一段小視頻，甚至一段鳥叫聲，問圖片里、視頻里的是什么鳥類?

這種問題不再是文字，而是圖片、視頻影音、文字的多維度結(jié)合。

這就是最新的技術(shù)“圖像檢索+識別”，比傳統(tǒng)文字檢索識別更難更復雜。

這屬于多重搜索，也是谷歌這些年發(fā)力的重點。

簡單的說，“多重搜索”利用AI多模型理解，去理解人們的搜索意圖，并用直觀的方式體現(xiàn)。

一個實例來說，在巧克力店去尋找“不含堅果黑巧克力”，用戶要做的是采用手機鏡頭去掃描貨架，找到指定的產(chǎn)品。

鏡頭去識別物體-加入篩選條件-呈現(xiàn)出結(jié)果。

這是圖像識別+篩選結(jié)果的過程，仍舊是一種搜索，但已經(jīng)跟之前的搜索引擎體驗完全不同。

整個視頻檢索體驗與以往理解傳統(tǒng)文字框搜索很不一樣。

知情郎對這搜索應用技術(shù)嘆為觀止。

在德高行全球?qū)＠麛?shù)據(jù)庫中，以圖像檢索+識別為關(guān)鍵詞，在谷歌全球?qū)＠餀z索了相關(guān)專利，以數(shù)量看，中國專利60件，包括發(fā)明公開32件、發(fā)明授權(quán)28件;美國專利205件，包括發(fā)明公開83件、發(fā)明授權(quán)122件

下表為9件為谷歌近期公開圖像檢索+識別領域的專利。

這些專利含金量都非常大，谷歌的目標是“用任何方式在任何地方進行搜索”，所以研究多維搜索，尤其是通過手機自帶的攝像頭視頻拍攝識別這種模式，大概率會成為主流搜索應用之一。

04谷歌AI語音助手Google Assistant

手機帶AI語音助手，已經(jīng)成了行業(yè)慣例。

國內(nèi)比較成熟的就是百度語音助手小度，能幫助用戶處理一些簡單的操作指令。

谷歌的AI語音助手則是Google Assistant，谷歌稱，在AI對話能力技術(shù)領域，全球每天有7億人都在使用Google Assistant。

在開發(fā)者大會上，谷歌發(fā)布了“Look and Talk”功能，用戶不再必須通過“Hi Google”喚醒設備。用戶可以通過注視并直接講話與語音助手進行交流。

你只需要看著設備屏幕上的前置攝像頭，并說出需求，語音助手就會進行應答。

另外，用戶可以直接通過一些快捷短語控制語音助手，進行一些事項的處理，比如上個鬧鐘、關(guān)個燈。

谷歌的核心目的，就是讓用戶可以與語音助手交互的更自然。

值得一提的是，在開放式對話處理方面，谷歌進一步優(yōu)化了神經(jīng)網(wǎng)絡模型，語音助手甚至可以對非連續(xù)的對話進行理解。

比如用戶說話的時候即使磕巴、語句斷斷續(xù)續(xù)，語音助手還是可以聽懂用戶的意思。

▲AI會去掉語句中的“停頓”和“卡殼”

去年谷歌發(fā)布了生成語言模型LaMDA，谷歌今年將其迭代為LaMDA 2，并向一些谷歌員工開放測試。

LaMDA甚至學會了“想象”，比如當用戶說，“想象世界上最深的海是什么樣子”，LaMDA會找到馬里亞納海溝。

此外，用戶還可以與LaMDA圍繞某一話題展開討論，LaMDA會一直圍繞這一話題進行回答。

比如討論關(guān)于“狗”的話題，LaMDA的回答都會圍繞狗來展開。

谷歌在發(fā)布會上也提到了近期發(fā)布的PaLM大模型，該模型包含5400億參數(shù)，它可以解答數(shù)學問題，甚至可以解釋一個笑話。

PaLM可以用沒有訓練過的語言回答用戶提出的問題，打破語言的邊界。

谷歌在大會上宣布，他們將為谷歌云客戶提供全球最大的開放機器學習中心，該數(shù)據(jù)中擁有9 exaFLOPS的算力。

另外，Android 13今年發(fā)布。

05谷歌手機

大家比較的關(guān)心也是這個。

首先是谷歌Pixel 6a，它是旗艦Pixel 6的“青春版”，依舊是谷歌自研芯片Tensor ，也依舊支持5G，還有Android 13系統(tǒng)。

外觀設計類似，但看起來沒那么高端(應該是塑料材質(zhì))，背后是1200萬像素的雙鏡頭系統(tǒng)，價格更低了只要449美元起，走的是平民廉價路線。

有一說一，谷歌這思路是挺政治正確的，在中高端市場，蘋果在美國的統(tǒng)治力過大，死磕沒必要，不如學當年的小米，繼續(xù)走低價傾銷策略，專注低端市場擴銷量是真。

這手機7月21日預售，7月28日上市。

這款手機跟之前所有Pixel手機一樣，是Android系統(tǒng)和剛才講那一大票AI技術(shù)+算法的硬件體現(xiàn);或者說是谷歌技術(shù)的硬件軀殼。

06新款AR眼鏡

在開發(fā)者大會末尾，公司透露，它正在開發(fā)一副新的增強現(xiàn)實智能眼鏡，旨在“打破溝通障礙”。

外形和普通眼鏡類似，減少了佩戴者的突兀感。

功能方面，谷歌AR眼鏡可以直接看到翻譯在眼前的語言，非?？?。相當于直接給你加字幕解讀外文影視劇!

但谷歌沒有透露該設備的具體名稱，也沒有說什么時候會向消費者發(fā)布。

谷歌AR眼鏡天天在講故事，講了好多年，就是沒看見好的應用產(chǎn)品，大家等的黃花菜都涼了。

這行業(yè)競爭也激烈，Meta、蘋果、三星、微軟等科技巨頭都陸續(xù)透露正在研究或者即將推出AR眼鏡產(chǎn)品。

不過，據(jù)媒體報道，谷歌之前收購了Raxium，這是一家專注于開發(fā)針對AR/VR/MR設備應用的單片集成式RGB Micro LED微顯示器公司，很明顯，谷歌收購這家公司也是為了提高AR設備的適用性，看來，這次人家有備而來。

知情郎專門查了下公司專利，在德高行全球?qū)＠麛?shù)據(jù)庫中，關(guān)于google的AR眼鏡專利，中國專利43件，包括發(fā)明公開21件、發(fā)明授權(quán)7件、外觀設計15件。美國專利124件，包括發(fā)明公開60件、發(fā)明授權(quán)57件、外觀設計7件。

看了眼谷歌4月底公布的最新智能眼鏡專利，這專利除了賦予眼鏡用戶傳統(tǒng)的所示視圖外，還增加了將信息(例如，數(shù)字圖像)疊加至視場并基于例如光學頭戴式顯示屏(OHMD)、兼具透明頭戴式顯示屏(HUD)嵌入式無線眼鏡進行AR視圖覆蓋，總而言之，現(xiàn)代智能眼鏡實際上可以是運行獨立移動應用程序的可穿戴電腦，并能支持用戶通過免提、自然語言語音命令以及觸屏功能按鈕與互聯(lián)網(wǎng)通信。

外媒的原話是：谷歌正在開發(fā)的智能眼鏡兼具了AR功能，可呈現(xiàn)融合了真實和虛擬圖像的增強現(xiàn)實視圖，與谷歌之前推出的智能眼鏡相比，顯然這款眼鏡具有更好的性能，其配置的高質(zhì)量攝像頭模塊和3D傳感模塊將在虛擬圖像與現(xiàn)實世界的融合中發(fā)揮著關(guān)鍵作用。

至于現(xiàn)實效果，誰用誰知道!沒見過成品，啥都不說!

07視覺搜索查詢的智能系統(tǒng)

分享個谷歌AI搜索技術(shù)研發(fā)方面的最新專利，視頻檢索+識別是它最新發(fā)力點。

一般而言，本公開涉及一種計算機實現(xiàn)的視覺搜索系統(tǒng)，可以用于檢測 和識別視覺查詢中的對象或與視覺查詢相關(guān)的對象，然后提供響應視覺查詢 的更個性化和/或智能的搜索結(jié)果(例如，在增強視覺查詢的覆蓋中)。

例如， 用戶可以提交包括一個或多個圖像的視覺查詢。在視覺查詢中或與視覺查詢 相關(guān)，各種處理技術(shù)(諸如光學字符識別(OCR)技術(shù))可以用于識別文本 (例如，在圖像、周圍圖像中等)和/或各種對象檢測技術(shù)(例如，機器學習 對象檢測模型等)可以用于檢測對象(例如，產(chǎn)品、地標、動物、人類等)。

可以識別與檢測的文本或?qū)ο?或多個)相關(guān)的內(nèi)容，并可以將其作為搜索 結(jié)果提供給用戶。因此，本公開的方面使得視覺搜索系統(tǒng)能夠更智能地處理視覺查詢以提供改進的搜索結(jié)果，包括更個性化和/或考慮情境信號的搜索結(jié) 果來解釋視覺查詢和/或用戶搜索意圖的隱式特征。

本公開的示例方面響應于視覺查詢提供了更智能的搜索結(jié)果。

視覺查詢 可以包括一個或多個圖像。例如，在視覺查詢中包括的圖像可以是同時捕獲 的圖像，也可以是先前存在的圖像。

在一個示例中，視覺查詢可以包括單個圖像。在另一示例中，視覺查詢可以包括來自大約三秒視頻捕獲的十個圖像 幀。

在又一示例中，視覺查詢可以包括圖像的圖像庫，例如，包括在用戶的 照片庫中的所有圖像。

例如，諸如庫可以包括用戶最近捕獲的動物園動物的 圖像、用戶不久前捕獲的貓的圖像(例如，兩個月前)以及用戶從現(xiàn)有來源 (例如，從網(wǎng)站或屏幕捕獲)保存到庫中的老虎的圖像。這些圖像可以代表 用戶的一組高親和力圖像，并體現(xiàn)(例如，通過圖形)用戶可能對類似動物 的事物具有“視覺興趣”的抽象想法。

任何給定的用戶都可能有許多這樣的節(jié)點集群，每個節(jié)點集群代表的是無法很好地被詞捕獲的興趣。

根據(jù)一個示例方面，視覺搜索系統(tǒng)可以構(gòu)建并利用用戶中心視覺興趣圖 來提供更個性化的搜索結(jié)果。在一個示例使用中，視覺搜索系統(tǒng)可以使用用 戶興趣圖來過濾視覺發(fā)現(xiàn)通報、通知或其他機會。

因此，在示例性實施例中， 在搜索結(jié)果在查詢圖像的增強覆蓋中呈現(xiàn)為視覺結(jié)果通知(例如，在某些情 況下可稱為“閃光(gleams)”)的示例性實施例中，基于用戶興趣的搜索結(jié) 果的個性化可能特別有利。

更具體地，在一些實現(xiàn)中，視覺搜索系統(tǒng)可以包括或提供增強覆蓋用戶 界面，用于為搜索結(jié)果提供視覺結(jié)果通知，作為視覺查詢中包括的圖像的覆 蓋。

例如，視覺結(jié)果通知可以在和與搜索結(jié)果相關(guān)的圖像部分相對應的位置 提供(例如，視覺結(jié)果通知可以顯示在與對應搜索結(jié)果相關(guān)的對象的“頂部”)。因此，響應于視覺搜索查詢，可以識別多個候選搜索結(jié)果，并且多個候選視 覺結(jié)果通知可以分別與多個候選搜索結(jié)果相關(guān)聯(lián)。然而，在底層視覺搜索系 統(tǒng)功能強大且范圍廣泛的情況下，大量候選視覺結(jié)果通知可能可用，使得所有候選視覺結(jié)果通知的呈現(xiàn)將導致用戶界面混亂地擁擠或以其他方式不希望 地模糊基礎圖像。

因此，根據(jù)本公開的一個方面，計算機視覺搜索系統(tǒng)可以 構(gòu)建并利用用戶中心視覺興趣圖來基于觀察的用戶視覺興趣對候選視覺結(jié)果 通知進行排名、選擇和/或過濾，從而提供更直觀和簡化的用戶體驗。

在一些實現(xiàn)中，用戶特定興趣數(shù)據(jù)(例如，可以使用圖表示)可以至少 部分地通過分析用戶過去參與的圖像隨時間聚合。

換言之，計算系統(tǒng)可以通過分析用戶隨時間參與的圖像來嘗試理解用戶的視覺興趣。當用戶參與圖像 時，可以推斷圖像的某些方面是用戶感興趣的。因此，可以在用戶特定興趣 數(shù)據(jù)(例如，圖)中添加或以其他方式標注包括在此類圖像中或與此類圖像 相關(guān)的項(例如，對象、實體、概念、產(chǎn)品等)。