根據(jù)個人經(jīng)理的項目案例和學(xué)習(xí)時間，筆者從產(chǎn)品實踐的角度談計算機視覺，希望對您有所幫助。

Computer Vision也是我的老朋友。我第一次接觸到人工智能，這是與計算機視覺相關(guān)的知識。我最近受益于老板帶我到那天算法的常規(guī)會議，我看到了許麗（尚堂）的《計算機視覺的完整鏈條，從成像到早期視覺再到識別理解》并找到了很多信息。我當(dāng)時沒有想到什么?，F(xiàn)在想一想，每一步都是有意義的。的。

今天，我將從基于個人經(jīng)理的項目案例和安心的產(chǎn)品實踐的角度談?wù)撚嬎銠C視覺。

一、前言

計算機視覺是使用計算機和相關(guān)設(shè)備模擬生物視覺。其主要任務(wù)是通過處理捕獲的圖片或視頻來獲得相應(yīng)場景的三維信息。

在徐立的分享中，完整的計算機視覺鏈分為三個部分：

成像（圖像）

早期視力

識別（識別）

本文還將基于徐立的整個鏈條的三個部分的分類，分別用實際例子來談?wù)効梢躁P(guān)注的三個部分的產(chǎn)品。

　二、成像(image)

成像是模擬攝像機的原理，它解決了如何提高照片質(zhì)量的問題。

在實際工業(yè)應(yīng)用中，我們經(jīng)常發(fā)現(xiàn)實際數(shù)據(jù)和實驗室數(shù)據(jù)差別太大，實驗數(shù)據(jù)的質(zhì)量遠遠低于實驗室數(shù)據(jù)。當(dāng)我們第一次訓(xùn)練模型時，我們會發(fā)現(xiàn)實驗室模型對實際場景沒有影響。

經(jīng)過多次試驗和測試，我們發(fā)現(xiàn)影響圖像質(zhì)量的因素如下：

光照影響

諸如太暗或太亮的異常照明環(huán)境將極大地干擾模型的效果。在解決照明效果問題時，我認為有兩種方法：

1）從產(chǎn)品角度進行控制：

一個。在用戶可以改變環(huán)境（例如手機自拍等）的前提下，語音/界面提示用戶當(dāng)前環(huán)境不理想，建議改變環(huán)境。

灣用戶無法控制替換環(huán)境（如人臉識別，車輛識別和其他固定攝像頭場景），只能通過調(diào)試硬件設(shè)施來彌補這個問題。

夜晚：在這個行業(yè)中，我們遇到了曝光或黑暗。大部分時間都是在晚上，因為相機會在晚上自動切換到夜景（從圖片中，它會從彩色切換到黑白），所以晚上很眩光。下面的圖像（例如汽車燈）將曝光過度。在這種情況下，我們可以通過強制相機環(huán)境為白天（圖像著色）來避免它。太暗的情況從節(jié)省成本的角度來看，我們可以添加一個發(fā)光和低功率燈來補償相機。當(dāng)然，這兩個問題也可以通過購買高質(zhì)量的相機來解決，但這樣做也意味著更高的成本。

日：白天也會有光。在這種情況下，請考慮使用過濾器等。

　2)算法角度控制

使用算法處理圖像可以將圖像恢復(fù)到引人注目的水平。徐莉在文中舉例說明了這樣一幅畫：

這張照片從暗到亮，通過算法的處理，我們可以明顯地觀察到整個畫面的內(nèi)容。這種方法非常靈活，但它也對公司的算法提出了更高的要求。我們知道每種算法的過濾時間非常重要。如果場景在時間上非常嚴格（人臉識別，車輛識別），那么圖像將在識別之前進行轉(zhuǎn)換，這無疑是增加輸出的時間。 。技術(shù)力量較小的公司可能需要權(quán)衡它們。

　模糊(blur)

模糊也是業(yè)內(nèi)經(jīng)常遇到的問題，并且非常令人頭疼。這里我們首先對模糊進行分類：

運動模糊：人體運動，車輛運動

聚焦模糊：相機距離等因素，類似于近視，圖像中的低頻，高頻缺失。因此，您需要使用算法來嘗試填充高頻部分。

低分辨率差異模糊：小圖像放大等，圖像中存在低頻，并且缺少高頻。因此，您需要使用算法來嘗試填充高頻部分。

混合模糊：多個模糊類型共存

可以在模糊產(chǎn)品上控制的場景很少，并且僅針對第一類運動模糊以及產(chǎn)品和用戶具有交互。其他類型的歧義需要算法來處理。

我們發(fā)現(xiàn)大多數(shù)模型（包括臉部++等模型與前沿公司相比），以及大量正常圖像也被發(fā)現(xiàn)是模糊的。從算法的觀點來看，這可能不是理想的，但從工業(yè)角度來看它是可接受的。被錯誤判斷為模糊圖像的正常圖像將被過濾掉或處理然后被識別。這不適合用戶。使用時會引起不適。此外，我們還可以確保閾值以上的圖形是正常圖像，這也有利于模型訓(xùn)練。因此，產(chǎn)品需要注意的準確性和召回率可以在某些情況下降低要求。

影響圖像質(zhì)量的因素除了照明，模糊以及諸如噪聲，分辨率等許多其他問題之外，大多數(shù)這些問題還通過算法和硬件進行了優(yōu)化。值得注意的是，我之前提到過，我們需要考慮時間和成本之間的權(quán)衡。 。

三、早期視覺(early vision)

在早期視覺部分，我之前沒有一般概念。我看到了徐莉的分享。我回來后發(fā)現(xiàn)“哦！原來每個人都在做這部分內(nèi)容”。

早期視力的主要工作是什么？它主要是圖像分割，邊緣估計，運動和深度估計。這個內(nèi)容沒有直接結(jié)果申請，它是一個“中間狀態(tài)”。

圖像分割是指將特定的影像分割成【區(qū)域內(nèi)部屬性一致】而【區(qū)域間不一致】的技術(shù)，是圖像處理中最基礎(chǔ)和最重要的領(lǐng)域之一。

有許多圖像分割方法，如灰度閾值分割，邊緣檢測和區(qū)域跟蹤。許多種圖像或場景都有相應(yīng)的分割方法，但同時一些分割方法僅限于某些特殊類型的圖像分割。

在邊緣檢測的情況下，目的是在圖像中找到亮度急劇變化的一組像素，即輪廓。

徐力在當(dāng)前的愿景中提出了兩個問題：

結(jié)果不準確

這需要很長時間來促進知識的發(fā)展

第一個問題的解決方案是使用端到端方法，第二個問題的解決方案可以依賴于數(shù)據(jù)驅(qū)動。

這部分產(chǎn)品相對較少涉及，通常與算法同事溝通，聽到更多反饋，圖像分割存在一些缺陷。像徐莉所說，“如何使用這個中間結(jié)果來獲得更好的應(yīng)用，到目前為止感覺這是一個難以回答的問題”，因此該產(chǎn)品可能能夠考慮早期視覺直接應(yīng)用的場景。 。

　四、識別理解(Recognition)

識別和理解的是將（輸入）映射映射到（輸出）圖形，或?qū)ⅲㄝ斎耄﹫D形映射到中間結(jié)果。簡單地說，圖片被映射到文本或標簽。這有兩個重要因素：標簽，數(shù)據(jù)。這兩個因素的廣度和準確性，最終模型的識別能力越強。

　標簽

標簽的定義實際上是規(guī)則的定義。正如我在上一篇文章《AI產(chǎn)品經(jīng)理需要了解的數(shù)據(jù)標注工作》中提到的，標簽越準確對模型的結(jié)果有利，但標簽越精確就意味著這種標簽下的數(shù)據(jù)量。產(chǎn)品越少，也需要考慮這個因素。

還存在受主觀因素影響的標簽定義，例如面值，并且每個人對面部值的評估是不同的。徐莉說，在他們的面值模型中，他們將分為“美麗”和“不美麗”。這兩個標簽的主要標志是社交網(wǎng)站上的得分以及明星與公眾之間的差異。事實上，我曾經(jīng)遵循Yan值的模型。在我的模型中，面部的價值更加精致：有好看，平凡和丑陋。除了社交網(wǎng)站得分，明星得分外，我的經(jīng)驗是關(guān)注數(shù)據(jù)場景的類型，很多數(shù)據(jù)被歸類為一種類似的類型。例如，像花一樣，我們覺得難看？大多數(shù)男士服裝也被定義為丑陋。

此外，更精細的標簽細分將有更多的著陸可能性。關(guān)于我最令人印象深刻的是，前一個模型有一個節(jié)日操作。主題是玩丑陋。更丑陋的人會有小禮物，這項活動。上線后，它吸引了很多公司用戶圈子的關(guān)注。當(dāng)時，當(dāng)我收到這個活動時，我的想法實際上被顛覆了，因為我首先想到的是Yan值模型的可能場景主要是為了識別漂亮的人，比如在直播平臺上區(qū)分錨值錨，建議更好的質(zhì)量。在主頁和其他后端應(yīng)用程序上的錨點，我沒想過它可以逆轉(zhuǎn)。受到這項活動的啟發(fā)，我們后來發(fā)現(xiàn)，面值的模型在娛樂方面可以有更多挖掘的可能性。

似乎由于在我們的模型中添加了標簽定義，還有一種額外的著陸可能性，標簽的重要性是不言而喻的。

　數(shù)據(jù)優(yōu)化

數(shù)據(jù)的數(shù)量和質(zhì)量對模型非常重要。我剛剛收到的重大消息：阿爾法的弟弟Afayuan在沒有任何先驗知識的情況下通過完整的自學(xué)來擊敗了數(shù)據(jù)訓(xùn)練的阿爾法狗。我相信這項技術(shù)將來會越來越多地被使用。也許在未來，它將能夠在某些領(lǐng)域不使用大量數(shù)據(jù)的情況下完成模型培訓(xùn)。但就目前而言，在計算機視覺領(lǐng)域，大量數(shù)據(jù)至關(guān)重要。

我們都知道數(shù)據(jù)優(yōu)化可以使模型更好，更好。什么類型的功能不能很好地執(zhí)行，有必要填寫相應(yīng)的數(shù)據(jù)。事實上，除了這個常識之外，數(shù)據(jù)優(yōu)化還可以用來解決我們在培訓(xùn)過程中經(jīng)常遇到的問題：過度擬合。

什么是過度擬合？

一般來說，模型過于深入地學(xué)習(xí)數(shù)據(jù)，并且還學(xué)習(xí)了數(shù)據(jù)中的細節(jié)和噪聲，導(dǎo)致模型泛化的性能較差。過度擬合的性能是模型（假設(shè)）在訓(xùn)練集上表現(xiàn)良好，但在測試集上表現(xiàn)不佳。

那么你如何過度擬合數(shù)據(jù)約束？

重新清理數(shù)據(jù)。數(shù)據(jù)中的噪聲太大會影響模型的效果，清潔數(shù)據(jù)可以避免由此因素引起的過度擬合問題

增加訓(xùn)練集中的數(shù)據(jù)量。如果訓(xùn)練集占總數(shù)據(jù)的太少，則也會導(dǎo)致過度擬合。

當(dāng)然，這個問題也可能受到算法的限制，例如正則化方法和丟失方法。我們可以在以后討論它。

　五、項目實踐 (以車型識別舉例)

車輛檢測系統(tǒng)下有許多與CV相關(guān)的應(yīng)用，如車輛識別，車牌識別，車輛顏色識別等。讓我們從車輛識別的例子開始，探索項目的具體過程。

　　項目前期準備

　　1.數(shù)據(jù)準備：

模特的主題并不大，也不小。世界上大約有三四百個汽車品牌，每個品牌下都有幾十輛汽車。我們從0開始，至少需要包括普通的車輛系統(tǒng)。大眾，豐田，梅賽德斯 - 奔馳，寶馬，奧迪，現(xiàn)代等大眾汽車品牌需要獲得全部數(shù)據(jù)。每種類型的車輛至少有三個基本數(shù)據(jù)：前部，后部和車身。

例如，梅賽德斯 - 奔馳C200：

這三個圖像代表三種類型的數(shù)據(jù)，并且這三種類型的數(shù)據(jù)在不同場景中的重要性完全不同。在項目的早期階段，讓我們假設(shè)我們需要識別模型。主要應(yīng)用場景是“停車識別”。前面的數(shù)據(jù)相對更重要，需要更多關(guān)注。為什么？我們可以想象，為了捕獲車牌號碼，停車場中的車輛識別攝像機通常將面向攝像機，并且從攝像機發(fā)送的數(shù)據(jù)將很少具有純側(cè)身數(shù)據(jù)或甚至后方數(shù)據(jù)。為了更快地將項目應(yīng)用于項目，可以臨時放下和優(yōu)化缺少其他類型的數(shù)據(jù)。

在數(shù)據(jù)準備過程中，爬蟲首先需要從Internet抓取數(shù)據(jù)，然后手動過濾并過濾到不可用的數(shù)據(jù)，并整合數(shù)據(jù)以執(zhí)行下一步。

　2.文檔準備

A）數(shù)據(jù)標簽文檔，包括我們項目中包含的時鐘模型數(shù)量，以及每個模型對應(yīng)的樣式。需要注意數(shù)據(jù)注釋的問題，是否有多輛車的圖片，圖片的角度需要丟棄等等。

B）產(chǎn)品文檔，包括一般文檔，如著陸場景描述，需求描述文檔等。以下是工業(yè)車輛識別需求分析的系統(tǒng)設(shè)計：

算法要求描述（類型，范圍，速度，準確性，穩(wěn)定性等）

攝像機設(shè)備硬件要求說明，環(huán)境描述，數(shù)據(jù)傳輸描述，攝像機配置說明

平臺編程（車輛識別系統(tǒng)平臺的前后設(shè)計）

數(shù)據(jù)關(guān)聯(lián)描述（車輛信息分析統(tǒng)計協(xié)會）

如果攝像機位于局域網(wǎng)并具有結(jié)構(gòu)控制功能（識別需要車輛黑名單）：

分發(fā)程序（考慮云到本地圖像功能）

按需編程（您可以從Internet查看本地攝像機）

　項目流程跟蹤

1.軟件和硬件：遵循常規(guī)硬件和軟件項目的開發(fā)

2.算法：車輛識別過程基本如下：

模型圖片上傳：通過相機/網(wǎng)絡(luò)上傳

圖像預(yù)處理：包含上面成像部分中的模糊圖像恢復(fù)過程（運動模糊具有快速算法去模糊：通過已知速度V，位移S確定圖像中任何點的值）

早期圖像分割（從背景圖像中識別目標圖像進行圖像識別，考慮邊緣檢測方法），圖像二值化（將圖像中像素的灰度值設(shè)置為0或255，使用輪廓跟蹤制作目標輪廓更突出）

圖像特征提取

功能比較

　項目測試

相機測試

相機和按需程序測試

按需程序（可以實時查看攝像機的程序）和平臺守護程序測試

算法和平臺后臺測試，備用接口測試

模型識別時間測試

模型識別準確率，召回率測試

服務(wù)器穩(wěn)定性測試

網(wǎng)絡(luò)帶寬限制測試

正向和反向測試

其他平臺和硬件產(chǎn)品的一般測試

項目驗收

根據(jù)工藝功能逐一檢查產(chǎn)品

　六、后記

今天，從產(chǎn)品實踐的角度來看，我已經(jīng)整理出了計算機視覺鏈，這可能不涉及算法知識。我想分享更多我的個人經(jīng)歷，并在產(chǎn)品上造成更多的沖突。

當(dāng)然，整個過程中有很多有趣的事情。您可以了解有關(guān)相關(guān)知識的更多信息，如果您有想法，可以與我溝通。

« Rushmail：美麗的電子郵件模板結(jié)合品牌標識，以提高電子郵件命中率 | 阿里巴巴20億股酒類電子商務(wù)1919年滴滴推出“短信報警”功能| A5 Entrepreneurship Morning News »