速讀：JavaCV的攝像頭實(shí)戰(zhàn)之十二：性別檢測(cè)

來源：博客園


(相關(guān)資料圖)

歡迎訪問我的GitHub

這里分類和匯總了欣宸的全部原創(chuàng)(含配套源碼)：https://github.com/zq2599/blog_demos

本篇概覽

本文是《JavaCV的攝像頭實(shí)戰(zhàn)》系列的第十二篇，咱們來開發(fā)一個(gè)實(shí)用功能：識(shí)別性別并顯示在預(yù)覽頁面，如下圖：

今天的代碼，主要功能如下圖所示：

如果您看過《JavaCV的攝像頭實(shí)戰(zhàn)》系列的其他文章，就會(huì)發(fā)現(xiàn)上圖中只有藍(lán)色部分是新增內(nèi)容，其余的步驟都是固定套路，《JavaCV的攝像頭實(shí)戰(zhàn)》系列的每一個(gè)應(yīng)用玩的都是相同套路：別看步驟挺多，其實(shí)都是同一個(gè)流程

關(guān)于性別和年齡檢測(cè)使用卷積神經(jīng)網(wǎng)絡(luò)推理性別和年齡的更多技術(shù)細(xì)節(jié)，這里有更詳細(xì)的說明：https://talhassner.github.io/home/publication/2015_CVPR本篇會(huì)使用已訓(xùn)練好的Caffe 模型，訓(xùn)練該模型的數(shù)據(jù)來自Flickr相冊(cè)，通過從 iPhone5（或更高版本）智能手機(jī)設(shè)備自動(dòng)上傳組裝而成，并由其作者根據(jù)知識(shí)共享 (CC) 許可向公眾發(fā)布，共有26580張照片，涉及2284人，這些人的年齡一共被標(biāo)識(shí)成八組：（0-2、4-6、8-13、15-20、25-32、38-43、48-53、60 -)關(guān)于數(shù)據(jù)源的更多詳細(xì)，請(qǐng)參考：https://talhassner.github.io/home/projects/Adience/Adience-data.html論文地址：https://talhassner.github.io/home/projects/cnn_agegender/CVPR2015_CNN_AgeGenderEstimation.pdf源碼下載《JavaCV人臉識(shí)別三部曲》的完整源碼可在GitHub下載到，地址和鏈接信息如下表所示(https://github.com/zq2599/blog_demos)：
名稱鏈接備注
項(xiàng)目主頁https://github.com/zq2599/blog_demos該項(xiàng)目在GitHub上的主頁
git倉(cāng)庫地址(https)https://github.com/zq2599/blog_demos.git該項(xiàng)目源碼的倉(cāng)庫地址，https協(xié)議
git倉(cāng)庫地址(ssh)git@github.com:zq2599/blog_demos.git該項(xiàng)目源碼的倉(cāng)庫地址，ssh協(xié)議
這個(gè)git項(xiàng)目中有多個(gè)文件夾，本篇的源碼在javacv-tutorials文件夾下，如下圖紅框所示：javacv-tutorials里面有多個(gè)子工程，《JavaCV的攝像頭實(shí)戰(zhàn)》系列的代碼在simple-grab-push工程下：準(zhǔn)備：文件下載本次實(shí)戰(zhàn)需要三個(gè)文件：人臉檢測(cè)的模型文件：https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml性別識(shí)別的配置文件：https://raw.githubusercontent.com/GilLevi/AgeGenderDeepLearning/master/gender_net_definitions/deploy.prototxt性別識(shí)別的模型文件：https://raw.githubusercontent.com/GilLevi/AgeGenderDeepLearning/master/models/gender_net.caffemodel我已將上述文件打包上傳到CSDN，您也可以在CSDN下載（無需積分）：https://download.csdn.net/download/boling_cavalry/70730586準(zhǔn)備：代碼接口簡(jiǎn)介編碼前，先把涉及到的所有java文件說明一下：AbstractCameraApplication.java：主程序的抽象類，這里面定義了打開攝像頭、抓取每一幀、處理每一幀的基本框架，避免每個(gè)應(yīng)用都把這些事情重復(fù)做一遍PreviewCameraWithGenderAge.java：主程序，是AbstractCameraApplication的實(shí)現(xiàn)類，本次實(shí)戰(zhàn)的核心功能人臉檢測(cè)和性別檢測(cè)，都委托給它的成員變量detectService去完成DetectService.java：檢測(cè)服務(wù)的接口，里面定義了幾個(gè)重要的api，例如初始化、處理每一幀、釋放資源等GenderDetectService.java：是DetectService接口的實(shí)現(xiàn)類，本次實(shí)戰(zhàn)的核心功能都寫在這個(gè)類中介紹完畢，可以開始編碼了，先從最簡(jiǎn)單的主程序開始編碼：主程序《JavaCV的攝像頭實(shí)戰(zhàn)之一：基礎(chǔ)》創(chuàng)建的simple-grab-push工程中已經(jīng)準(zhǔn)備好了父類AbstractCameraApplication，所以本篇繼續(xù)使用該工程，創(chuàng)建子類實(shí)現(xiàn)那些抽象方法即可編碼前先回顧父類的基礎(chǔ)結(jié)構(gòu)，如下圖，粗體是父類定義的各個(gè)方法，紅色塊都是需要子類來實(shí)現(xiàn)抽象方法，所以接下來，咱們以本地窗口預(yù)覽為目標(biāo)實(shí)現(xiàn)這三個(gè)紅色方法即可：新建文件PreviewCameraWithGenderAge.java，這是AbstractCameraApplication的子類，其代碼很簡(jiǎn)單，接下來按上圖順序依次說明先定義CanvasFrame類型的成員變量previewCanvas，這是展示視頻幀的本地窗口：
protected CanvasFrame previewCanvas
把前面創(chuàng)建的DetectService作為成員變量，后面檢測(cè)的時(shí)候會(huì)用到：
/**     * 檢測(cè)工具接口     */    private DetectService detectService;
PreviewCameraWithGenderAge的構(gòu)造方法，接受DetectService的實(shí)例：
/**     * 不同的檢測(cè)工具，可以通過構(gòu)造方法傳入     * @param detectService     */    public PreviewCameraWithGenderAge(DetectService detectService) {        this.detectService = detectService;    }
然后是初始化操作，可見是previewCanvas的實(shí)例化和參數(shù)設(shè)置，還有檢測(cè)、識(shí)別的初始化操作：
@Override    protected void initOutput() throws Exception {        previewCanvas = new CanvasFrame("攝像頭預(yù)覽", CanvasFrame.getDefaultGamma() / grabber.getGamma());        previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);        previewCanvas.setAlwaysOnTop(true);        // 檢測(cè)服務(wù)的初始化操作        detectService.init();    }
接下來是output方法，定義了拿到每一幀視頻數(shù)據(jù)后做什么事情，這里調(diào)用了detectService.convert檢測(cè)人臉并識(shí)別性別，然后在本地窗口顯示：
@Override    protected void output(Frame frame) {        // 原始幀先交給檢測(cè)服務(wù)處理，這個(gè)處理包括物體檢測(cè)，再將檢測(cè)結(jié)果標(biāo)注在原始圖片上，        // 然后轉(zhuǎn)換為幀返回        Frame detectedFrame = detectService.convert(frame);        // 預(yù)覽窗口上顯示的幀是標(biāo)注了檢測(cè)結(jié)果的幀        previewCanvas.showImage(detectedFrame);    }
最后是處理視頻的循環(huán)結(jié)束后，程序退出前要做的事情，先關(guān)閉本地窗口，再釋放檢測(cè)服務(wù)的資源：
@Override    protected void releaseOutputResource() {        if (null!= previewCanvas) {            previewCanvas.dispose();        }        // 檢測(cè)工具也要釋放資源        detectService.releaseOutputResource();    }
由于檢測(cè)有些耗時(shí)，所以兩幀之間的間隔時(shí)間要低于普通預(yù)覽：
@Override    protected int getInterval() {        return super.getInterval()/8;    }
至此，功能已開發(fā)完成，再寫上main方法，代碼如下，請(qǐng)注意AgeDetectService構(gòu)造方法的三個(gè)入?yún)?，分別是前面下載的三個(gè)文件在本機(jī)的位置：
public static void main(String[] args) {        String base = "E:\\temp\\202112\\25\\opencv\\";          DetectService detectService = new GenderDetectService(                base + "haarcascade_frontalface_alt.xml",                base + "gender\\deploy.prototxt",                base + "gender\\gender_net.caffemodel");                        new PreviewCameraWithGenderAge(detectService).action(1000);    }
主程序已經(jīng)寫完，接下來是核心功能編碼：服務(wù)接口回顧本篇的核心功能是檢測(cè)性別，相關(guān)代碼被封裝在DetectService接口的實(shí)現(xiàn)類GenderDetectService中，這個(gè)DetectService接口是咱們的老朋友了，之前識(shí)別相關(guān)的實(shí)戰(zhàn)都有它的身影，再來回顧一下，如下，定義了初始化、處理原始幀、釋放資源等關(guān)鍵行為的接口：
package com.bolingcavalry.grabpush.extend;public interface DetectService {    /**     * 根據(jù)傳入的MAT構(gòu)造相同尺寸的MAT，存放灰度圖片用于以后的檢測(cè)     * @param src 原始圖片的MAT對(duì)象     * @return 相同尺寸的灰度圖片的MAT對(duì)象     */    static Mat buildGrayImage(Mat src) {        return new Mat(src.rows(), src.cols(), CV_8UC1);    }        /**     * 初始化操作，例如模型下載     * @throws Exception     */    void init() throws Exception;    /**     * 得到原始幀，做識(shí)別，添加框選     * @param frame     * @return     */    Frame convert(Frame frame);    /**     * 釋放資源     */    void releaseOutputResource();}
接下來，就是DetectService接口的實(shí)現(xiàn)類，也就是今天實(shí)戰(zhàn)的核心：GenderDetectService.java編碼：檢測(cè)服務(wù)實(shí)現(xiàn)今天的核心功能都集中在GenderDetectService.java中，直接貼出全部源碼吧，有幾處要注意的地方稍后會(huì)提到：
package com.bolingcavalry.grabpush.extend;import com.bolingcavalry.grabpush.Constants;import lombok.extern.slf4j.Slf4j;import org.bytedeco.javacpp.indexer.Indexer;import org.bytedeco.javacv.Frame;import org.bytedeco.javacv.OpenCVFrameConverter;import org.bytedeco.opencv.opencv_core.*;import org.bytedeco.opencv.opencv_dnn.Net;import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;import static org.bytedeco.opencv.global.opencv_core.NORM_MINMAX;import static org.bytedeco.opencv.global.opencv_core.normalize;import static org.bytedeco.opencv.global.opencv_dnn.blobFromImage;import static org.bytedeco.opencv.global.opencv_dnn.readNetFromCaffe;import static org.bytedeco.opencv.global.opencv_imgproc.*;/** * @author willzhao * @version 1.0 * @description 音頻相關(guān)的服務(wù) * @date 2021/12/3 8:09 */@Slf4jpublic class GenderDetectService implements DetectService {    /**     * 每一幀原始圖片的對(duì)象     */    private Mat grabbedImage = null;    /**     * 原始圖片對(duì)應(yīng)的灰度圖片對(duì)象     */    private Mat grayImage = null;    /**     * 分類器     */    private CascadeClassifier classifier;    /**     * 轉(zhuǎn)換器     */    private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();    /**     * 人臉檢測(cè)模型文件的下載地址     */    private String classifierModelFilePath;    /**     * 性別識(shí)別proto文件的下載地址     */    private String genderProtoFilePath;    /**     * 性別識(shí)別模型文件的下載地址     */    private String genderModelFilePath;    /**     * 推理性別的神經(jīng)網(wǎng)絡(luò)對(duì)象     */    private Net cnnNet;    /**     * 構(gòu)造方法，在此指定proto和模型文件的下載地址     * @param classifierModelFilePath     * @param cnnProtoFilePath     * @param cnnModelFilePath     */    public GenderDetectService(String classifierModelFilePath,                               String cnnProtoFilePath,                               String cnnModelFilePath) {        this.classifierModelFilePath = classifierModelFilePath;        this.genderProtoFilePath = cnnProtoFilePath;        this.genderModelFilePath = cnnModelFilePath;    }    /**     * 初始化操作，主要是創(chuàng)建推理用的神經(jīng)網(wǎng)絡(luò)     * @throws Exception     */    @Override    public void init() throws Exception {        // 根據(jù)模型文件實(shí)例化分類器        classifier = new CascadeClassifier(classifierModelFilePath);        // 實(shí)例化推理性別的神經(jīng)網(wǎng)絡(luò)        cnnNet = readNetFromCaffe(genderProtoFilePath, genderModelFilePath);    }    @Override    public Frame convert(Frame frame) {        // 由幀轉(zhuǎn)為Mat        grabbedImage = converter.convert(frame);        // 灰度Mat，用于檢測(cè)        if (null==grayImage) {            grayImage = DetectService.buildGrayImage(grabbedImage);        }        // 當(dāng)前圖片轉(zhuǎn)為灰度圖片        cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);        // 存放檢測(cè)結(jié)果的容器        RectVector objects = new RectVector();        // 開始檢測(cè)        classifier.detectMultiScale(grayImage, objects);        // 檢測(cè)結(jié)果總數(shù)        long total = objects.size();        // 如果沒有檢測(cè)到結(jié)果，就用原始幀返回        if (total<1) {            return frame;        }        int pos_x;        int pos_y;        Mat faceMat;        //推理時(shí)的入?yún)?       Mat inputBlob;        // 推理結(jié)果        Mat prob;        // 如果有檢測(cè)結(jié)果，就根據(jù)結(jié)果的數(shù)據(jù)構(gòu)造矩形框，畫在原圖上        for (long i = 0; i < total; i++) {            Rect r = objects.get(i);            // 人臉對(duì)應(yīng)的Mat實(shí)例（注意：要用彩圖，不能用灰度圖！?。。?           faceMat = new Mat(grabbedImage, r);            // 縮放到神經(jīng)網(wǎng)絡(luò)所需的尺寸            resize(faceMat, faceMat, new Size(Constants.CNN_PREIDICT_IMG_WIDTH, Constants.CNN_PREIDICT_IMG_HEIGHT));            // 歸一化            normalize(faceMat, faceMat, 0, Math.pow(2, frame.imageDepth), NORM_MINMAX, -1, null);            // 轉(zhuǎn)為推理時(shí)所需的的blob類型            inputBlob = blobFromImage(faceMat);            // 為神經(jīng)網(wǎng)絡(luò)設(shè)置入?yún)?           cnnNet.setInput(inputBlob, "data", 1.0, null);      //set the network input            // 推理            prob = cnnNet.forward("prob");            // 根據(jù)推理結(jié)果得到在人臉上標(biāo)注的內(nèi)容            String lable = getDescriptionFromPredictResult(prob);            // 人臉標(biāo)注的橫坐標(biāo)            pos_x = Math.max(r.tl().x()-10, 0);            // 人臉標(biāo)注的縱坐標(biāo)            pos_y = Math.max(r.tl().y()-10, 0);            // 給人臉做標(biāo)注，標(biāo)注性別            putText(grabbedImage, lable, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, new Scalar(0,255,0,2.0));            // 給人臉加邊框時(shí)的邊框位置            int x = r.x(), y = r.y(), w = r.width(), h = r.height();            // 給人臉加邊框            rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);        }        // 釋放檢測(cè)結(jié)果資源        objects.close();        // 將標(biāo)注過的圖片轉(zhuǎn)為幀，返回        return converter.convert(grabbedImage);    }    /**     * 程序結(jié)束前，釋放人臉識(shí)別的資源     */    @Override    public void releaseOutputResource() {        if (null!=grabbedImage) {            grabbedImage.release();        }        if (null!=grayImage) {            grayImage.release();        }        if (null!=classifier) {            classifier.close();        }        if (null!= cnnNet) {            cnnNet.close();        }    }    /**     * 根據(jù)推理結(jié)果得到在頭像上要標(biāo)注的內(nèi)容     * @param prob     * @return     */    protected String getDescriptionFromPredictResult(Mat prob) {        Indexer indexer = prob.createIndexer();        // 比較兩種性別的概率，概率大的作為當(dāng)前頭像的性別        return indexer.getDouble(0,0) > indexer.getDouble(0,1)               ? "male"               : "female";    }}
上述代碼，有以下幾處需要注意的：構(gòu)造方法的三個(gè)入?yún)ⅲ篶lassifierModelFilePath、cnnProtoFilePath、cnnModelFilePath分別是人臉檢測(cè)模型、性別檢測(cè)配置、性別檢測(cè)模型三個(gè)文件的本地存放地址檢測(cè)性別靠的是卷積神經(jīng)網(wǎng)絡(luò)的推理，初始化的時(shí)候通過readNetFromCaffe方法新建神經(jīng)網(wǎng)絡(luò)對(duì)象convert方法被調(diào)用時(shí)，會(huì)收到攝像頭捕捉的每一幀，在這里面先檢測(cè)出每個(gè)人臉，再拿每個(gè)人臉去神經(jīng)網(wǎng)絡(luò)進(jìn)行推理用神經(jīng)網(wǎng)絡(luò)的推理結(jié)果生成人臉的標(biāo)注內(nèi)容，這段邏輯被放入getDescriptionFromPredictResult，下一篇《年齡檢測(cè)》的實(shí)戰(zhàn)同樣是使用神經(jīng)網(wǎng)絡(luò)推理頭像的年齡，咱們只要寫一個(gè)GenderDetectService，并重寫getDescriptionFromPredictResult方法，里面的邏輯改成根據(jù)推理結(jié)果得到年齡，即可輕松完成任務(wù)，其他類都可以維持不變至此，編碼完成，接下來開始驗(yàn)證驗(yàn)證確保攝像頭工作正常，運(yùn)行PreviewCameraWithGenderAge類的main方法請(qǐng)群眾演員登場(chǎng)，讓他站在攝像頭前，如下圖，性別識(shí)別成功，且實(shí)時(shí)展示：至此，本地窗口預(yù)覽集成人臉檢測(cè)和性別檢測(cè)的功能就完成了，得益于JavaCV的強(qiáng)大，整個(gè)過程是如此的輕松愉快，接下來請(qǐng)繼續(xù)關(guān)注欣宸原創(chuàng)，《JavaCV的攝像頭實(shí)戰(zhàn)》系列還會(huì)呈現(xiàn)更多豐富的應(yīng)用；得益于本篇所做的擴(kuò)展準(zhǔn)備，下一篇《年齡檢測(cè)》會(huì)更加簡(jiǎn)單，一起來期待下一段輕松愉快的旅程吧；歡迎關(guān)注博客園：程序員欣宸

學(xué)習(xí)路上，你不孤單，欣宸原創(chuàng)一路相伴...

標(biāo)簽：

推薦

財(cái)富更多》

動(dòng)態(tài)更多》

熱點(diǎn)