相關證件: 
會員類型:
會員年限:8年
發布時間: 2023/4/15 14:21:47 | 100 次閱讀
廠家直銷MOS管;華冠、洪利發授權yi級代理;原裝IC元器件優勢現貨,一家專注12年的電子元器件配套供應商。
在野外,能夠根據外形來辨別鳥的種類已經算得上十分厲害,如果僅憑聲音就能識別,則更勝一籌了。除非您是一位閱歷豐富的資深鳥類愛好者,否則只通過聲音來辨別鳥類的難度還是非常大的。
??
??來自德國馬爾堡大學的一群數學、計算機科學和生物學研究人員,設計了一種快速辨別鳥的種類和監測當地生物多樣性的方法。他們使用了配備 NVIDIA Jetson Nano 開發者套件的便攜式設備捕捉的音頻。
??
??據研究人員介紹,Bird@Edge 項目是一個邊緣 AI 系統,基于在分布式系統中運行的嵌入式邊緣設備,對在森林中記錄的音景實現高效、持續評估。
??
??關于 Bird@Edge 項目
??
??研究人員使用多個基于 ESP32 的麥克風(Bird@Edge麥克風),將鳥聲傳輸至當地的 Bird@Edge 站點進行物種識別。使用的每個麥克風的 Wi-Fi 傳輸范圍半徑為 50 米。
??
??這個裝置被部署在當地的森林里,研究人員仔細考慮了音頻流的 Wi-Fi 傳輸范圍以及 GPU 的性能,并確保每個站點可以連接多達 10 個麥克風。站點獲得的音頻結果被傳輸至后臺云端,供團隊中的生物多樣性研究人員進行進一步分析。
??
??研究人員 Jonas H?chst 表示:“在運行著模型的 Jetson Nano GPU 上,仍有一些額外的處理能力。我們還能使用 Jetson Nano 的一個自定義低功耗配置文件,這表明 GPU 本身尚存處理能力。”
??
??Bird@Edge 項目只需要通過聲音就可以快速辨別鳥的種類。研究人員表示:“從麥克風記錄下鳥鳴聲,到將鳥鳴聲可視化只需要幾秒鐘,而使用以前的方法需要幾天時間。”
??
??圖1. Bird@Edge 系統捕捉森林中的鳥聲,并將信息傳輸到一個邊緣服務器進行分析。
??
??Bird@Edge 系統軟件和 AI
??
??為了根據錄音識別和辨別鳥的種類,該團隊開發了一個基于 EfficientNet-B3 架構的深度神經網絡(DNN),并使用 TensorFlow 進行訓練,然后分別使用 NVIDIA TensorRT 和 NVIDIA DeepStream SDK 優化和部署該模型。
??
??這個辦法使團隊能夠支持在 Jetson Nano GPU 上構建多個實時串流的 AI 應用。該算法經過訓練后能夠識別馬爾堡大學森林中發現的 82 種鳥類中的任何一種,而且還可以根據需要擴展到更多物種。
??
??Jetson Nano 運行的 Bird@Edge 虛擬光驅程序,用于負責監測麥克風并實例化和運行 AI 處理流程。監測結果通過蜂窩網絡傳輸到 Bird@Edge 服務器,并存儲在 InfluxDB 數據庫中。由于和 Grafana 相連,研究人員可以在網頁上將數據可視化。
??
??團隊證明了他們的 DNN “在幾個數據集上的表現優于zui先進的 BirdNET 神經網絡,并實現了高達 95.2% 的聲景記錄平均識別精度。”
??
??該系統還可以辨別不太常見的鳥類。H?chst 表示:“我們目前正在與一位鳥類學家志愿者合作。他正在收集因為不常見而探測發現率較低的鳥類的叫聲,這將進一步改進我們的工作。”
??
??Bird@Edge 系統硬件
??
??Bird@Edge 工具基于在分布式系統中運行的嵌入式邊緣設備,包括:
??
??Bird@Edge 麥克風:兼容 ESP32 SOC 的 Knowles 麥克風,可通過藍牙或 Wi-Fi 進行通信,以及一個便宜的蓄電池。
??Bird@Edge 站點:從傳入的數據流中捕捉錄音,并對所部署的每個麥克風執行推理。該站點是一個小型便攜機箱,包含 Jetson Nano、Wi-Fi、調制解調器、電壓轉換器和一個小型太陽能充電器。
??Bird@Edge 服務器:錄音通過 Grafana 傳輸,然后以可視化的方式動態呈現生成的洞察。
??鑒于 Bird@Edge 站點設置在森林中,團隊需要確保每個站點都能夠高效率地運行,且無需經常給電池充電,并通過協調麥克風和邊緣站點的硬件來提高能效。
??
??團隊為站點創建了一個功率只有 3.16 瓦、可持續運行近兩周而無需給電池充電的高效率能源配置文件。站點依靠所連接的太陽能電池板可以連續運行。研究小組發現,即使連接的麥克風數量增加,站點的耗電量也不會有太大變化。
??
??視頻1. 研究人員討論 Bird@Edge 項目
??
??追蹤區域生物多樣性
??
??研究團隊認為,這個項目是一種能夠更加輕松追蹤區域生物多樣性的好方法。之前,如果研究人員想要掌握一個棲息地的健康狀況,完成手工錄音轉錄這項繁瑣的工作就要花費幾個月時間,同時還需要額外幾個月時間來收集、分析和展示他們的結果。
??
??借助 H?chst 及其團隊的工作成果,全世界的環境科學家如今可以在幾秒鐘內看到當地有哪些鳥類,并實時獲得有關生態系統狀態的洞察。
??
??研究人員表示:“鳥類對許多生態系統都很重要,它們可以將棲息地、資源和生物流程相互聯系起來,因此是顯示生態系統健康狀況的重要早期預警生物指標。”
??
??總結
??
??Bird@Edge 能被用于更廣泛的用途嗎?H?chst 表示,團隊正在考慮如何將他們的系統商業化:“我們所面臨的挑戰是要將一個在可控環境中表現良好的手工組裝an例,轉換成可以大量使用而且無需定期維護的產品。”
??
??“我們已經在設計和制作自動檢測 VHF 遙測信號的硬件方面積累了經驗,并且正在開發便于建造、穩定可靠的硬件設計,為即將進行的大規模研究做準備。”
??
??另外,自從首次發布他們的論文以來,團隊一直在開發一種方便廣大用戶使用錄音系統的網絡服務。
??
??H?chst 解釋道:“一方面,這使用戶能夠使用他們手頭上的音頻錄制設備,并將文件上傳到我們位于云端的網絡服務。同時,用戶可以收到直接反饋并查看所上傳的文件的譜圖、手動驗證結果或者bao告分類錯誤等,進而改進底層的機器學習模型。”
??
??*Bird@Edge 項目中使用的所有軟件和硬件組件均已開源,可在 BirdEdge on GitHub(github.com/umr-ds/BirdEdge)獲取。
本文資訊來源互聯網,版權歸原作者所有