亚洲国产日韩成人A在线欧美_欧美一道本一区二区三区_一区二区高清国产在线视频_韩国无码免费不卡av二区_亚洲AⅤ熟女五十路中出_亚洲处破女_失禁潮痉挛潮喷AV在线无码_一夲道中文字幕av高清片

一、產(chǎn)品簡介

智能座艙實訓臺是一款融合了物聯(lián)網(wǎng)控制、車載網(wǎng)絡CAN總線、人工智能開發(fā)、開源應用開發(fā)、Qt應用軟件開發(fā)的實驗平臺，能夠滿足智能網(wǎng)聯(lián)專業(yè)智能座艙課程、物聯(lián)網(wǎng)控制與嵌入式操作系統(tǒng)課程、人工智能應用課程的實驗實訓的要求。
平臺包含中控計算平臺系統(tǒng)、車機及其顯示器、視覺傳感器、麥克風陣列、音響設備、座艙艙體（含座椅、雨刮、車窗、方向盤、剎車踏板、加速踏板）、超聲波雷達、毫米波雷達等硬件，結(jié)合中控軟件系統(tǒng)、車機軟件、座椅控制程序，實現(xiàn)手勢識別、人臉識別、語音交互、駕駛員疲勞駕駛檢測、座椅遠程調(diào)節(jié)、雨刮車窗控制、車載傳感器監(jiān)測、車機應用娛樂等功能。

二、產(chǎn)品組成

產(chǎn)品包括智能座艙實訓臺體和智能座椅艙體兩部分。
實訓臺體主要安裝了中控計算平臺、車機控制器、顯示器、視覺傳感器、麥克風陣列、揚聲器及音響、超聲波雷達及其四個探頭、毫米波雷達、激光雷達、以及網(wǎng)絡組建設施。布局如圖所示。
艙體，安裝了單臺主駕駛座椅、雨刮及電機、車窗及電機、方向盤、剎車踏板、加速踏板和座艙線控制器，通過座艙線控制器，接入到系統(tǒng)的CAN總線中，支持使用CAN分析工具測試艙體設備。

三、產(chǎn)品功能

1、座椅設施控制功能
可通過軟件控制座椅向前移動任意距離、向后移動任意距離、向上移動、向下移動、回歸零點；可以控制雨刮器擦拭擋風玻璃；控制車窗器驅(qū)動車窗升降。
2、人臉識別功能
軟件和視覺傳感器配合，能夠?qū)崿F(xiàn)人臉檢測、人臉錄入、人臉識別調(diào)節(jié)座椅。
3、手勢識別座艙控制功能
軟件支持手勢交互功能，通過人工智能算法，能夠識別手部的關鍵點信息；軟件支持不少于4種的手勢識別；并根據(jù)手勢識別的結(jié)果，控制車載氛圍燈開、關、調(diào)節(jié)座椅前移或后移。
4、語音識別座艙控制功能
軟件支持語音交互控制功能，開啟語音識別后，可識別到用戶的語音指令，根據(jù)用戶指令發(fā)送命令，控制座艙氛圍燈開關、座艙風扇開關、座椅移動方式。
5、駕駛員疲勞檢測功能
軟件支持駕駛員疲勞或注意力不集中的狀態(tài)檢測，采用pytorch框架，真實場景拍攝的駕駛員數(shù)據(jù)，支持正常駕駛、打呵欠、低頭、打電話至少四種不同狀態(tài)的檢測。當出現(xiàn)疲勞或不集中狀態(tài)時，軟件語音提醒駕駛員休息。
6、汽車周身環(huán)境感知功能
軟件可以探測并可視化超聲波四路探頭前方障礙物的距離；可以設置毫米波雷達參數(shù)，對前方障礙物信息進行篩選顯示；采用ROS操作系統(tǒng)，和可視化機器人系統(tǒng)開源工具RViz，可視化顯示激光雷達四周的動態(tài)信息。

四、軟件資源

1、座艙CAN控制軟件：采用嵌入式處理器和C語言開發(fā)，驅(qū)動PWM外設接口輸出脈沖調(diào)制信號驅(qū)動座椅的前后方向轉(zhuǎn)動電機、或上下方向轉(zhuǎn)動電機，并實時檢測限位變化，控制電機及時停止；驅(qū)動車窗總成電機正反轉(zhuǎn)，實現(xiàn)車窗上升或下降；驅(qū)動繼電器吸合或斷開控制雨刮器的的往復擺動；實時讀取方向盤、剎車踏板、加速踏板的模擬量傳感器信號，輸出方向盤轉(zhuǎn)角、踏板深度數(shù)據(jù)；控制器具有CAN總線接口，支持CAN總線通信協(xié)議，與其他CAN總線設備通信。
2、座椅上位機控制軟件：采用PyQt進行GUI上位機軟件開發(fā)，具備TCP/IP通信程序，可以通過網(wǎng)絡與座艙CAN控制器進行通信，基于CAN總線協(xié)議，向座艙CAN控制器發(fā)送命令，控制座椅、車窗、雨刮相應動作，實時讀取CAN控制器的數(shù)據(jù)幀，顯示方向盤、剎車踏板、加速踏板的變化數(shù)據(jù)。
3、服務器數(shù)據(jù)處理軟件：使用ROS框架作為MQTT客戶端節(jié)點和TCP Server節(jié)點相互通信的中間層。MQTT客戶端訂閱控制類主題消息（如控制座椅、控制車窗、控制雨刮），轉(zhuǎn)發(fā)給ROS層對應的訂閱話題，通過ROS消息隊列機制存儲和轉(zhuǎn)發(fā)。TCP Server節(jié)點的ROS層訂閱后經(jīng)格式轉(zhuǎn)換，解析處理，就可以通過TCP Server發(fā)送給硬件TCP客戶端進行座椅、車窗、雨刮等設備的控制。同理，TCP Server節(jié)點接收到硬件TCP客戶端CAN數(shù)據(jù)協(xié)議，經(jīng)過處理，再傳輸給MQTT節(jié)點，由MQTT節(jié)點發(fā)布。此時車機MQTT客戶端訂閱消息后就可以顯示座椅位置、方向盤狀態(tài)、踏板深度等座艙傳感器數(shù)據(jù)。
4、智能座艙人機交互應用軟件：基于中控系統(tǒng)安裝的Anaconda及虛擬環(huán)境、CUDA、CUDNN、PyCharm、PyQt等開發(fā)環(huán)境，開發(fā)了基于Mediapipe 的手勢識別、基于MTCNN的人臉檢測和Facnet的人臉識別，基于Keras和Tensorflow深度學習框架的司機疲勞檢測，基于第三方庫的語音識別控制座艙設施等一系列智能人機交互軟件。
5、智能座艙應用軟件：基于Openharmony4.0操作系統(tǒng)，采用DevEco Studio IDE和ArkTs語言進行應用軟件開發(fā)。軟件內(nèi)置MQTT應用協(xié)議，具有發(fā)布訂閱消息的機制，可以訂閱溫濕度、光線、空氣質(zhì)量等車載環(huán)境信息、座艙線控狀態(tài)（如方向盤轉(zhuǎn)向、剎車踏板深度、加速踏板深度；也可以發(fā)布命令，控制車載氛圍燈、車載風扇，控制座椅調(diào)節(jié)、車窗升降、雨刮啟停；內(nèi)嵌第三方語音識別庫，可以語音識別控制風扇、氛圍燈、車窗、雨刮；內(nèi)嵌視頻播放器功能軟件。

五、產(chǎn)品清單

六、課程實驗