人脸疲劳检测应用-门徒娱乐基于RK3576核心板/开发板
2024-12-18
1595
来源：门徒娱乐电子
本篇源自：优秀创作者 lulugl
本文将介绍基于门徒娱乐电子MYD-LR3576开发板（门徒娱乐基于瑞芯微 RK3576开发板）的人脸疲劳检测方案测试。
门徒娱乐基于RK3576核心板/开发板
【前言】
人脸疲劳检测：一种通过分析人脸特征来判断一个人是否处于疲劳状态的技术。其原理主要基于计算机视觉和机器学习方法。当人疲劳时，面部会出现一些特征变化，如眼睛闭合程度增加、眨眼频率变慢、打哈欠、头部姿态改变等。
例如，通过检测眼睛的状态来判断疲劳程度是一个关键部分。正常情况下，人的眨眼频率相对稳定，而当疲劳时，眨眼频率会降低，并且每次眨眼时眼睛闭合的时间可能会延长。同时，头部可能会不自觉地下垂或者摇晃，这些特征都可以作为疲劳检测的依据。门徒娱乐MYC-LR3576采用8核CPU+搭载6 TOPS的NPU加速器，3D GPU，能够非常轻松的实现这个功能，下面就如何实现这一功能分享如下：
【硬件】
1、门徒娱乐MYC-LR3576开发板
2、USB摄像头
【软件】
1、v4l2
2、openCV
3、dlib库：dlib 是一个现代化的 C++ 工具包，它包含了许多用于机器学习、图像处理、数值计算等多种任务的算法和工具。它的设计目标是提供高性能、易于使用的库，并且在开源社区中被广泛应用。
【实现步骤】
1、安装python-opencv
2、安装dlib库
3、安装v4l2库
【代码实现】
1、引入cv2、dlib以及线程等：
import cv2 import dlib import numpy as np import time from concurrent.futures import ThreadPoolExecutor import threading
2、初始化dlib的面部检测器和特征点预测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')3、定义计算眼睛纵横比的函数
def eye_aspect_ratio(eye): A = np.linalg.norm(np.array(eye[1]) - np.array(eye[5])) B = np.linalg.norm(np.array(eye[2]) - np.array(eye[4])) C = np.linalg.norm(np.array(eye[0]) - np.array(eye[3])) ear = (A + B) / (2.0 * C) return ear
4、定义计算头部姿势的函数
def get_head_pose(shape): # 定义面部特征点的三维坐标 object_points = np.array([ (0.0, 0.0, 0.0), # 鼻尖 (0.0, -330.0, -65.0), # 下巴 (-225.0, 170.0, -135.0), # 左眼左眼角 (225.0, 170.0, -135.0), # 右眼右眼角 (-150.0, -150.0, -125.0), # 左嘴角 (150.0, -150.0, -125.0) # 右嘴角 ], dtype=np.float32) image_pts = np.float32([shape[i] for i in [30, 8, 36, 45, 48, 54]]) size = frame.shape focal_length = size[1] center = (size[1] // 2, size[0] // 2) camera_matrix = np.array( [[focal_length, 0, center[0]], [0, focal_length, center[1]], [0, 0, 1]], dtype="double" ) dist_coeffs = np.zeros((4, 1)) (success, rotation_vector, translation_vector) = cv2.solvePnP( object_points, image_pts, camera_matrix, dist_coeffs, flags=cv2.SOLVEPNP_ITERATIVE ) rmat, _ = cv2.Rodrigues(rotation_vector) angles, _, _, _, _, _ = cv2.RQDecomp3x3(rmat) return angles
5、定义眼睛纵横比阈值和连续帧数阈值
EYE_AR_THRESH = 0.3 EYE_AR_CONSEC_FRAMES = 48
6、打开摄像头
我们先使用v4l2-ctl --list-devices来例出接在开发板上的列表信息：
USB Camera: USB Camera (usb-xhci-hcd.0.auto-1.2): /dev/video60 /dev/video61 /dev/media7
在代码中填入60为摄像头的编号：
cap = cv2.VideoCapture(60) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 480) # 降低分辨率 cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 320)
7、创建多线程处理函数，实现采集与分析分离：
# 多线程处理函数
def process_frame(frame):
global COUNTER, TOTAL
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
faces = detector(gray, 0) # 第二个参数为0，表示不使用upsampling
for face in faces:
landmarks = predictor(gray, face)
shape = [(landmarks.part(i).x, landmarks.part(i).y) for i in range(68)]
left_eye = shape[36:42]
right_eye = shape[42:48]
left_ear = eye_aspect_ratio(left_eye)
right_ear = eye_aspect_ratio(right_eye)
ear = (left_ear + right_ear) / 2.0
if ear < EYE_AR_THRESH:
with lock:
COUNTER += 1
else:
with lock:
if COUNTER >= EYE_AR_CONSEC_FRAMES:
TOTAL += 1
COUNTER = 0
# 绘制68个特征点
for n in range(0, 68):
x, y = shape[n]
cv2.circle(frame, (x, y), 2, (0, 255, 0), -1)
cv2.putText(frame, f"Eye AR: {ear:.2f}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Blink Count: {TOTAL}", (10, 60), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
# 计算头部姿势
angles = get_head_pose(shape)
pitch, yaw, roll = angles
cv2.putText(frame, f"Pitch: {pitch:.2f}", (10, 120), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Yaw: {yaw:.2f}", (10, 150), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Roll: {roll:.2f}", (10, 180), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
# 判断疲劳状态
if COUNTER >= EYE_AR_CONSEC_FRAMES or abs(pitch) > 30 or abs(yaw) > 30 or abs(roll) > 30:
cv2.putText(frame, "Fatigue Detected!", (10, 210), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
return frame8、创建图像显示线程：
with ThreadPoolExecutor(max_workers=2) as executor:
future_to_frame = {}
while True:
ret, frame = cap.read()
if not ret:
break
# 提交当前帧到线程池
future = executor.submit(process_frame, frame.copy())
future_to_frame[future] = frame
# 获取已完成的任务结果
for future in list(future_to_frame.keys()):
if future.done():
processed_frame = future.result()
cv2.imshow("Frame", processed_frame)
del future_to_frame[future]
break
# 计算帧数
fps_counter += 1
elapsed_time = time.time() - start_time
if elapsed_time > 1.0:
fps = fps_counter / elapsed_time
fps_counter = 0
start_time = time.time()
cv2.putText(processed_frame, f"FPS: {fps:.2f}", (10, 90), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
if cv2.waitKey(1) & 0xFF == ord('q'):
整体代码如下：
import cv2
import dlib
import numpy as np
import time
from concurrent.futures import ThreadPoolExecutor
import threading
# 初始化dlib的面部检测器和特征点预测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
# 修改字体大小
font_scale = 0.5 # 原来的字体大小是0.7，现在改为0.5
# 定义计算眼睛纵横比的函数
def eye_aspect_ratio(eye):
A = np.linalg.norm(np.array(eye[1]) - np.array(eye[5]))
B = np.linalg.norm(np.array(eye[2]) - np.array(eye[4]))
C = np.linalg.norm(np.array(eye[0]) - np.array(eye[3]))
ear = (A + B) / (2.0 * C)
return ear
# 定义计算头部姿势的函数
def get_head_pose(shape):
# 定义面部特征点的三维坐标
object_points = np.array([
(0.0, 0.0, 0.0), # 鼻尖
(0.0, -330.0, -65.0), # 下巴
(-225.0, 170.0, -135.0), # 左眼左眼角
(225.0, 170.0, -135.0), # 右眼右眼角
(-150.0, -150.0, -125.0), # 左嘴角
(150.0, -150.0, -125.0) # 右嘴角
], dtype=np.float32)
image_pts = np.float32([shape[i] for i in [30, 8, 36, 45, 48, 54]])
size = frame.shape
focal_length = size[1]
center = (size[1] // 2, size[0] // 2)
camera_matrix = np.array(
[[focal_length, 0, center[0]],
[0, focal_length, center[1]],
[0, 0, 1]], dtype="double"
)
dist_coeffs = np.zeros((4, 1))
(success, rotation_vector, translation_vector) = cv2.solvePnP(
object_points, image_pts, camera_matrix, dist_coeffs, flags=cv2.SOLVEPNP_ITERATIVE
)
rmat, _ = cv2.Rodrigues(rotation_vector)
angles, _, _, _, _, _ = cv2.RQDecomp3x3(rmat)
return angles
# 定义眼睛纵横比阈值和连续帧数阈值
EYE_AR_THRESH = 0.3
EYE_AR_CONSEC_FRAMES = 48
# 初始化计数器
COUNTER = 0
TOTAL = 0
# 创建锁对象
lock = threading.Lock()
# 打开摄像头
cap = cv2.VideoCapture(60)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 480) # 降低分辨率
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 320)
# 初始化帧计数器和时间戳
fps_counter = 0
start_time = time.time()
# 多线程处理函数
def process_frame(frame):
global COUNTER, TOTAL
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
faces = detector(gray, 0) # 第二个参数为0，表示不使用upsampling
for face in faces:
landmarks = predictor(gray, face)
shape = [(landmarks.part(i).x, landmarks.part(i).y) for i in range(68)]
left_eye = shape[36:42]
right_eye = shape[42:48]
left_ear = eye_aspect_ratio(left_eye)
right_ear = eye_aspect_ratio(right_eye)
ear = (left_ear + right_ear) / 2.0
if ear < EYE_AR_THRESH:
with lock:
COUNTER += 1
else:
with lock:
if COUNTER >= EYE_AR_CONSEC_FRAMES:
TOTAL += 1
COUNTER = 0
# 绘制68个特征点
for n in range(0, 68):
x, y = shape[n]
cv2.circle(frame, (x, y), 2, (0, 255, 0), -1)
cv2.putText(frame, f"Eye AR: {ear:.2f}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Blink Count: {TOTAL}", (10, 60), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
# 计算头部姿势
angles = get_head_pose(shape)
pitch, yaw, roll = angles
cv2.putText(frame, f"Pitch: {pitch:.2f}", (10, 120), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Yaw: {yaw:.2f}", (10, 150), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Roll: {roll:.2f}", (10, 180), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
# 判断疲劳状态
if COUNTER >= EYE_AR_CONSEC_FRAMES or abs(pitch) > 30 or abs(yaw) > 30 or abs(roll) > 30:
cv2.putText(frame, "Fatigue Detected!", (10, 210), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
return frame
with ThreadPoolExecutor(max_workers=2) as executor:
future_to_frame = {}
while True:
ret, frame = cap.read()
if not ret:
break
# 提交当前帧到线程池
future = executor.submit(process_frame, frame.copy())
future_to_frame[future] = frame
# 获取已完成的任务结果
for future in list(future_to_frame.keys()):
if future.done():
processed_frame = future.result()
cv2.imshow("Frame", processed_frame)
del future_to_frame[future]
break
# 计算帧数
fps_counter += 1
elapsed_time = time.time() - start_time
if elapsed_time > 1.0:
fps = fps_counter / elapsed_time
fps_counter = 0
start_time = time.time()
cv2.putText(processed_frame, f"FPS: {fps:.2f}", (10, 90), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
# 释放摄像头并关闭所有窗口
cap.release()
cv2.destroyAllWindows()【总结】
【门徒娱乐MYC-LR3576核心板及开发板】
这块开发板性能强大，能轻松实现对人脸的疲劳检测，通过计算结果后进入非常多的工业、人工智能等等的实用功能。
门徒娱乐RK3576开发板折扣活动火热进行中，购买链接：
2025-11-06
门徒娱乐SECC方案助力国标充电桩出海
随着全球能源结构向清洁化、智能化加速转型，电动汽车与电网的深度融合已成为关键一环。车辆到电网技术不仅让电动汽车成为移动的储能单元，更赋予了它们参与电网调峰、消纳可再生能源的使命。在这一颠覆性变革中，充电桩与车辆之间的“智慧大脑”—SECC（Supply Equipment Communication Controller，供电设备通信控制器），扮演着至关重要的角色。一、SECC：智能充电的“协议转
2025-11-06
MYD-LD25X Cortex-M33实时核开发实战解析
在嵌入式系统设计中，如何平衡高性能计算与实时控制一直是工程师面临的挑战。STM32MP257的异构架构为这一难题提供了优雅的解决方案，而其中的Cortex-M33实时核更是实现硬实时性能的关键所在。一、异构架构：分工明确，效能卓越STM32MP257采用创新的双核子系统设计：Cortex-A35应用核（双核1.5GHz）：运行Linux系统，负责复杂UI、网络通信、文件管理等非实时任务。Corte
2025-10-30
门徒娱乐RK3576边缘计算盒精准驱动菜品识别模型性能强悍
?在人工智能与边缘计算深度融合的今天，将AI模型高效部署于终端设备已成为产业智能化的关键。本文将分享基于门徒娱乐MYD-LR3576边缘计算盒子部署菜品识别安卓Demo的实战经验。该设备凭借其内置的强劲瑞芯微RK3576芯片，为视觉识别模型提供了充沛的本地AI算力，成功将“智慧识菜”的能力浓缩于方寸之间，充分证明了其作为边缘AI应用坚实载体的卓越性能与可靠性。?本文以门徒娱乐电子的MYD-LR3576边缘
2025-10-30
门徒娱乐与安路联合亮相VisionChina 2025，共推FPGA视觉方案
2025年10月28日，由机器视觉产业联盟主办的“2025深圳机器视觉展暨机器视觉技术及工业应用研讨会（Vision China）”在深圳国际会展中心（宝安）9号馆隆重启幕。展会以“VISION+AI赋能电子制造升级”为主题，聚焦人工智能与机器视觉技术在电子制造全产业链中的融合与创新，集中展示AI技术在提升视觉系统能力、突破行业应用瓶颈方面的前沿成果与解决方案。门徒娱乐电子应安路科技的邀请出席此次盛会
2025-10-23
经典再进化：门徒娱乐ZYNQ 7010/7020全面适配2024.2工具链
在工业物联网、机器视觉和智能网关等严苛领域，门徒娱乐电子的MYC-C7Z010/20-V2与MYC-Y7Z010/20-V2核心板及开发平台，凭借其硬核特性，已成为众多企业信赖的首选方案。我们深知，卓越的硬件平台需要匹配敏捷、高效且安全的软件工具链。为应对开发者对先进工具与日俱增的需求，并前瞻性地响应全球日益严格的网络安全法规，我们对经典的ZYNQ 7010/7020产品进行一次里程碑式的软件生态升级
2025-10-16
从微秒级响应到确定性延迟：深入解析门徒娱乐全志T536核心板的实时性技术突破
各位工程师同仁，今天咱们聊点硬核的——实时性。这不是那种"差不多就行"的性能指标，在工业控制、机器人运动、电力保护这些领域，实时性就是生命线。想象一下：工业机器人抓取精密元件时，哪怕几毫秒的延迟都可能导致良品率暴跌；电力系统故障检测，响应慢了几个毫秒可能就是一场灾难。为什么通用Linux在实时场景中"力不从心"？标准Linux内核设计初衷是"公平调
2025-10-16
门徒娱乐电子获全志科技生态认证，共推工业智能化升级
在近日举办的2025中国国际工业博览会上，门徒娱乐电子被全志科技正式授予“生态认证合作伙伴”证书，标志着双方在嵌入式处理器模组领域的合作迈入新阶段。此次认证基于门徒娱乐电子在T536、T527、T113等全志工业级核心板及开发板被市场的高度认可，门徒娱乐电子的全志系列产品已广泛应用于工业自动化、机器人及边缘计算场景。门徒娱乐代表领取“生态认证合作伙伴”证书（右三）生态共建：全产业链协同创新全志科技通过“芯片+
2025-10-16
名单揭晓，追加30套开发板！门徒娱乐-安路飞龙派「硬核创造力」第二季
经过门徒娱乐电子和安路科技的严格筛选，30位「硬核玩家」从千帆竞逐中脱颖而出，正式成为门徒娱乐-安路飞龙派第二季创意秀的玩家。开发者们将以MYD-YM90X开发板为起点，开启一场FPGA的盛宴，在安路飞龙派的赛道上探索无限可能！现将入选的30位开发者/团队名单公布如下（排名不分先后）：
2025-09-26
颂歌迎国庆丨门徒娱乐电子国庆节及中秋放假通知及温馨提示
金风送爽，秋桂飘香，阖家欢聚，共庆国昌。我们即将迎来中秋佳节及祖国76周年华诞。在这美好的金秋时节，在这家国同庆之际，门徒娱乐全体员工衷心感谢您长期以来的信任和支持，预祝您节日快乐！·国庆放假时间·一二三四五六日29初八30初九1国庆2十一3十二4十三5十四6中秋7十六8十七9十八10十九11二十12廿一10月1日 至 10月8日，共放假8天根据《国务院办公厅关于2025年部分节假日安排的通知》相关内
2025-09-26
如何移植EtherCAT Igh--基于门徒娱乐RK3576开发板
本文将介绍基于门徒娱乐电子MYD-LR3576开发板（门徒娱乐基于瑞芯微 RK3576开发板）的板端移植EtherCAT Igh方案的开发测试。摘自优秀创作者-EPTmachine门徒娱乐基于瑞芯微RK3576开发板EtherCAT IgH需要保证高实时性，Preempt-RT是一种针对实时性能进行了优化的Linux内核。与普通的Linux内核相比，Preempt-RT具有以下优势：实时性能： Preempt