Fraunhofer IOSB的高级乘员监控系统比以前最先进的系统更进一步，并在车辆内部使用光学传感器，因为它们在现代车辆中变得越来越普遍。高级乘员监控系统可平等地检测驾驶员和所有乘员。它识别所有人的 3D 身体姿势，分析他们的运动行为，并对检测到的每个人的活动进行分类。这不仅可以检测驾驶员入睡等危急情况，还可以区分不同的活动和相关的分心程度。这同样有利于汽车内部的安全系统和舒适功能。
高级乘员监控系统的基础是实时检测3D身体姿势。对于摄像头捕获的所有车辆乘员，使用机器学习技术将身体姿势识别为 3D 骨骼模型。被捕获的乘员的最终图像包括眼睛和头部、颈部、肩膀、肘部、手腕、躯干、骨盆以及上腿和小腿的位置——只要它们在相机图像中可见。录音不需要生物识别数据，因此特别保护隐私。
该系统可以使用单个 3D 相机或多个 2D 相机，从其角度重建 3D 连接点。如果相应人员的视野足够，摄像机可以安装在任何位置。
眼睛、肘部和手腕的位置也从确定的身体姿势骨架中浮现出来。这使得可以将前臂的方向和眼手伸展的指向方向解释为指向手势。 在更自动驾驶的情况下，驾驶员可以自由地进行次要活动。部分自动驾驶车辆在处理将驾驶责任交还给驾驶员的情况时必须考虑到这一事实。驾驶员可能会分心、睡着，甚至有医疗紧急情况。
Fraunhofer IOSB的高级乘员监控系统可检测车内所有乘员的活动。它能够区分多达 35 种活动，包括饮水、吃饭、睡觉、阅读、打电话等。因此，高级乘员监控系统可提供有关驾驶员分心状态的重要信息。此外，该系统还提供有关车内普遍情况和人员行为背景的重要信息。
活动识别是预测驾驶员或车辆乘员意图的基础。由于驾驶员的活动识别会告诉我们驾驶员在做什么或与谁在一起，因此可以预测或缩小驾驶员的下一步行动范围。
