1、项目后台开发工作,包括手势数据响应(数字人切换、旋转、选择等操作)、数字人驱动等,以及针对不同交付项目定制化开发;
2、核心算法调研、优化:融合MetrAbs人体关键点检测和MediaPipe手部关键点检测结果得到人体52关节点位置数据,并设计实现遮挡检测模块以运动预测方法恢复遮挡关节点的运动数据,缓解丢点问题;
3、设计 ik 解算算法,通过身体关节点的位置数据和旋转数据(求解量)之间的计算关系,经过LBFGS优化器迭代得到能自然驱动数字人的6自由度姿态数据,有效缓解滑步问题和抖动问题;
4、SDK开发,使用C++的libtch库重构 ik 算法迭代过程,加速计算减小运动延迟;
5、设计手势识别模块,通过手部关节点运动数据识别用户手