| 项目类型 |
项目简介 |
项目数量 |
涉及专业与产业方向 |
2023年5月批次 |
| 创新创业联合基金 |
人口老龄化，已成为14亿人口大国的一个新挑战，先进的人工智能能够承担辅助陪伴并照顾作用，人形机器人Pepper能够照顾老年人的起居以及救治。面相于此群体，Pepper机器人的各个功能可以完成此任务，并需要解决实际的老人群体所需要的帮助，给出合理和高效的解决方案。拟设定1个项目。项目具体内容包括：a) 为了判断老年人是否摔倒或者有危险的姿势，通过Pepper的视觉功能提供识别一套人体骨骼识别算法，此算法需要运行于本地服务器，并保证同时并发量在1000数量级。b) 算法要求：已关节点的变化作为行为特征，能够准确地识别走路，跑步，伸手挥手等等较为简单行为动作。在没有人为参与的情况下，通过视觉中的图像处理技术，基于卷积神经网络深度学习的人体检测算法，输出18个人体骨骼的关键点，并对视频中的人体行为，动作，进行检测定位于跟中识别，在此基础上对视频中的异常行为进行标注。c) 最少拥有10万数据进行训练，人体骨骼识别算法的准确率要达到98%。d) 通过Pepper的基础移动功能，能够主动实时巡视老年的现状，当检测到异常行为，调用Pepper的语音功能，能够主动联系远程的服务系统（网络电话）。e) 数据收集及整理相关老年人的健康康复知识库，纯文本方式输出，数据数量级能达到5G以上。f) 提供解决方案的设计理念，以及实现方式，并提供代码和相对应的文档。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
人们对创建更灵活和可重新配置的自动化系统产生了广泛的兴趣。这包括对人机协作 (HRC) 解决方案的研究兴趣，其中半或全自动过程可以与人类的灵巧性和灵活性相结合，而不会产生复杂性和不灵活性。增强现实 (AR)、虚拟现实 (VR) 和混合现实 (XR) 等新兴技术被视为在设计、调试和运营阶段增加人与机器之间通信的良好解决方案候选者。 Pepper 机器人具有20个自由度，可以在大部分场景中与人类进行协同操作，VR/AR在人机协作中已经有相应的案列，通过Pepper机器人提供的视觉，肢体，语音等技术接口实现人机协同。拟设定2个项目。项目1：植入VR技术使得用户透过Pepper的3D双眼实时回放场景，场景必须是3D数据，并可以远程传输。项目具体内容包括：a) 以Pepper机器人为主题，获取3D的双眼数据，以原始基础数据为标准。b) 对3D数据进行算法压缩，适用于所选型的VR设备为基准，进行数据的私有加密。c) 实现在局域网内可以通过一定带宽，进行数据的传递，其平均延迟不能大于1秒。d) 在VR设备中进行展示，保持其3D效果的与原始数据的一致性。项目2：Pepper机器人的AR技术结合，通过Pepper的3D摄像头的数据进行虚拟场景搭建。项目具体内容包括：a) 通过Pepper的3D实际场景数据进行虚拟物体的嵌入研究，可以应用于导航。b) 通过计算真实3D场景数据，结合Pepper的内部导航参数，来判断接下来的方向，并通过嵌入坐标进行显示。c)给出的方案是实际场景中的导航预测解决方案，并明确和指导Pepper进行导向。 |
2 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 实践条件和实践基地建设 |
软银机器人提供软硬件设备与平台，支持高校建设机器人实验室、实践基地、实践教学资源、机器人比赛培训等，接收学生实习实训，提高实践教学质量。主要围绕“机器人工程技术创新中心”、“智能制造技术创新中心”、“人工智能”项目，与全日制高等院校建设联合实验室，并提供配套实验室技术平台的实验手册及实验案例，推动产学结合，同时实验室又可作为教学内容和课程体系改革项目、师资培训项目的技术平台依托，开展相关课程研讨和技术培训。 实践基地使用软银机器人指定产品及数量作为实践平台，每年开设针对至少40名学生的实践项目。 |
5 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
基于Pepper机器人，搭建机器人CMS平台，实现低代码人工智能，使普通用户可以自行设计、编辑机器人商业化解决方案，推动机器人在艺术、商业、文化和教育等领域的商业化落地与发展。拟设定1个项目。 项目具体内容包括：a) CMS系统平台的搭建，主要分为两个部分，后端可视化方式支持Pepper功能模块，包括语音，视觉，导航，文字，视频等。前端可以同步客户设计方案，并能够在Pepper机器人上展现。b) 后端可视化的要求是以拖拽模块方式实现 Pepper的现有功能，并支持客户按照自己的逻辑完成相应的解决方案。c) 默认对各个行业有一套完整的Pepper应用的解决方案，包括在艺术、商业、文化和教育等领域。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
使用传感器、人工智能和物联网使用Pepper构建智能数据分析解决方案。拟设定1个项目。项目具体内容包括：a) 自行选择带有API接口的通用智能穿戴设备，具备数据搜集和处理功能，可以监测到用户的生理参数、运动数据等。b) 通过物联网将搜集到的数据传递给Pepper，数据传递过程中考虑数据安全性和隐私保护措施；传递的数据100%完整、无遗漏c) 对搜集到的数据进行评估和预测，使Pepper机器人可以根据健康、运动状况等评估后的相关信息，为用户提供健康情况播报，合理化健康提醒和建议。要求播报准确无遗漏，播报过程可打断并按需求跳到下一内容或重复或返回上一内容。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
随着机器人运动建模和类人型机器人的自由度增加，实现虚拟平台的建模仿真是在线操作的关键。针对Pepper本身自由度的将来的扩展，实现场景和肢体运动数据的建模和仿真化的平台已是关键的项目，便于在无真机的环境下，能够让开发者在比赛和虚拟场景中进行测试与开发。拟设定1个项目。项目具体内容包括：a) 根据开放接口，来实现Pepper的形态创建，并在三维空间中定义方向校对，此平台可以是自研和公共平台b) 运动数据的模型构建，包括各个自由度的区间范围，以及在空中的方向定位。c) 创建虚拟展示平台，渲染Pepper在实际平台的数据建模，并可以进行及时调整。d) 绑定驱动的数据与实际Pepper的数据优化，虚拟的建模和真实Pepper的数据吻合。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
Pepper以开放平台为标准，开发者及科研人人员可以在此平台进行实现自定的功能。本身Pepper提供了丰富的导航API，从建图，激光导航到视觉导航都有相应的算法的支撑，此课题需要提出可优化的算法或者解决方案，创建可以在实际场景中运行的导航方案。集中以室内导航为标准，利用激光与视觉方案进行开发。拟设定1个项目。项目具体内容包括：a) 研究并分析现有Pepper的导航和建图的算法，从激光导航到视觉导航两个方向。b) 建图的数据格式导出，并可以根据私有协议来对图进行修改和调整，以便增加图边缘的准确性。c) 根据现有算法给出可以用的解决方案，以图的优化及导航的准确性为标准。d) 以优化的解决方案，实现整套的在Pepper上建图和导航的应用解决方案。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
通过算法或者其他解决方案提供Pepper在 ASR技术的识别速度以及准确性，特别在嘈杂环境中，可以对不同的分贝数据阈值进行自动调节和分析。拟设定1个项目。项目具体内容包括：a) 设计并实现在Pepper机器人的ASR识别算法，包括识别速度（VAD的开始与结束的阈值可以调节）识别准确度（普通话的识别准确率能达到97%以上）。b) 实现对应的算法来提高在噪杂（85分贝的噪音环境下，机器人的语音识别准确度能达到94%）环境的识别准确度。c)算法可以根据周围环境的噪音大小来调节分贝的阈值。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
给定一张图片OCR、一段视频、一段语音ASR即可生成对应的文本。融合图像、语音、文本、视频等多模态的信息进行学习，输出更接近人类认知方式的结果。基于以下场景中的一张图片OCR、一段视频、一段语音ASR，融合图像、语音、文本、视频等多模态的信息进行学习，输出指定的结果。拟设定2个项目。项目1：通过人工智能技术将数字化信息转换成可处理的数据，形成可分析的大数据，构建智能批改和评价系统，通过分析推理来确定学习者的个性化需求，及时进行响应和反馈。智能批阅作业及试卷（包括填空、简答及作文等题型）需满足机评和人评一致性 |
2 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
2022年5月批次 |
| 创新创业联合基金 |
基于Pepper机器人，搭建机器人CMS平台，使普通用户可以自行设计、编辑机器人商业化解决方案，推动机器人在艺术、商业、文化和教育等领域的商业化落地与发展。拟设定1个项目。项目具体内容包括：a) CMS系统平台的搭建，主要分为两个部分，后端可视化方式支持Pepper功能模块，包括语音，视觉，导航，文字，视频等。前端可以同步客户设计方案，并能够在Pepper机器人上展现。b) 后端可视化的要求是以拖拽模块方式实现 Pepper的现有功能，并支持客户按照自己的逻辑完成相应的解决方案。c) 默认对各个行业有一套完整的Pepper应用的解决方案，包括在艺术、商业、文化和教育等领域。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 师资培训 |
计划举办1期师资培训班，围绕机器人学、人工智能、控制系统、神经网络、深度学习、机电一体化、软件开发等领域开展。将邀请参与师资培训的老师参与RoboCup机器人世界杯中国赛，并提供赛事培训指导。参与培训的教师要掌握智能机器人的相关核心技术，并将相关技术运用在实际科研与教学项目中。 |
2 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
Pepper 机器人具有20个自由度，可以在大部分场景中与人类进行协同操作，VR/AR在人机协作中已经有相应的案列，通过Pepper机器人提供的视觉，肢体，语音等技术接口实现人机协同。拟设定2个项目。项目1：植入VR技术使得用户透过Pepper的3D双眼实时回放场景，场景必须是3D数据，并可以远程传输。项目具体内容包括：a) 以Pepper机器人为主题，获取3D的双眼数据，以原始基础数据为标准。b) 对3D数据进行算法压缩，适用于所选型的VR设备为基准，进行数据的私有加密。c) 实现在局域网内可以通过一定带宽，进行数据的传递，其平均延迟不能大于1秒。d) 在VR设备中进行展示，保持其3D效果的与原始数据的一致性。项目2：Pepper机器人的AR技术结合，通过Pepper的3D摄像头的数据进行虚拟场景搭建。项目具体内容包括：a) 通过Pepper的3D实际场景数据进行虚拟物体的嵌入研究，可以应用于导航。b) 通过计算真实3D场景数据，结合Pepper的内部导航参数，来判断接下来的方向，并通过嵌入坐标进行显示。c) 给出的方案是实际场景中的导航预测解决方案，并明确和指导Pepper进行导向。 |
2 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
Pepper提供了丰富的导航API，从建图，激光导航到视觉导航都有相应的算法的支撑，此课题需要提出可优化的算法活着解决方案，创建可以在实际场景中运行的导航方案。集中以室内导航为标准，利用激光与视觉方案进行开发。项目具体内容包括：a) 研究并分析现有Pepper的导航和建图的算法，从激光导航到视觉导航两个方向。b) 建图的数据格式导出，并可以根据私有协议来对图进行修改和调整，以便增加图边缘的准确性。c) 根据现有算法给出可以用的解决方案，以图的优化及导航的准确性为标准。d) 以优化的解决方案，实现整套的在Pepper上建图和导航的应用解决方案。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 实践条件和实践基地建设 |
拟设立5个项目。软银机器人提供软硬件设备与平台，支持高校建设机器人实验室、实践基地、实践教学资源、机器人比赛培训等，接收学生实习实训，提高实践教学质量。主要围绕“机器人工程技术创新中心”、“智能制造技术创新中心”、“人工智能”项目，与全日制高等院校建设联合实验室，并提供配套实验室技术平台的实验手册及实验案例，推动产学结合，同时实验室又可作为教学内容和课程体系改革项目、师资培训项目的技术平台依托，开展相关课程研讨和技术培训。 实践基地使用软银机器人指定产品及数量作为实践平台，每年开设针对至少40名学生的实践项目。 |
5 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
使用传感器、人工智能和物联网来使用Pepper变身智能健身教练。拟设定1个项目。项目具体内容包括：a) 通过传感器搜集健身人员的运动数据和体能数据b) 通过物联网将收集到的数据传递给Pepper，进行数据评估和预测c) 搜集大量优秀健身教练的沟通方式d) 使Pepper可以成为健身教练，帮助改善健身人员的表现 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
基于Pepper机器人在教育行业中的重要作用，Scratch方式的教学模式广泛应用于初小阶段，针对Pepper 机器人独有的 RoboBlocks 平台进行多人工智能方向的赋予以AI 功能扩展开发方向，尤其从语音识别，人脸识别，物体识别及自定义舞蹈动作编辑的研究与实现。拟设定1个项目。项目具体内容包括：a) 要选择合适的第三发支持平台，给出相应的理由及相关价格指导。 b) 面向于用户的体感，设计出合理 RoboBlocks 的积木块的结构及使用方式。c) 面向于第三方开放的 API，用代码方式实现对接需求，满足积木块的逻辑。 d) 能够形成代码块，快速的集成和整合到 RoboBlocks 的代码中，并能够快速发布。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
基于以下场景中的一张图片OCR、一段视频、一段语音ASR，融合图像、语音、文本、视频等多模态的信息进行学习，输出指定的结果。拟设定2个项目。项目1：通过人工智能技术将数字化信息转换成可处理的数据，形成可分析的大数据，构建智能批改和评价系统，通过分析推理来确定学习者的个性化需求，及时进行响应和反馈。智能批阅作业及试卷（包括填空、简答及作文等题型）需满足机评和人评一致性 |
2 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
人口老龄化，已成为14亿人口大国的一个新挑战，先进的人工智能能够承担辅助陪伴并照顾作用，人形机器人Pepper能够照顾老年人的起居以及救治。面相于此群体，Pepper机器人的各个功能可以完成此任务，并需要解决实际的老人群体所需要的帮助，给出合理和高效的解决方案。拟设定1个项目。项目具体内容包括：a) 通过Pepper的视觉功能来判断老年人是否遇到了困境，比如摔倒，遇到困难，并进行对外求救。b) 通过Pepper的语音功能，能够提请老年人的日程准则，比如提醒按点吃药，疑难解答，康复训练等。c) 通过Pepper的导航功能，能够主动巡视老年的现状，并同时通过某种方式通知之亲属等。d) 提供解决方案的设计理念，以及实现方式，并提供代码和相对应的文档。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
针对Pepper本身自由度的将来的扩展，实现场景和肢体运动数据的建模和仿真化的平台已是关键的项目，便于在无真机的环境下，能够让开发者在比赛和虚拟场景中进行测试与开发。项目具体内容包括：a) 根据开放接口，来实现Pepper的形态创建，并在三维空间中定义方向校对，此平台可以是自研和公共平台。b) 运动数据的模型构建，包括各个自由度的区间范围，以及在空中的方向定位。c) 创建虚拟展示平台，渲染Pepper在实际平台的数据建模，并可以进行及时调整。d) 绑定驱动的数据与实际Pepper的数据优化，虚拟的建模和真实Pepper的数据吻合。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
在Pepper机器辅助教学场景下，实现人工智能与XR扩展现实技术、互联网技术、云计算和触觉反馈技术融合，在线上和线下教学模式的教育场景中应用，完成现实Pepper辅助教学课堂与虚拟场景中的智能化交互。拟设定1个项目。项目具体内容包括：a) 搭建智能虚拟课堂平台，通过云平台创建点对点的操作实验平台，学生与虚拟完全一对一模式。b) 在虚拟场景中，可以解决人工智能技术，包括语音对话，视觉识别及运动表现数据的模拟。c) 实现Pepper在辅助教学中真实触觉反馈与虚拟场景保持一致。d) 构建线上和线下教学模式的教育场景的解决方案，并导入到虚拟场景中 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
基于Pepper机器人，通过完善自然语音处理技术，使Pepper机器人可以进行情绪识别、情绪判断，并结合判断、结果与用户画像给出对应策。拟设定1个项目。项目具体内容包括：a) 语音数据处理算法，基于原始的音频文件进行分析和预测。b) 算法能够训练大量数据集，来标志用户的情绪并进行分类，标记数据的准确界线不能低于95%。c) 对情绪的结果进行数据分析，以用户的性别，年龄等因素来定义用户画像。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
通过算法或者其他解决方案提供Pepper在 ASR技术的识别速度以及准确性，特别在嘈杂环境中，可以对不同的分贝数据阈值进行自动调节和分析。拟设定1个项目。项目具体内容包括：a) 设计并实现在Pepper机器人的ASR识别效率，包括识别速度和识别准确度。b) 实现对应的算法来提高在噪杂（一定分贝）环境的识别准确度。c) 算法可以根据周围环境的噪音大小来调节分贝的阈值。 |
1 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
| 创新创业联合基金 |
在Pepper机器辅助教学场景下，学校需拟定搭建的基础学科名称，对该项基础学科的知识和经验的抽象及逻辑进行梳理，结合Pepper机器人的性能，搭建机器人助教服务的基础学科知识体系，完成机器人代替教师进行基础知识的教学和答疑工作。拟设定4门基础学科，共4个项目。每个项目的具体内容包括：a) 选择在教学中的一门基础学科（任意选择）b) 针对学科的内容进行基础知识的抽取，以文本，音频，视频等形式进行整理。c) 针对学科的内容要进行分类，包括选择，提问，游戏互动等。d) 对学科内容的选择，抽取，分类，必须形成相对应的文件，课程的总量不小于 32 课时。e) 完成的课程的内容，必须要在真实Pepper上展现，通过真实在课堂辅助老师讲课的解决方案。 |
4 |
机器人工程、自动化、人工智能、智能科学与技术、电子科学与技术、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术 |
2021年6月批次 |
| 实践条件和实践基地建设 |
拟设立5个项目。软银机器人提供软硬件设备与平台，支持高校建设机器人实验室、实践基地、实践教学资源、机器人比赛培训等，接收学生实习实训，提高实践教学质量。主要围绕“机器人工程技术创新中心”、“智能制造技术创新中心”项目，与全日制高等院校建设联合实验室，并提供配套实验室技术平台的实验手册及实验案例，推动产学结合，同时实验室又可作为教学内容和课程体系改革项目、师资培训项目的技术平台依托，开展相关课程研讨和技术培训。 |
5 |
不限 |
| 新工科、新医科、新农科、新文科建设 |
拟设立1个项目。面向开设基于人工智能与机器人的跨学科相关专业高校。协助高校科研人员与教员推动机器人在艺术，商业，文化等跨学科领域的研究与教学。助力文科与艺术类院校开展融合AI与机器人科技的教学探索，培育创新型人才。 |
1 |
不限 |
| 创新创业联合基金 |
请参见项目指南 |
10 |
不限 |
| 教学内容和课程体系改革 |
拟设立2个项目。教学内容和课程体系改革项目将围绕机器人工程、自动化、人工智能、电子信息科学与技术、计算机、机械工程及自动化、机械设计制造及其自动化、应用电子技术、机电技术等相关专业，支持高校在这些领域的课程建设和教学改革工作，建成一批高质量、可共享的课程资源和教学改革方案。 |
2 |
不限 |
| 师资培训 |
拟设立5个项目。围绕当前的产业技术热点，协助提升一线教学教师的技术和课程建设水平。计划举办1期师资培训班，围绕机器人学、人工智能、控制系统、神经网络、深度学习、机电一体化、软件开发等领域开展。将邀请参与师资培训的老师参与RoboCup机器人世界杯中国赛，并提供赛事培训指导。 |
5 |
不限 |