baby sword‘s blog baby sword‘s blog
首页
  • java基础
  • java进阶
大数据
  • mysql

    • mysql索引
    • mysql日志
  • redis

    • 单机下的redis
    • 集群下的redis
  • Spring
  • springboot
  • RPC
  • netty
  • mybatis
  • maven
  • 消息队列
  • kafka
  • zookeeper
  • rocketmq
  • 七大设计原则
  • 创建型模式
  • 结构型模式
  • 行为型模式
  • SpringCloud

    • eureka
  • SpringCloud Alibaba

    • nacos
  • 计算机网络
  • 操作系统
  • 算法
  • 个人项目
  • 个人面试面经
  • 八股记忆
  • 工作积累
  • 逻辑题
  • 面试

    • 百度后端实习二面
GitHub (opens new window)

zhengjian

不敢承担失去的风险,是不可能抓住梦想的
首页
  • java基础
  • java进阶
大数据
  • mysql

    • mysql索引
    • mysql日志
  • redis

    • 单机下的redis
    • 集群下的redis
  • Spring
  • springboot
  • RPC
  • netty
  • mybatis
  • maven
  • 消息队列
  • kafka
  • zookeeper
  • rocketmq
  • 七大设计原则
  • 创建型模式
  • 结构型模式
  • 行为型模式
  • SpringCloud

    • eureka
  • SpringCloud Alibaba

    • nacos
  • 计算机网络
  • 操作系统
  • 算法
  • 个人项目
  • 个人面试面经
  • 八股记忆
  • 工作积累
  • 逻辑题
  • 面试

    • 百度后端实习二面
GitHub (opens new window)
  • 个人项目

  • 个人面试面经

  • 八股记忆

  • 工作积累

    • 小红书

    • 七牛云

      • 数字人
        • 七牛云相关公开网站
        • QVM介绍
        • linux相关
        • 日记

      • 美团

    • 工作
    • 工作积累
    • 七牛云
    xugaoyi
    2023-08-08
    目录

    数字人

    # 一.数字人的背景(数字人是怎么出现的)

    ​ 洛天依的出现和爆火,让很多人看到了虚拟偶像的广阔市场。不仅如此,虚拟主播、虚拟员工等数字人不断涌现,在代替人类从事某些行业的同时也引发了一些争议。与元宇宙相关的数字人热度。

    # 二.数字人三方面的特征(怎么样的数字人才是合格的数字人)

    ​ 虚拟数字人是指具有数字化外形的虚拟人物。与具备实体的机器人不同,虚拟数字人依赖显示设备存在,我们所知的很多虚拟人都要通过手机、电脑或者智慧大屏等设备才能显示。

    • 一是拥有人的外观,具有特定的相貌、性别和性格等人物特征;
    • 二是拥有人的行为,具有用语言、面部表情和肢体动作表达的能力;
    • 三是拥有人的思想,具有识别外界环境、并能与人交流互动的能力。

    综合来看,就是具备四方面的能力,即形象能力、感知能力、表达能力和娱乐互动能力。

    从上面的几个特征就可以综合判断一个产品数字人是否满足上面的这三个特征:

    如果我们下次再看到有公司推出数字人,就可以结合这些特征和能力来判断这个数字人的可信度,避免被借势营销的企业钻了空子。

    # 三.数字人的运行原理

    ​ 数字人的诞生发展和AI人工智能可以说是密不可分,想了解数字人的运作原理,首先要知道数字人的通用系统框架。

    ​ 虚拟数字人系统一般情况下由人物形象、语音生成、动画生成、音视频合成显示、交互等5个模块构成。(资料参考:2020年虚拟数字人发展白皮书)

    image-20230808204447707

    交互模块为扩展项,根据其有无,可将数字人分为交互型数字人和非交互型数字人。

    # 非交互类虚拟数字人系统运作流程

    image-20230808205215627

    # 交互型虚拟数字人

    • 智能驱动型

    image-20230808205252742

    通过智能系统自动读取并解析识别外界输入信息,根据解析结果决策数字人后续的输出文本,驱动人物模型生成相应的语音与动作来使数字人跟用户互动。

    这种人物模型是预先通过AI技术训练得到,可通过文本驱动生成语音和对应动画,业内将此模型称为TTSA(Text To Speech & Animation)人物模型。

    • 真人驱动型数字人

    image-20230808205319925

    真人根据视频监控系统传来的用户视频,与用户实时语音,同时通过动作捕捉采集系统将真人的表情、动作呈现在虚拟数字人形象上,从而与用户进行交互。

    # 四.常见的数字人

    调研分析当前市场上的数字人,根据人物图形维度,分为2D和3D两大类,从外形上可分为卡通、写实等风格,综合来看可分为二次元、3D卡通、3D高写实、真人形象四种类型。

    image-20230808205747683

    # 五.数字人的应用场景

    目前国内市场上已经出现了非常多的虚拟数字人,在各行各业中有着广泛的应用。

    虚拟数字人技术结合实际应用场景领域,切入各类,形成行业应用解决方案,赋能影视、传媒、游戏、金融、文旅等领域,根据需求为用户提供定制化服务。

    image-20230808205832376

    按照应用场景或行业的不同,已经出现了娱乐型数字人,如虚拟偶像、歌手、网红、虚拟代言人等;

    image-20230808205919712

    助手型数字人,如虚拟客服、虚拟导游、智能助手。

    image-20230808205929566

    主播型数字人,如虚拟主播、虚拟支持人等。

    image-20230808205936677

    # 五.代表性的研发平台

    国内有很多互联网平台在研发虚拟数字人,我也从中收获了大量的信息和资料,这次把这些平台分享给大家:

    • 搜狗AI开放平台

    • 网易伏羲、网易易现

    • 百度AI开放平台

    • 腾讯云、腾讯NEXTStudios

    • 讯飞开放平台

    • 腾讯智影 (opens new window)

    • 华为云ai数字人 (opens new window)

    • 七牛云虚拟数字人 (opens new window)

    参考:用一篇文章,帮你了解什么是虚拟数字人? (opens new window)

    编辑 (opens new window)
    上次更新: 2024/02/22, 14:03:19
    小红书实习
    七牛云相关公开网站

    ← 小红书实习 七牛云相关公开网站→

    最近更新
    01
    spark基础
    02-22
    02
    mysql读写分离和分库分表
    02-22
    03
    数据库迁移
    02-22
    更多文章>
    Theme by Vdoing | Copyright © 2019-2024 Evan Xu | MIT License
    • 跟随系统
    • 浅色模式
    • 深色模式
    • 阅读模式