科普篇 | 什么是视频数据标注？视频数据标注有哪些意义？

视频数据标注是用机器自动生成自然语言文字来描述视频内容的过程。它在视觉和文字之间起到非常重要的桥接作用。视频数据标注目的是对场景中活动目标进行位置、形状、动作、色彩等有关特征进行标注；提供大量数据供跟踪算法使用，从而实现对场景中活动目标进行检测、跟踪、识别，以及进一步的行为分析及事件检测。视频数据标注有哪些意义？（1）视频数据标注是实现视频搜索功能的必然要求。互联网中的视频数据正以惊人的速度在增长，必须有新的检索方式来满足用户对视频的检索需求。而视频数据标注通过语义、内容等方式标注，则有利于视频数据搜索、管理和收藏。（2）视频数据标注要求是视频数据自身特征决定的。丰富的视频数据包含的海量信息，其内容更加丰富、直观和生动。这是其他媒体类型所无法比拟的。因此，视频数据的自身优势，决定了视频数据标注的发展前景更广阔。（3）视频数据标注是视频数据应用场景日益增加的需求。与图像技术一样，视频数据也可以应用于互联网娱乐、智能家居、智能医疗、新零售、安防、自动驾驶等领域。而且，相较于图像数据而言，图像数据是在一个时间点上的数据，而视频数据是在一段时间上连续的一系列图像数据的集合，表达的信息更加丰富，因此具有更广的应用场景。视频数据标注任务介绍视频数据标注任务包含视频标签的时间位置、空间位置和标签信息标注等内容。标注文件的输出格式推荐使用易解析、易存储的数据格式，包括JSON、XML等。标注文件应该包含详细的标签信息。每个独立的标签应包含以下的信息：（1）标签编码：每个标签的独立编号；（2）文件路标：待标注视频文件名称或路径；（3）置信度：为标签的置信度；（4）每个标签中可能包含多个对象，对于每个对象需包含：      ①对象类型：例如 scene_classification；      ②对象详情：具体描述对象的时间、空间信息和内容信息，或与其他 object的关系信息。对于视频中起始和结束帧的位置描述也应该放到对象详情中，比如：Object frame_index start 以及Object_frame_index_end。本文主要介绍了视频数据标注及其意义和视频数据标注任务的介绍，视频数据标注区别于图像数据标注主要是有时间轴，且视频数据标注能预测人们行为和物体运动轨迹，将会在更多场景取得更加智能化的应用。希望这篇文章对正在从事数据标注工作有所帮助！

小当老师 2022-12-05 09:41:31

科普篇 | 3D点云数据标注工具的功能及使用方法

3D点云标注是指利用激光雷达采集的数据进行框选标注，供计算机视觉与无人驾驶等人工智能模型训练使用。下面我们来了解以下3D点云数据标注工具的功能及使用方法。01//3D点云标注工具的主要功能3D点云标注能够实现3D单帧标注、2D-3D单帧映射、3D追踪标注等功能：（1）3D单帧标注：可以提供点云或者点云与时间对齐的图片，但只标注点云。（2）2D-3D单帧映射：2D和3D同一物体ID相同。（3）3D追踪标注：追踪同一物体ID一致。注：2D-3D映射需要提供校准信息，每个摄像头均要提供（摄像头的内参和到激光雷达坐标映射的外参）。02//3D点云工具的使用方法3D点云标注工具界面由工具栏、主视图、三视图、帧控制区域、状态栏、属性区、对象列表区等七部分构成，工具界面如下图所示。下面进行具体介绍。（1）工具栏工具栏用于整体任务或者显示的控制。主要包括如下内容：①获取任务：获取一条数据用于标注；②保存：用于手工将标注数据临时保存在磁盘上，防止丢失；③提交：用于标注等工作完成后提交结果；④撤销：撤销上一个标注操作，最多可以10步。⑤恢复：恢复上一个撤销的操作。⑥删除图形：删除选中的对象。⑦隐藏标签：不显示所有对象的标签。⑧隐藏图形：主视图和街景中不显示所有对象。⑨合并ID：用于找回对象，把两个不同的ID合并为一个，复制之前的属性。其他功能包括工作量统计、类别统计、计时和到期时间等。（2）主视图有两种模式，3D模式和俯视模式。主视图是3D点云的主要操作区域，可以查看、选中、新建、删除、修改对象。标注对象和街景中的选中对象是联动标注的。①3D模式下的操作：包括拖动整个3D空间、旋转视角、选中和删除功能；②俯视模式下的操作：拖动俯视视角3D空间、旋转、选中、新建对象、移动对象和删除。（3）三视图用俯视图、正视图和侧视图去观察选中的对象。在三视图中可以移动和调整标注框，以便更加贴合。（4）属性区域用于修改选中对象的属性。数据标注时需要选择属性的类别，如车辆类型，不同的类别可能拥有不同的属性，如车辆颜色、种类，以及人的着装等。（5）对象列表区用来显示本条数据中已经标注的对象，前面是对象ID，后面是对象类别，这个同时也作为标签显示在主视图中。（6）帧控制区域该区域可以把整条数据置为无效，或者把当前帧设置为无效：可以手动输入帧序号进行跳转，或者下一帧、上一帧、下十帧、上十帧、第一帧和最后一帧的跳转，也可以点击下方帧号进行跳转。（7）状态栏状态栏对操作成功与否进行提示（8）快捷键3D点云标注工具已定义快捷键，如下图所示。其中，1键代表3D视图，2键代表俯视图，3键和4键不调整目标框的位置，只选择新的朝向。W、S、A、D、R、F键分别代表微调所选择的目标对象框的前后左右上下4个面，向扩大的方向调整，每次调整4厘米。Q和E代表微调所选择框的旋转角度，每次调整2度。以上就是关于3D点云数据标注的工具及使用，你学会了吗？

小当老师 2022-09-16 13:50:13

科普篇 | 3D点云数据标注简介及应用

点云，即“点”构成的“云”。一般来自激光雷达，也可以来自毫米波雷达，是利用激光雷达和雷达传感器生成的三维点的集合，可分为黑白和彩色两大类，如下图所示。点云数据（point cloud data）一般由激光雷达等3D扫描设备获取空间若干点的信息，一般包括XYZ位置信息、RGB颜色信息和强度信息等，是一种多维度的复杂数据集合。01//3D点云的获取方法(1)    双目视觉传感器：类似人的双眼，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，下图为双目视觉传感器实物图。上图中，左右两侧的摄像头共同构成了双目视觉传感器。（2）激光雷达：激光雷达（Light Detection And Ranging，LIDAR），是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数。激光雷达实物图如下图所示。（3）深度体感设备Kinect：深度体感设备Kinect是一款类似三维摄像机仪器，具有实时动作追踪、图像识别、声音录入及辨别等功能。左右两边镜头分别是红外线发射器和CMOS红外线摄影机，识别的是一个深度场。其中每个像素颜色深浅表示该点距离摄像头的远近，距离摄像头较近的颜色较亮和深，距离摄像头较远的颜色较暗。Kinect实物图如下图所示。02//3D点云应用（1）多视图三维重建：多视图重建是利用多张一个场景的不同视角图像来恢复出场景三维模型的方法，自然场景的多视图三维重建一直是计算机视觉领域的基本问题，有着广泛的应用。下图为多视图三维重建示意图。（2）三维同步定位与地图构建（Simultaneous Localization And Mapping，SLAM）：主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题，三维同步定位与地图构建示意图如下图所示。（3）三维目标检测：与二维图像相比，3D点云数据的优势在于能够很好地表征物体的表面信息和一些深度信息。另外，由于3D点云数据的获取来源较多，因此对3D点云数据的研究得以迅速增长，进一步促进了使用深度学习实现3D点云目标检测，下图为三维目标检测示意图。（4）三维语义分割：三维（3D）语义分割在医学、自动驾驶、机器人和增强现实（AR）等许多领域的广泛应用，下图为三维语义分割示意图。03//3D点云数据集（1）悉尼城市目标数据集：这个数据集包含用Velodyne HDL-64E LIDAR扫描的各种常见城市道路对象，收集于澳大利亚悉尼的中央商务区（CBD）。含有631个单独的扫描物体，包括车辆、行人、广告标志和树木等，下图为数据集样例。（2）大规模点云分类基准数据集：该数据集提供了一个大的自然场景标记的3D点云数据集，总计超过40亿点。涵盖了各种各样的城市场景：教堂、街道、铁路轨道、广场、村庄、足球场、城堡等等。下图为数据集样例。（3）RGB-D对象数据集：该数据集是300个常见的家庭对象的大数据集。该数据集是使用Kinect风格的3D相机记录的，该相机以30Hz记录同步和对齐的640x480RGB和深度图像。下图为数据集样例。（4）纽约大学深度数据集：该数据集包括NYU-Depth V1数据集和NYU-Depth V2数据集，数据由来自各种室内场景的视频序列组成，这些视频序列由来自微软 Kinect的RGB和深度摄像机。下图为数据集样例。（5）KITTI标准数据集：该数据集利用KIT的无人车平台采集的大量城市环境的点云数据集（KITTI），这个数据集不仅有雷达、图像、GPS、INS的数据，而且有经过人工标记的分割跟踪结果，可以用来客观的评价大范围三维建模和精细分类的效果和性能，下图为数据集样例。以上就是关于3D点云数据标注的简介及应用，你学会了吗？

小当老师 2022-09-08 13:51:24

科普篇 | 详解图像数据标注工具及使用方法

人类在学习某项新技能时需要一些学习资料，而标注后的图像数据相当于为计算机提供了学习资料，从而使得计算机能够学习到这些图像的特征信息，最终使得计算机具备处理图像数据的能力，图像数据标注为计算机视觉的研究提供了丰富的带有标签的图像数据，确保算法模型可以被有效训练。常见的图像数据标注类型包括关键点标注、矩形框标注、图像分割、3D框标注、属性标注等，根据项目所需分别对数据集进行不同的标注方式，不同标注类型所利用的标注工具和难度也有所区别。我们以数据堂的关键点标注工具为样例进行介绍。点标注模板最大的应用即是对人脸的点标注。通过不同方位的点标注，可以判断图片上的人物的功能。常用的点标注包括人脸106关键点标注、手势21等关键点标注等，具体内容如下：①标注图片类型：常见人体脸部、五官、部位，动物头像；②关键点数量：常见18点、22点、64点、106点、128点；③点属性：可见点/不可见点，预估点；④图片属性：背景、角度、动作名称、性别等。今天我们来讲一下常见的数据图像标注工具。01//关键点标注工具简介（1）标注工具说明布局。标注页面分为三大区域，即画选区、工具区、标签区：①画选区：该区域用来显示图片和具体的打标签；②工具区：显示所有在标注过程中放大缩小需要用到工具；③标签区（区分图层）：通过区分图层，显示标注的内容。（2）标注方式。①标注点：用鼠标点击鼻子，眼睛等部位进行标注，按顺序点击各个部位； ②编辑点：点击标签列表区的器官对应编辑按钮，即可对标注过的点进行编辑；③删除点：点击标签列表区的器官对应的删除按钮，即可对标注过的点进行删除。关键点标注界面如图所示。（3）关键点标注工具简介。标注工具的界面如图所示，界面上包含了一些按钮，通过点击这些按钮可以对标注图像进行必要操作。标注工具具体功能如表所示。02//矩形框标注工具简介本部分以数据堂的框标注工具为样例进行介绍。1）页面及布局：标注页面分为四大区域：画选区、工具区、标签区、统计区，具体的标注页面如图所示。（2）矩形标注工具栏：工具栏功能列表如下表所示。03//图像区域标注工具简介本部分以数据堂的区域标注工具为样例进行讲解。图像区域标注工具包括常规的多边形标注工具和交互式智能图像分割工具两种。（1）多边形标注工具简介：多边形标注工具页面分为四大区域：画选区、工具区、标签区、统计区，其中，画选区用来显示图片和具体的打标签；工具区用于显示所有在标注过程中放大缩小需要用到工具；标签区（区分图层），通过区分图层，显示标注的内容；统计区指以列表形式统计标注的图形。标注界面如图所示：多边形标注工具简介：工具栏功能如下表所示。（2）交互式智能图像分割工具：界面布局包括主视图、工具栏、标签栏三部分，其中主视图用来显示图片和具体的打标签；工具栏用于显示所有在标注过程中放大缩小需要用到工具；标签栏用于通过区分图层，显示标注的内容，标注界面如图所示。交互式智能图像分割工具：工具栏功能如下表所示。目前图像区域标注还存在一些难以解决的问题，首先是标注非常耗时，仅仅单独标注图像中的单个物体所需时间就达到了40秒，假设一张图里面有10个物体那么标注一张图就需要七分钟。其次标注形式不统一，根据所需标注物体的不同，存在多种形状的标注框，包括多边形、圆形、椭圆甚至是不规则图形。最后，智能化的图像区域标注工具较少，更多的还是手动标注。以上就是图像数据标注工具及使用方法，你学会了吗？

小当老师 2022-09-08 13:47:30

科普篇 | 详解文本数据标注工具及使用方法

我们在做数据标注的时候，使用好数据标注工具才能让标注工作更加精确，了解不同文本数据标注工具的特点，更有利于你的施展。今天我们来详细了解一下文本数据标注工具及其使用方法。01//开源文本数据标注工具汇总常用的开源文本标注工具包括：Doccano、YEDDA、Chinese-Annotator、IEPY、DeepDive和BRAT，具体介绍如下。① Doccano：是一个开源文本标注工具，它提供了文本分类、序列标记和序列到序列任务的标注功能。因此，可以为情感分析、命名实体识别、文本摘要等标注任务创建带标签的数据。Doccano序列标注任务界面如下图所示。② YEDDA：是一个针对实体类的开源文本注释工具，它提供了序列标记的标注功能。YEDDA为文本跨度标注提供了一个系统的解决方案，从协作用户标注到管理员评估和分析。它克服了传统文本注释工具效率低下的问题，通过命令行和快捷键对实体进行注释，这些实体可配置自定义标签。下图为YEDDA进行序列标注任务的界面。③ Chinese-Annotator：是一款智能中文文本标注工具，拥有简洁的标注环境与智能的学习算法，能够进行线下学习。该标注工具标注界面显而易见地友好，让标注操作尽可能简便和符合直觉。标注框架是一个较为完整的系统，包括前端、后台与数据库。下图为Chinese-Annotator的标注界面。④ IEPY：是一个专注于关系提取的信息提取开源工具。操作界面如下图所示。⑤ DeepDive：与IEPY类似，也是针对信息抽取类型任务的开源标注工具，DeepDive非常适合信息抽取，是构建知识库的利器。能够基于词性标注、句法分析等通过各种文本规则实现实体之间关系的抽取，同时可面向异构、海量的数据。下图为DeepDive的标注界面。⑥ 这个工具可以用于各种自然语言处理（NLP）任务，该工具是为实体识别和关系抽取设计的。BRAT服务器是一个Python程序，默认情况使用乌班图（Ubuntu）操作系统，网页浏览器使用谷歌浏览器。下图为BRAT的标注界面。02//文本数据标注工具使用介绍本部分以数据堂的文本数据标注工具为样例介绍典型的几种文本数据标注工具。① 韵律标注：韵律原指诗词中的平仄格式和押韵规则，后引申为音响的节奏规律。这里的韵律是指句子中字词之间的停顿，大多数情况下，我们不能完全没有停顿地说一句话，总会或长或短的有些停顿，这些停顿就是我们要标注韵律符号的位置，根据停顿长度不同，韵律符号也会相应发生变化。韵律标注界面如下图所示。② 词性标注：词性标注是文本数据标注的一种形式，词性标注工具可对文本内容进行实体名称、实体属性、实体关系标注，下图为实体标注工具，实体标注工具具有实体名称列表、文本显示区、属性编辑框、标注列表、工具栏等，能够进行选中文本、新建/编辑/删除实体标注操作，同时支持自定义标签功能。③ 词性（实体）关系标注：需要先对文本进行实体标注，然后对实体之间进行实体的关系标注。相关联的实体会通过一条线进行关联，示意图如下。④ 音调多音字标注：通俗地讲，就是给一个多音字加读音，例如“骈”读音（pián），便（pián）宜等。通过音调多音字标注工具，实现快速的标注。首先通过算法把一段文本的多音字识别出来，与原始文本一起导入平台，模板会同时将文本和读音加载显示在标注页面。多音字标注平台示意图如下。⑤ 语义标注：是文本数据标注的一种形式，针对交互的短文本进行理解，标注出文本的意图。语义标注工具可进行意图标注以及设置自定义标签。语义标注首先是要自定义标签，自定义标签包括意图级别配置、功能配置、预识别配置等，语义标注平台如下图所示。⑥ 阅读理解：模板区域和实体标注的基本一致，不同之处在于右侧显示的是问答标注列表，可以在该处进行问答填写，同时底部也没有工具栏，下图展示的是阅读理解标注展示界面。⑦ 标注准确率计算：数据质检完成后，根据标注结果与质检结果比对情况，计算标注的准确率，标注人员和质检人员均可以在任务执行情况页面查看实时的准确率，准确率统计界面如下图所示。标注工具对于数据产品生产任务至关重要，一个好的标注工具能够大大减少标注过程中出现的问题，减少标注人员出现的错误，提高数据产品生产效率与数据质量。以上主要介绍了文本数据标注工具及使用方法，你学会了吗？

小当老师 2022-09-02 10:20:55

科普 | 详解文本数据标注类型及应用场景

文本数据标注作为最常见的数据标注类型之一，是指将文字、符号在内的文本进行标注，让计算机能够读懂并识别。从本质上来看，文本数据标注就是一个监督学习的过程，而标注问题就是更复杂结构预测问题的简单形式。标注问题的目的在于学习模型，使该模型能够对观测序列给出标记序列作为预测。这也决定了标注问题的工作流程，即输入是一个观测序列，之后输出是一个标记序列或者状态序列。需要注意的是，标记个数是有限的，但其组合所成的标记序列的个数是依照序列长度呈指数级增长的。今天我们来详细了解一下文本数据标注类型及应用场景。01//文本数据标注类型文本数据标注类型包括：序列标注、关系标注、属性标注和类别标注。①  序列标注：是一个比较简单的自然语言处理（Natural Language Processing，NLP）NLP任务，也是最基础的任务。序列标注的涵盖范围非常广泛，包括分词、实体、关键字、韵律、意图理解等。②  关系标注：对复句的句法关联和语义关联做出重要标示的一种任务，是复句自动分析的形式标记。关系标注包括：指向关系、修饰关系、平行语料等等。③  属性标注：对事物属性进行标签，属性标注包括：文本类别、新闻、娱乐等。④  类别标注：对文章的类别进行标注，例如篇章级的阅读理解等。02//文本数据标注应用场景文本数据标注是最常见的数据标注类型之一，在现实生活中也得到了充分应用。具体来说，文本数据标注应用比较多的场景包括：新零售、客服行业、广告营销、金融行业和医疗行业等，具体介绍如下：①  新零售行业：新零售需要重塑零售行业的服务模式，因此需要对客户的问题进行精准定位，既需要对客户的问题进行量身定制，又需要考虑多数客户的共性要求，这就需要借助文本数据标注的方法，将顾客的相应问题做出标记。②  客服行业：随着互联网技术的兴起，电子客服越来越多的取缔了人工客服。电子客服同样也可进行文字客服、视频客服和语音客服三类，这就需要机器对客户说话方式进行识别。考虑到不同人的说话方式不同、说话习惯不同，因此，对于同一个问题提问的方式也会不同。但是对于机器而言，面对同一问题，顾客提问方式虽然不同，但做出的回答应该是完全相同的。这就要求把对同一问题的不同提问方式进行学习，从而做出回复。③  广告行业：对某产品进行广告设计时，通常会把类别相近的且销量较高的商品文案相互借鉴，把已经有的单个商品文案进行综合，取其精华、去其糟粕，通过文本数据标注把文案中的“精华”与“糟粕”标记出来，这让文案设计工作者可以在案例中进行提取综合，这无疑提高了工作人员的工作效率。④  金融行业：在企业的商务合同中，关键信息的读取显得尤为重要。例如：合同中提到的公司名称、合同编号、发票编号、相关金额、到期日期和风险提示等内容，这些内容囊括了甲乙双方公司的核心信息。对于一个规模较大的公司来说，每天的签约合同非常之多，这时用人工智能对合同中的相关信息进行提取，可以大幅减少劳动力，降低人力成本、提高工作效率。以上主要介绍了文本数据标注的类型及应用场景等。文本数据标注是对工作细心程度、耐心程度、专注力强度以及知识储备能力要求较高的一项任务，需要标注人员在熟知概念与规范的前提下，勤加练习。

小当老师 2022-08-19 14:21:50

科普 | 详解图像数据标注及图像数据标注基本规范

在数据标注中，图像数据标注是标注中必不可少的一环，也是我们数据标注员经常遇到的标注需求。今天，我们来具体讲一下图像数据标注的应用及基本规范。人类在学习某项新技能时需要一些学习资料，而标注后的图像数据相当于为计算机提供了学习资料，从而使得计算机能够学习到这些图像的特征信息，最终使得计算机具备处理图像数据的能力，图像数据标注为计算机视觉的研究提供了丰富的带有标签的图像数据，确保算法模型可以被有效训练。01//详解图像数据标注规范（1）图像数据标注中的角色：在图像数据标注中，用户的角色可以分为3类，分别是标注员、审核员和管理员。标注员负责对图像数据进行标注，审核员负责对标注好的数据进行审核，管理员负责对相关人员进行管理，并对标注任务进行发放及回收。（2）图像数据标注流程：图像获取->图像前处理->图像预识别->图像标注->结果输出。①图像获取：项目不同图像的获取方式也不同，一般可通过线下采集，网络采集等方式获取所需的图像。②图像前处理：对图像进行查重处理，将重复的图像删除。③图像预识别：可通过特定的程序，先对数据做一个预标注，标注员只需校验标注结果即可，进而大幅提高标注效率。④图像标注：选择适合的标注工具，根据指定的规范要求进行标注。  ⑤结果输出：标注完之后，会根据数据的需求制定特定的数据输出格式。（3）图像数据标注工具：在进行标注任务时，首先要根据标注对象、标注要求和不同的数据集格式选择合适的标注工具，几个常用的图像数据标注工具如下图所示。目前常见的标注文档以XML或者JSON形式存储，少数情况下为TXT格式。02//图像数据标注主要应用场景图像数据标注产业的蓬勃发展为人工智能行业计算机视觉方向的兴起奠定了扎实的基础，不同行业对于数据的标注要求有所差异，其主要的适用场景包括以下几个方面：（1）自动驾驶：利用带有标签的数据集来对自动驾驶模型进行训练，使其对路面情况具备判断能力，并能做出相应的应对策略。标注内容包括路面中行人识别、车辆识别和道路识别等。（2）智慧医疗：主要包括对解剖部位或病变部位对应的点线面以及轮廓进行标记，如CT断层成像数据，需要根据病理特点标注肺部边界轮廓。（3）智能安防：通过对复杂条件下的人脸、道路、车辆、动作的数据采集与标注实现城市道路监控、车辆人流监测、公共安全防范等应用。03//图像数据标注形式分类常见的图像数据标注类型包括关键点标注、矩形框标注、图像分割、3D框标注、属性标注等，根据项目所需分别对数据集进行不同的标注方式，不同标注类型所利用的标注工具和难度也有所区别。（1）关键点标注：一般用于人体脸部轮廓、五官定位、身体部位和动物头像等，而关键点标注最大的应用即是对人脸轮廓、手部、人体的关键点标注。通过关键点标注，可以判断图片上的人物的功能。（2）矩形框标注：矩形框标注是一种对目标对象进行目标检测框标注的简单处理方式，常用于标注自动驾驶下的人、车、物等。矩形框标注样例如图所示。（3）区域标注：区域标注指是指将图像分成各具特性的区域并提取出感兴趣部分的过程。区域标注包括开区域标注和闭区间标注。按照通用定义，区域标注需同时满足均匀性和连通性的条件，其中均匀性指的是该区域中的所有像素点都满足灰度、纹理、彩色灯特征的某种相似性准则；连通性是指在该区域内存在的链接任意两点的路径。与矩形框标注相比，其区域要求标注更加精确，标注边缘可以是多边形甚至是柔性的，常用于自动驾驶中的道路识别，标注示例如图所示。（4）属性标注：属性标注俗称打标签，是用一个或多个标签标注目标物的属性。一般是从既定的标签中选择数据对应的标签，是封闭集合。可以将不同的图片根据场景进行分类；也可以对目标进行性别、年龄、全身、着装等进行标注。以上是图像数据标注的相关介绍，你了解了吗？

小当老师 2022-07-15 15:06:29

科普 | 详解语音数据标注及语音数据标注基本规范

随着深度学习算法的发展，智能语音处理技术正在经历革命性的变化，算法、算力、数据成为驱动智能语音处理技术快速发展的三大因素。其中，语音数据资源是智能语音处理技术的基石，只有拥有大规模精准、高质量的语音数据集，智能语音处理技术才会有更好的发展。近些年来，在人工智能发展的浪潮下，智能语音处理领域获得了突破性进展，尤其是在深度学习的不断渗入下，以端到端技术为代表的各种新算法不断出现并应用在实际业务系统中，极大地提升了智能语音处理技术的效果。那我们来详细了解一下，语音数据标注都有哪些任务分类？以及语音数据标注基本标注规范都有哪些呢？01//语音数据标注分类语音数据标注任务具有不同的形式，大致可从以下不同纬度考察它们的特点：（1）按照智能应用场景，可划分为智能家居、智能会议、智能客服、智能车载等；（2）按照语音信号处理研究方向，可划分为语音识别、语音合成、说话人识别、情感识别、语音分离等；（3）按照音源与拾音器之间的距离，可划分为近场语音、远场语音；（4）按照语音时长，可划分为短语音、长语音；（5）按照难度等级，可划分为简单、中等、高难度；（6）按照口音，可划分为普通话、方言、带地方口音的普通话等。除此之外，小语种、外语相关的语音数据标注任务则需要有相应专业背景的专业人士来完成，这也加大了标注任务的难度。02//语音数据标注基本标注规范一、 语音段落截取对于多段落的长语音，比如演讲语音、会议记录等，标注人员需要从中截取出多个语音小段，对切开的每个语音小段，进行分开标注。在截取语音段时需注意以下事项：①考虑语义连贯性，以说话人的一整句为单位进行截取。若一整句的时长超过8秒，也可以截取成分句。根据经验，每个语音小段平均在5-6秒左右；②每个时间边界的最佳位置应在语音波形图的最低点；③不同说话人的语音分开截取到不同的语音小段；④截取的语音小段前后尽量保留0.2至0.3秒的静音段，若本身没有这么长时间的静音则不强求；⑤尽可能截取没有突发噪音的语音段，可以为了避开突发噪音，而缩短语音前后的预留静音时间，但不能出现切音的情况；⑥只有一个字表示应答的（如嗯、哦、对），不用单独分割成独立语音段；⑦若说话人第一遍读错句子，停顿后又重复朗读一遍该句子，则只截取朗读正确的句子即可。二、 有效语音判定在语音数据标注时，不合格的无效语音段必须加以说明和丢弃。判定一段语音为无效语音的情况有：①该段语音是用规定之外的语言朗读的，比如规定是用印度英语朗读，而实际却是用中式英语朗读的；②整段语音段没有说话人的语音，只含有噪声或者静音（可视为无声音）；③语音段中含有很强的背景噪音，以至于覆盖掉说话人的声音；④说话人的声音极小而导致无法听清语音内容；⑤说话人语速过快而导致发音不清楚或吞音；⑥说话人发音时一字一顿，每个停顿时间超过1秒；⑦说话人发音时语气夸张，故意怪里怪气地朗读；⑧语音段存在切音、吞音、丢帧、喷麦、重音等异常；⑨语音段存在影响语音清晰度的空旷音、混响等异常。三、 语音内容转写语音数据标注的重中之重即语音内容的转写。语音内容转写的基本原则为“所听即所写”，即转写文本必须与说话人发音内容完全一致。具体规范包含以下几个方面：①词汇：转写的词汇必须和听到的语音完全一致，不能多字、少字、错字；②感叹词：在转写语音中出现的感叹词时应使用其标准拼写格式，如“呃、啊、嗯、哦、唉、呐”等，要按照正确发音进行转写；③数字：所有数字应根据实际发音转写为文本，绝不能写成阿拉伯数字；④英文：语音中的英文发音应转写成相应的汉字或英文，根据不同情况而定；⑤标点符号：陈述句用“。”，疑问句用“？”，感叹句用“！”等；⑥其他符号：如果存在除标点符号以外的其他符号，要根据发音转写成对应汉字或英文；⑦噪音：有些情况下，除了需要转写语音内容之外，也需要标识语音段中含有的噪音情况，一般有分为四类（NSPT）。四、 说话人属性标注对于语音合成、说话人识别等语音研究而言，说话人信息也是非常重要的特征，因此，有些语音数据还需要对说话人的信息加以标识，比如说话人的性别、年龄、口音等。若语音段含有多个说话人的声音，则需要分别标注所有说话人的以上属性，并标注说话人身份信息，如记为“speaker 1”、“speaker 2”等。在当今互联网时代下，高质量的语音数据集对于语音产业的蓬勃发展起到关键作用，具有重大实用意义。

小当老师 2022-07-15 15:01:31

数据标注科普丨数据标注的应用场景及标注分类

数据标注是一个极为庞大的产业，在数标行业内部，从业者也必将随着AI行业而一同进入细分市场追逐阶段，可谓机遇与挑战并行，为创业者创造力大量的机会，为社会造就了大量新兴的就业机会。那么数据标注的应用场景都有哪些呢？01//自动驾驶利用标注数据来训练自动驾驶模型，使其能够感知周围的环境并在很少或没有人为输入的情况下移动。自动驾驶中的数据标注涉及行人识别、车辆识别、红绿灯识别、道路识别等内容，可以为相关企业提供精确的训练数据，为智能交通保驾护航。自动驾驶主要标注分类：矩形框标注：矩形框标注是一种对目标对象进行目标检测框标注的简单处理方式，常用于标注自动驾驶下的人、车、物等。区域标注：区域标注指是指将图像分成各具特性的区域并提取出感兴趣部分的过程。区域标注包括开区域标注和闭区间标注。02//智慧医疗人工智能和大数据分析技术应用于医疗行业,可以深入洞察医学知识和数据，帮助医生和患者解决在医学影像、新药研发、肿瘤与基因、健康管理等领域所面临的影像识别困难、药物研发成本巨大、癌症治疗效果不佳等难题。主要包括对解剖部位或病变部位对应的点线面以及轮廓进行标记，如CT断层成像数据，需要根据病理特点标注肺部边界轮廓。智慧医疗主要标注分类：关键点标注：关键点标注模板最大的应用即是对脸部的关键点进行标注，通过不同方位的关键点标注，可以判断图像上的人物的功能。03//智能安防数据标注扩大了现有安防系统的感知范围，通过对复杂条件下的人脸、道路、车辆、动作的数据采集与标注实现城市道路监控、车辆人流监测、公共安全防范等应用。智能安防主要标注分类：关键点标注：关键点标注模板最大的应用即是对脸部的关键点进行标注，通过不同方位的关键点标注，可以判断图像上的人物的功能。04//智慧农业依托精准的数据标注实现对农作物的定位以及对其成熟度和生长状态的识别，实现农作物智能采摘并解决精准农药撒播问题，从而减少人力消耗并提高农药利用率。目前，智慧农业中有关数据标注的场景有栽培管理、精准水肥和安全监测等。05//新零售将人工智能和机器学习应用于新零售行业，可以通过商品销售数据以及用户的真实反馈促进电子商务的销售，提高用户的个性化体验以及预测客户需求，并实现线上货物推荐的精准化。新零售中涉及的标注场景包括超市货架识别、无人超市系统和电子商务智能搜索与推荐等。在这个充斥着人工智能的时代，「数据标注」已然快速成长为一项新的职业，它市场需求大，入门门槛低，工作场景灵活，全职兼职均可。成为求职者选择职业的一个新航道。

小当老师 2022-06-30 14:09:09

什么是数据标注？数据标注和人工智能有什么关系？

当下，人工智能无处不在，广泛的应用在我们的生活周围。比如我们经常用到的汽车导航、siri、客服用到的智能回复等等。还有当下市场上各种充斥的智能学习产品：小度小度、天猫精灵、小爱同学，等等等等~~小到微信的语音翻译，大到智能泊车，智慧医疗，我们今天的生活已经潜移默化地「被人工智能化」了。那么什么是人工智能呢？人工和智能又有什么关系呢？当下最火爆的数据标注岗位又和人工智能有什么关系呢？01//我们先来了解一下【人工智能】人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。我们可以把人工智能分为「人工」和「智能」两部分来看。人工智能算法是数据驱动型算法，也就是说，如果想实现人工智能，首先需要把人类理解和判断事物的能力教给计算机，让计算机学习到这种识别能力。我们可以理解为先有「人工」的铺垫，才能有后来我们看到的一切「智能」的产物。所以就有了「数据标注」。02//数据标注和人工智能的关系●  数据标注数据标注（Data Annotations）是指对收集到的、未处理的原始数据或初级数据，包括语音、图片、文本、视频等类型的数据进行加工处理，并转换为机器可识别信息的过程。●  数据标注与人工智能数据标注与人工智能相伴而生，是大部分人工智能算法得以有效应用的关键环节。数据标注越准确、标注的数据量越大，算法的性能就越好、准确度就越高。举个例子：「人工」好比是我们上学时的老师，老师教我们认识一个苹果。给我们一张图片，告诉我们这是苹果，它是红色的，它的形状是圆的，它还可能有绿色的黄色的……以后我们在看到各种颜色和形状的时候都能知道它是苹果。但是对于机器而言，你给它一个苹果的图片，它并不能知道这是什么。我们要教它认识这只苹果，就需要我们人工在苹果图片上标注好它的「各种特征」，然后机器通过学习了大量的图片中的特征，这时候再给机器任意一张苹果的图片，它就能认出来这是苹果啦。训练集和测试集都是标注过的数据，以苹果为例，假设我们有1000张标注着“苹果”的图片，那么我们可以拿800张作为训练集，200张作为测试集。机器从800张苹果的图片中学习得到一个模型，然后将剩下的200张机器没有见过的图片去给它识别，然后我们就能够得到这个模型的准确率了。 所以这就产生了「数据标注」这个在人工智能领域不可或缺的“老师”。因此目前人工智能需要标注大量数据，即对原始信息进行数据标注。03//【数据标注】都有哪些岗位？数据标注类型繁多，包括图像数据标注、视频数据标注、语音数据标注、文本数据标注、3D点云标注。◆ 图像数据标注常见的图像数据标注类型包括关键点标注、矩形框标注、图像分割、3D框标注、属性标注等，根据项目所需分别对数据集进行不同的标注方式，不同标注类型所利用的标注工具和难度也有所区别。（1）关键点标注：关键点标注模板最大的应用即是对脸部的关键点进行标注，通过不同方位的关键点标注，可以判断图像上的人物的功能。关键点标注样例如图所示。（2）矩形框标注：矩形框标注是一种对目标对象进行目标检测框标注的简单处理方式，常用于标注自动驾驶下的人、车、物等。矩形框标注样例如图所示。（3）区域标注：区域标注指是指将图像分成各具特性的区域并提取出感兴趣部分的过程。区域标注包括开区域标注和闭区间标注。按照通用定义，区域标注需同时满足均匀性和连通性的条件，其中均匀性指的是该区域中的所有像素点都满足灰度、纹理、彩色灯特征的某种相似性准则；连通性是指在该区域内存在的链接任意两点的路径。与矩形框标注相比，其区域要求标注更加精确，标注边缘可以是多边形甚至是柔性的，常用于自动驾驶中的道路识别，标注示例如图所示。（4）属性标注：属性标注俗称打标签，是用一个或多个标签标注目标物的属性。一般是从既定的标签中选择数据对应的标签，是封闭集合。可以将不同的图片根据场景进行分类；也可以对目标进行性别、年龄、全身、着装等进行标注。◆ 视频数据标注视频数据标注流程：主要包括标注、质检、初验、终验、返修和查看界面，确认无误后，保存、提交。（1）标注：针对未标注的数据或者预识别处理后的数据进行标注，如图所示。标注内容包括：新建对象、选中对象、移动对象、删除对象、修改对象、整条无效、当前帧无效、是否离开、属性选择、提交。（2）质检：质检人员对数据标注人员标注结果的核验。视频数据标注质检界面如图所示。（3）返修：返修指标注人员对不合格标注数据进行修改、提交的过程，视频数据标注返修界面如图所示。◆ 语音数据标注语音识别、语音合成等智能语音处理技术在单一说话人、发音规范、背景噪音良好的情况下已经具有较为突出的表现，然而，当前阻碍智能语音处理技术实用化的一大困难即是复杂条件下性能降低的问题。在实际生活场景中，自然发音、口音、复杂噪声、声音混叠等现象随处可见，另一方面，随着深度学习技术的发展，数据对于训练模型的影响越来越重要，因此，生产复杂场景下的智能语音数据无论对于学术研究还是对于企业开发，均具有重大意义。语音数据标注过程包括：① 分析待标注语音数据；② 制定标注说明规则；③ 设计语音数据标注平台。◆ 文本数据标注文本数据包含：韵律标注、词性标注、词性（实体）关系标注、音调多音字标注、语义标注等（1）韵律标注：韵律原指诗词中的平仄格式和押韵规则，后引申为音响的节奏规律。这里的韵律是指句子中字词之间的停顿，大多数情况下，我们不能完全没有停顿地说一句话，总会或长或短的有些停顿，这些停顿就是我们要标注韵律符号的位置，根据停顿长度不同，韵律符号也会相应发生变化。韵律标注界面如下图所示。（2）词性标注：词性标注是文本数据标注的一种形式，词性标注工具可对文本内容进行实体名称、实体属性、实体关系标注，下图为实体标注工具，实体标注工具具有实体名称列表、文本显示区、属性编辑框、标注列表、工具栏等，能够进行选中文本、新建/编辑/删除实体标注操作，同时支持自定义标签功能。（3）词性（实体）关系标注：需要先对文本进行实体标注，然后对实体之间进行实体的关系标注。相关联的实体会通过一条线进行关联，示意图如下。（4）音调多音字标注：通俗地讲，就是给一个多音字加读音，例如“骈”读音（pián），便（pián）宜等。通过音调多音字标注工具，实现快速的标注。首先通过算法把一段文本的多音字识别出来，与原始文本一起导入平台，模板会同时将文本和读音加载显示在标注页面。多音字标注平台示意图如下。（5）语义标注：是文本数据标注的一种形式，针对交互的短文本进行理解，标注出文本的意图。语义标注工具可进行意图标注以及设置自定义标签。语义标注首先是要自定义标签，自定义标签包括意图级别配置、功能配置、预识别配置等，语义标注平台如下图所示。◆ 3D点云数据标注（1）多视图三维重建：多视图重建是利用多张一个场景的不同视角图像来恢复出场景三维模型的方法，自然场景的多视图三维重建一直是计算机视觉领域的基本问题，有着广泛的应用。下图为多视图三维重建示意图。（2）三维同步定位与地图构建（Simultaneous Localization And Mapping，SLAM）：主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题，三维同步定位与地图构建示意图如下图所示。（3）三维目标检测：与二维图像相比，3D点云数据的优势在于能够很好地表征物体的表面信息和一些深度信息。另外，由于3D点云数据的获取来源较多，因此对3D点云数据的研究得以迅速增长，进一步促进了使用深度学习实现3D点云目标检测，下图为三维目标检测示意图。（4）三维语义分割：三维（3D）语义分割在医学、自动驾驶、机器人和增强现实（AR）等许多领域的广泛应用，下图为三维语义分割示意图。在这个充斥着人工智能的时代，「数据标注」已然快速成长为一项新的职业，它市场需求大，入门门槛低，工作场景灵活，全职兼职均可。成为求职者选择职业的一个新航道。

小当老师 2022-06-30 13:58:53