揭秘机器学习中的数据偏差是一个固有问题，即数据集中的某些元素比其他元素更重要或更突出。这种偏差可能会扭曲模型结果，导致结果偏差、准确性降低和分析差异。从根本上来说，机器学习依赖于准确反映现实世界场景的训练数据。数据偏差可以多种形式表现出来，包括人类报告和选择偏差、算法偏差和解释偏差。下图说明了各种偏见，其中许多是在数据收集和注释阶段出现的。解决机器学习项目中的数据偏差取决于最初识别其存在。只有查明偏见，才能采取必要的措施来纠正它，无论是通过解决数据差距还是完善注释过程。严格关注数据范围、质量和处理对于减轻偏见的影响至关重要，这种影响不仅限于模型准确性，还包括道德、公平和包容性考虑因素。本文可作为机器学习中七种常见数据偏差形式的指南。它使您能够深入了解认识和理解偏见，以及缓解偏见的策略。常见的数据偏差类型 虽然此汇编并未涵盖所有可以想象的数据偏差形式，但它提供了对典型实例及其发生情况的深入了解。
偏差示例：当数据集未能忠实反映模型运行的真实环境时，就会出现这种偏差。例如，一些针对白人男性面孔进行大量训练的面部识别系统对女性和来自不同种族背景的个人的准确性较低。这种偏差的另一个术语是选择偏差。
排除偏差：这种偏差经常发生在数据预处理过程中。当被认为无关紧要但有价值的数据被丢弃或某些信息被系统性地忽略时，就会出现这种情况。考虑一个覆盖北京和深圳的销售数据集，其中 98% 的客户来自北京。由于认为不相关而忽略位置数据意味着该模型忽略了深圳的客户群已翻倍。
测量偏差：当为训练而收集和注释的数据与真实世界数据存在偏差或者测量误差扭曲数据集时，就会出现测量偏差。一个典型的例子是图像识别数据集，其中训练数据来自一种相机类型，生产数据来自另一种相机类型。由于标签不一致，人工智能数据注释过程中也会出现测量偏差。
回忆偏差：这种形式的测量偏差主要在数据注释期间出现。当相同的数据没有一致地标记时就会发生这种情况，从而导致准确性降低。例如，如果一个注释者将一张图像标记为“损坏”，而将类似图像标记为“部分损坏”，则数据集会变得不一致。
观察者偏差：也称为确认偏差，当研究人员有意识或无意识地根据自己的倾向主观地感知数据时，观察者偏差就会显现出来。这可能会导致数据误解或替代解释被驳回。数据集偏移偏差：当使用不同于训练数据的数据集测试模型时，就会出现数据集偏移偏差。这可能会导致准确性降低或产生误导性结果。一个常见的例子是测试在一个群体上训练的模型与另一个群体的模型，从而导致结果出现差异。总之，解决数据偏差是机器学习项目中的关键努力。熟悉各种形式的数据偏差及其发生情况，可以采取主动措施减少偏差，确保开发准确、公平和包容的模型。
