合成数据技术的现状、前景和挑战

开放隐私计算 2023-06-26

合成数据技术是一个快速发展的技术方向，具有广阔的前景和潜力，但同时也存在数据质量和法律法规方面的挑战。

合成数据为什么出现？

在数据科学和机器学习领域，面临着一些重要的难点和痛点，这些挑战和限制一直困扰着研究人员和从业者。

数据隐私问题：在现代社会，大量的个人身份信息和敏感数据被广泛收集和使用。然而，随着数据泄露和隐私侵犯事件的增加，保护个人隐私成为一项紧迫的任务。在数据共享和分析过程中，如何有效地保护个人身份和敏感信息，以遵守隐私法规和尊重用户的隐私权，成为一个严峻的挑战。

数据稀缺性和不完整性：在实际应用中，获取足够多且具有高质量的数据并不总是容易的。某些领域可能面临数据稀缺的问题，而某些数据集可能存在缺失值或不完整的信息。这会对机器学习算法和数据驱动的方法的准确性和鲁棒性造成负面影响。

数据偏差和不平衡：真实数据集中往往存在着潜在的偏差和不平衡性。这可能是由于数据采集过程中的偏差、样本选择的不完全性或数据收集时的特定条件等原因所导致的。这些问题可能导致模型在某些子集或特定情况下表现不佳，甚至存在公平性问题。

在面对这些挑战和限制时，合成数据（Synthetic Data）的概念应运而生。

02 合成数据是什么？

合成数据是一种数据增强技术，不能取代数据采集和标注。数据增强大大提高了模型的精确度，但并不会使模型达到完美。采取的任何方法或生成的数据都必须使模型更可靠。根据模型的不足之处明确定义模型的需求，有助于选择合适的工具并生成正确的数据。——澳鹏Appen数据科学总监

合成数据的运作机制是通过使用不同的技术和方法来生成与真实数据相似但不包含真实个人信息的数据。以下是一些常见的合成数据技术和技术原理：

统计方法：统计方法是生成合成数据的一种常见技术。它基于对真实数据的统计分析和建模，然后使用这些模型来生成合成数据。例如，可以使用概率分布函数来模拟真实数据的特征和分布，从而生成合成数据。

生成对抗网络（GANs）：生成对抗网络是一种深度学习技术，用于生成合成数据。GANs由两个主要组件组成：生成器和判别器。生成器负责生成合成数据，而判别器负责区分真实数据和合成数据。通过不断的对抗训练，生成器和判别器相互竞争和改进，最终生成逼真的合成数据。

序列模型：对于序列数据（如文本、时间序列等），可以使用序列模型来生成合成数据。序列模型可以基于马尔可夫链、循环神经网络（RNN）或变分自编码器（VAE）等方法来建模数据的序列特征和依赖关系，从而生成合成数据。

数据脱敏和扰动：另一种常见的合成数据技术是对真实数据进行脱敏和扰动。这包括去除或替换真实个人身份和敏感信息，以保护数据的隐私。例如，可以使用数据加密、数据模糊化或数据扰动等方法来处理真实数据，生成合成数据。

03 合成数据能做什么？

通过使用合成数据，可以在不暴露真实数据的情况下进行数据分析、模型开发和算法测试。合成数据的生成过程通常涉及使用算法和模型来模拟真实数据的特征和分布。这些算法和模型可以基于统计学方法、机器学习技术或其他生成模型来创建合成数据，生成的合成数据可以用于替代真实数据进行分析和开发。合成数据的使用可以加速开发过程，并降低软件开发生命周期的成本。高质量的合成数据可以显著加快数据科学项目的进展，并提供更多的数据资源。当结合安全的研究环境和联邦学习技术时，合成数据有助于实现数据的去中心化利用。

在我们的公众号上有一篇历史文章《联合国公布18个全球隐私计算技术应用典型案例！》：这18个典型案例中就有两个使用了“合成数据”技术。

英国国家统计局：在英国国家统计机构试验使用合成数据

英国国家统计局正在进行一项试验，旨在应对员工和独立研究人员对英国人口普查数据、关联的死亡数据以及新冠病毒感染调查数据的访问需求，并同时保护数据的隐私。为了实现这一目标他们主要采用了合成数据技术，同时结合差分隐私等隐私计算技术。

试验所使用的数据集包括英国人口普查数据、关联的死亡数据以及新冠病毒感染调查数据。这些数据都是和民众息息相关的隐私数据，采取合成数据技术来模拟真实数据的特征和分布生成与真实数据相似但不包含真实个人信息的数据，可以有效地兼顾隐私保护和数据质量。在计算细节方面，试验使用了生成对抗网络（GAN）技术，可生成接近真实数据的合成数据。

目前，这个案例处于概念证明阶段，正在进行试验和验证，以评估合成数据技术的可行性和效果。通过这些试验，英国国家统计局将能够满足对敏感数据的需求，同时保护个人隐私，为员工和独立研究人员提供更安全、可靠的数据访问方式。

加拿大统计局：试用合成数据探究其应用前景

这个案例涉及加拿大统计局对合成数据的试验，旨在为训练和测试目的创建合成数据集，并探索其在各个领域的应用前景。在这项试验中，加拿大统计局选择了由2006年长表普查与2015年加拿大死亡登记处联接而成的数据集和由2006年长表普查与2015年加拿大癌症登记处和2014年加拿大重要统计死亡数据库联接而成的数据集，分别包含33个变量和747个变量。

为了保护数据的隐私，加拿大统计局采用了合成数据作为隐私增强技术，通过使用完全条件规范方法、CART和回归方法创建的高质量数据，模拟原始数据的特征和分布。允许非可信分析师在非安全环境中访问详细信息，同时确保数据的隐私。

目前，这个案例处于实施状态，初步试点已成功将合成数据集用作培训辅助工具，并支持黑客马拉松活动。通过这些试验，加拿大统计局将评估合成数据在数据分析和应用开发中的实际效果，并进一步探索其在保护数据隐私和提供更安全的数据访问方面的潜力。

04 合成数据的现状、前景和挑战？

合成数据技术是一个快速发展的技术方向，具有广阔的前景和潜力，但同时也存在数据质量和法律法规方面的挑战。

现状

研究和应用广泛：合成数据技术已经引起了广泛的研究兴趣，并在各个领域得到了应用，包括医疗保健、金融、交通、社交媒体等。许多研究机构、大学和企业都在积极探索和开发合成数据技术。

工具和框架的发展：随着合成数据技术的发展，出现了许多用于生成合成数据的工具和框架。这些工具和框架提供了方便、高效的方式来生成合成数据，并支持各种数据类型和应用场景。

隐私法规的推动：随着隐私法规的不断加强，对个人隐私的保护要求越来越高。合成数据作为一种隐私保护的解决方案，受到了法规的推动和支持。例如，欧洲的通用数据保护条例（GDPR）鼓励使用合成数据来保护个人隐私。

前景

隐私保护和数据共享：合成数据技术将在隐私保护和数据共享方面发挥重要作用。它可以帮助组织在不泄露真实数据的情况下共享数据，促进跨组织和跨领域的合作和研究。

数据增强和模型开发：合成数据可以用于数据增强，通过生成生成更多的数据资源来提高模型的性能和准确性。此外，合成数据生成更多的数据资源来提高模型的性能和准确性。此外，合成数据继可以帮助解决数据稀缺和不平衡的问题，提供更多的数据资源供模型开发和验证使用。

数据民主化和可迁移性：合成数据技术可以促进数据的去中心化，使更多的人可以访问和使用数据资源。它可以帮助解决数据壁垒和数据孤岛的问题，促进数据的可迁移性和共享。

创新和研究推动：合成数据技术可以为创新和研究提供更多的机会和可能性。它可以帮助研究人员和开发人员在不依赖真实数据的情况下进行模型验证和原型设计，加快创新过程。

教育和培训：合成数据技术可以用于教育和培训领域，提供实践和实验的机会。学生和从业人员可以使用合成数据进行模型开发和测试，学习数据科学和机器学习的实际应用。

挑战

数据质量和真实性：生成的合成数据可能无法完全捕捉真实数据的复杂性和多样性。合成数据的质量和真实性是一个关键问题，需要确保生成的数据能够准确地反映真实数据的特征和分布。

泛化能力和适应性：生成的合成数据在应用到新的场景和任务时，可能面临泛化能力和适应性的挑战。合成数据生成的模型可能过度拟合原始数据，导致在新的环境中表现不佳。

可解释性和可信度：合成数据生成的过程通常是黑盒的，难以解释生成数据的具体原理和依据。这可能导致合成数据的可解释性和可信度受到质疑，特别是在一些敏感领域和决策应用中。

法律和伦理问题：合成数据的使用可能涉及到法律和伦理问题。例如，在一些国家和地区，使用合成数据可能需要遵守特定的法律法规和隐私保护标准。此外，合成数据的使用可能会引发一些伦理问题，例如，是否应该使用合成数据来做出重要的决策，以及如何确保合成数据的使用不会对个人或社会造成不利影响。

如果我们关注隐私计算技术的“性价比”，合成数据无疑是表现抢眼的一位。技术的性能固然是我们追求的，其成本和稳定性也至关重要。虽然合成的数据并不是真实数据，但只要我们不断调整合成路径，效果还是相当可观的，与此同时它节省了大量的计算、传输、分析资源，并且从源头上控制隐私泄露。合成数据技术的经济高效、多样化和可控性的优势为各个领域的数据驱动应用和决策提供了一种经济、可行且可扩展的数据解决方案。

本文由“开放隐私计算”整理翻译，节选自英国The Royal Society的《Synthetic Data - what, why and how?》，