返回列表
自动化决策的基本和相关概念
2022-06-17

一、自动化决策的基本概念

“自动化决策”一词在法律法规层面首次出现于《个人信息保护法》第七十三条第二款,其定义是指通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等,并进行决策的活动。

因此,从定义出发,我们可以看到自动化决策具有以下特征:

(1)自动化决策依赖计算机程序,过程全程自动化,如在分析、评估和决策过程中存在人工干预,则不属于自动化决策的范畴;

(2)分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等可能涉及个人信息主体的敏感个人信息和重大权益的事项;

(3)先分析、评估,后进行决策,两者缺一不可。

二、自动化决策的不同认定观点

目前,对于自动化决策有两类观点,主要区别在于对自动化决策的定义进行解释时采取个人重大权益的目的论或手段论。

(1)目的论

该观点认为,由于个人的行为习惯、兴趣爱好或者经济、健康、信用状况等因素属于可能会对个人信息主体产生重大权益的影响因子,而法律所要规制的是可能产生负面重大权益影响的自动化决策,例如经由自动化决策,对个人信息主体的征信信用、贷款审批、忠诚度、工作能力、人格等社会因素产生负面评价时,将影响该个人信息主体的社会关系,造成工作与生活上的不利影响。因此,只有可能对个人信息主体的重大权益产生影响的自动化决策才是《个人信息保护法》所定义的自动化决策,从而将自动化决策的定义进行场景化。根据具体场景,从而决定是否属于自动化决策。

(2)手段论

该观点认为,个人的行为习惯、兴趣爱好或者经济、健康、信用状况等仅属于自动化决策的分析和评估的内容,而不是目的。无论所决策的内容是否对个人信息主体产生重大权益的影响,均属于自动化决策,即属于《个人信息保护法》所保护的对象。

经过举例可以看到这两种观点的差异。假设有一个基于计算机程序开发的登录系统,不含人工干预,由系统自主决策是否可以登录。当用户在登录界面,输入账号密码,点击登录按钮,系统根据用户输入的账号进行身份识别。如果身份识别不通过,则作出拒绝登录的决策。如果身份识别通过,则进入身份验证程序。系统根据输入的密码与系统内存储的密码进行对比。如果对比一致,则身份验证通过,系统作出该用户可以登录的决策。当对比不一致,则身份验证不通过,系统作出拒绝登录的决策。而该系统进行身份识别和身份验证以判断是否可以登录系统,实质上是对该个人在系统中的信用状况进行分析、评估。

如果根据目的论,该系统并未影响该用户的重大权益,其不可登录并未影响社会对其的评价。但是如果根据手段论,该系统分析、评估了该用户在系统中的信用状况,而作出了决策。无论该决策是可登录或不可登录,都不影响这一个整体过程属于自动化决策的认定。

造成该两种观点的差异,主要根源在于国内外法律的衔接问题。自动化决策的起源来自于GDPR的Article 22,但在定义时限定了当决策可能对个人信息主体产生重大影响,因此该条文与目的论的观点一致。由于GDPR已实施多年,国内对其也有相当多的研究,因此不排除会先入为主。而从《个人信息保护法》的立法体系来看,立法者希望通过先约定定义再制定强制性要求的路径来阐述自动化决策的内容。但在约定定义时,并未参考GDPR对自动化决策的限定,因此扩大了自动化决策的范围,即手段论可能是《个人信息保护法》所主张的意见。同时,在《个人信息保护法》第二十四条第三款,重大权益影响作为单独的一款进行说明,因此更加证明了《个人信息保护法》采取的是手段论。

三、自动化决策的相关概念

自动化决策属于新的概念,但在具体的行业和场景,已有现成的服务或产品,例如算法、用户画像、个性化展示等。

(1)算法

算法是通过一系列的计算机程序,对数据对象进行运算和操作,从而最优、最快地实现某一种学术或应用目的,例如使用穷举算法对某个密码进行暴力破解,使用随机森林算法进行头部姿势的估计,用遗传算法来解决弹药装载问题,使用深度学习算法来实现人脸识别等。算法具有分析和评估的能力,但不一定具有决策的功能,完全取决于所要达成的目的。

(2)用户画像

用户画像是基于已收集的数据,包括但不限于行为习惯、兴趣爱好或者经济、健康、信用状况等,通过一定的算法,总结归纳出个人信息主体或类似人群的用户属性以及特征。用户画像的最明显特征是标签化,可以对某一个具体的个人信息主体或虚拟的用户群体使用标签进行标记。当标签产生时,用户画像即完成决策,因此用户画像属于自动化决策。例如,基于用户的电子书阅读记录,从而分析、评估出该用户可能对古诗词更感兴趣,或基于该用户的地理位置、社交关系,从而评估出与其关联的其他人群可能对古诗词也感兴趣。

但用户画像通过将个人信息主体进行标签化从而进行分类分群,但标签化的过程可分为自动或人工。如果有人工方式参与或干预了标签化,上述行为则不属于自动化决策的范畴。

(3)个性化展示

个性化展示是基于用户的特定属性,根据指定的策略和规则,对用户展示不一样的内容。该特定属性可以是简单的某一地理位置,例如美团app获取用户的城市定位,从而向该用户展示该城市的商家。特定属性也可以是复杂的数据,例如基于用户画像,向古诗词爱好者展示更多与古诗词有关的书籍。但个性化展示是否属于自动化决策,则需要判断其所分析、评估的内容是否属于个人的行为习惯、兴趣爱好或者经济、健康、信用状况等。

作者:李林兴

审稿:植吕梅

 (文中观点不代表北源律师事务所的观点或法律意见)

返回列表
自动化决策的基本和相关概念
2022-06-17

一、自动化决策的基本概念

“自动化决策”一词在法律法规层面首次出现于《个人信息保护法》第七十三条第二款,其定义是指通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等,并进行决策的活动。

因此,从定义出发,我们可以看到自动化决策具有以下特征:

(1)自动化决策依赖计算机程序,过程全程自动化,如在分析、评估和决策过程中存在人工干预,则不属于自动化决策的范畴;

(2)分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等可能涉及个人信息主体的敏感个人信息和重大权益的事项;

(3)先分析、评估,后进行决策,两者缺一不可。

二、自动化决策的不同认定观点

目前,对于自动化决策有两类观点,主要区别在于对自动化决策的定义进行解释时采取个人重大权益的目的论或手段论。

(1)目的论

该观点认为,由于个人的行为习惯、兴趣爱好或者经济、健康、信用状况等因素属于可能会对个人信息主体产生重大权益的影响因子,而法律所要规制的是可能产生负面重大权益影响的自动化决策,例如经由自动化决策,对个人信息主体的征信信用、贷款审批、忠诚度、工作能力、人格等社会因素产生负面评价时,将影响该个人信息主体的社会关系,造成工作与生活上的不利影响。因此,只有可能对个人信息主体的重大权益产生影响的自动化决策才是《个人信息保护法》所定义的自动化决策,从而将自动化决策的定义进行场景化。根据具体场景,从而决定是否属于自动化决策。

(2)手段论

该观点认为,个人的行为习惯、兴趣爱好或者经济、健康、信用状况等仅属于自动化决策的分析和评估的内容,而不是目的。无论所决策的内容是否对个人信息主体产生重大权益的影响,均属于自动化决策,即属于《个人信息保护法》所保护的对象。

经过举例可以看到这两种观点的差异。假设有一个基于计算机程序开发的登录系统,不含人工干预,由系统自主决策是否可以登录。当用户在登录界面,输入账号密码,点击登录按钮,系统根据用户输入的账号进行身份识别。如果身份识别不通过,则作出拒绝登录的决策。如果身份识别通过,则进入身份验证程序。系统根据输入的密码与系统内存储的密码进行对比。如果对比一致,则身份验证通过,系统作出该用户可以登录的决策。当对比不一致,则身份验证不通过,系统作出拒绝登录的决策。而该系统进行身份识别和身份验证以判断是否可以登录系统,实质上是对该个人在系统中的信用状况进行分析、评估。

如果根据目的论,该系统并未影响该用户的重大权益,其不可登录并未影响社会对其的评价。但是如果根据手段论,该系统分析、评估了该用户在系统中的信用状况,而作出了决策。无论该决策是可登录或不可登录,都不影响这一个整体过程属于自动化决策的认定。

造成该两种观点的差异,主要根源在于国内外法律的衔接问题。自动化决策的起源来自于GDPR的Article 22,但在定义时限定了当决策可能对个人信息主体产生重大影响,因此该条文与目的论的观点一致。由于GDPR已实施多年,国内对其也有相当多的研究,因此不排除会先入为主。而从《个人信息保护法》的立法体系来看,立法者希望通过先约定定义再制定强制性要求的路径来阐述自动化决策的内容。但在约定定义时,并未参考GDPR对自动化决策的限定,因此扩大了自动化决策的范围,即手段论可能是《个人信息保护法》所主张的意见。同时,在《个人信息保护法》第二十四条第三款,重大权益影响作为单独的一款进行说明,因此更加证明了《个人信息保护法》采取的是手段论。

三、自动化决策的相关概念

自动化决策属于新的概念,但在具体的行业和场景,已有现成的服务或产品,例如算法、用户画像、个性化展示等。

(1)算法

算法是通过一系列的计算机程序,对数据对象进行运算和操作,从而最优、最快地实现某一种学术或应用目的,例如使用穷举算法对某个密码进行暴力破解,使用随机森林算法进行头部姿势的估计,用遗传算法来解决弹药装载问题,使用深度学习算法来实现人脸识别等。算法具有分析和评估的能力,但不一定具有决策的功能,完全取决于所要达成的目的。

(2)用户画像

用户画像是基于已收集的数据,包括但不限于行为习惯、兴趣爱好或者经济、健康、信用状况等,通过一定的算法,总结归纳出个人信息主体或类似人群的用户属性以及特征。用户画像的最明显特征是标签化,可以对某一个具体的个人信息主体或虚拟的用户群体使用标签进行标记。当标签产生时,用户画像即完成决策,因此用户画像属于自动化决策。例如,基于用户的电子书阅读记录,从而分析、评估出该用户可能对古诗词更感兴趣,或基于该用户的地理位置、社交关系,从而评估出与其关联的其他人群可能对古诗词也感兴趣。

但用户画像通过将个人信息主体进行标签化从而进行分类分群,但标签化的过程可分为自动或人工。如果有人工方式参与或干预了标签化,上述行为则不属于自动化决策的范畴。

(3)个性化展示

个性化展示是基于用户的特定属性,根据指定的策略和规则,对用户展示不一样的内容。该特定属性可以是简单的某一地理位置,例如美团app获取用户的城市定位,从而向该用户展示该城市的商家。特定属性也可以是复杂的数据,例如基于用户画像,向古诗词爱好者展示更多与古诗词有关的书籍。但个性化展示是否属于自动化决策,则需要判断其所分析、评估的内容是否属于个人的行为习惯、兴趣爱好或者经济、健康、信用状况等。

作者:李林兴

审稿:植吕梅

 (文中观点不代表北源律师事务所的观点或法律意见)