一、自动化决策的通用性合规建议
根据《个人信息保护法》的第二十四条、第五十一条和第五十五条等有关条款,个人信息处理者利用个人信息进行自动化决策需遵循以下要求:
(一)事前进行个人信息保护影响评估和记录处理情况的义务
个人信息处理者利用个人信息进行自动化决策的,应当事前进行个人信息影响评估并记录处理情况。
由于自动化决策全程无人工干预,使用自动化决策存在可能导致个人权益有较高的被侵害风险,因此要求个人处理者事前对其处理活动目的,处理方式的合法、正当和必要,对个人权益的影响及安全风险、所采取的保护措施是否有效和与风险的适当程度等内容进行评估,同时要求进行记录,保证可问责和可追溯。该义务来源于《个人信息保护法》第九条、第五十一条和第五十五条等有关规定,要求个人信息处理者对处理活动的负责,应以审慎方式开展处理活动,同时应确保在合法和安全的情况下开展。
(二)保证决策的透明度和结果公平、公正
利用个人信息进行自动化决策,应当保证决策的透明度和结果公平、公正,不得对个人在交易价格等交易条件上实行不合理的差别待遇。具体包括:
1、保证决策的透明度。要求个人信息处理者能够对其自动化决策进行说明,一般建议在隐私政策或产品、服务的特定位置进行文字描述,以确保个人信息主体的知情权,并用来应对个人信息主体的咨询或监管部门的审查。描述内容可包括分析、评估的个人信息类型,以及基于何种考虑因素进行决策,所决策的结果对个人信息主体会产生何种程度的影响。
2、保证结果公平、公正。主要为了预防个人信息处理者使用大数据进行“杀熟”,在交易价格等交易条件上实行不合理的差别待遇。基于法律的体系解释,可参考《国务院反垄断委员会关于平台经济领域的反垄断指南》第十七条对“差别待遇”的定义,自动化决策对于交易条件相同的个人是否存在以下因素:
(1)基于大数据和算法,根据交易相对人的支付能力、消费偏好、使用习惯等,实行差异性交易价格或者其他交易条件。最明显的例子则是,互联网打车服务中,对于同样的行驶路径,高ARUP值用户和普通用户看到的打车价格差异较大(普遍认为30%以上为差异较大),其背后核心是通过用户画像筛选出对价格敏感度低和追求效率的人群进行价格“杀熟”。
(2)实行差异性标准、规则、算法。基于市场自由,并未限制对不同人群采取不同的交易价格。例如新用户相对比于老用户可以获得低价优惠或补贴,从而促成新用户的留存。但是如果对于同样的新用户,所补贴的价格实行差异规则,又或者新用户的低价补贴是来自对老用户的提价等差异性标准、规则、算法,则属于不合理的差别待遇。
3、实行合理差异性付款条件和交易方式的建议
差别待遇并不是必然违法,如果个人信息处理者存在以下情况,则可能不被认定实施了差别待遇:
(1)根据交易相对人实际需求且符合正当的交易习惯和行业惯例,实行不同交易条件。例如对于未成年人和老年人提供更为便捷或安全的支付方式。
(2)针对新用户在合理期限内开展的优惠活动。
(3)基于平台公平、合理、无歧视的规则实施的随机性交易。
(4)能够证明行为具有正当性的其他理由。
(三)确保用户自主选择权
通过自动化决策方式向个人进行信息推送、商业营销,个人信息处理者应当同时提供不针对其个人特征的选项,或者向个人提供便捷的拒绝方式。
该要求最直观的要求个人信息处理者对于存在推送和营销的应用,例如APP、小程序、短信、邮箱等,设置“一键关闭、拒绝、退出个性化推送或营销”的简易便捷的渠道,确保个人信息主体可自由选择列入自动化决策的个人信息类型,或者一次性勾选拒绝列入自动化决策的全部范围。
而为何提出“不针对其个人特征的选项”和“便捷的拒绝方式”?主要是考虑不同的产品形态尽可能地便捷。例如短信营销,提供“回复T退订”的拒绝方式比让用户通过短信回复和选择个人特征选项更加便捷。
(四)确保用户在自动化决策作出重大权益影响时的要求解释权和拒绝权
通过自动化决策方式作出对个人权益有重大影响的决定,个人有权要求个人信息处理者予以说明,并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。
由于自动化决策是自动化实现,不掺和人工干预,当所决策的内容会对个人权益产生重大影响的,不仅考虑到个人信息主体的救济难度与成本,更考虑到自动化决策一旦失去人工干预可能对个人权益造成无法挽留的后果。因此,该法条的主旨是当个人信息主体面临仅自动化决策作出的决定时,可以通过要求个人信息处理者说明,以及拒绝的方式以实现自我救济和尽量减少受影响程度。
因此,当自动化决策对个人权益可能产生重大影响的,个人信息处理者可以采取两种措施:
(1)避免仅依靠自动化决策,在关键的分析、评估或决策环节增加人工干预,对决策的准结果进行复核等措施,秉持审慎态度;
(2)向个人信息主体提供清晰的、便捷的投诉、举报途径,个人信息处理者内部设立自动化决策异议的处置机构和流程。
(五)自动化决策提供者和使用者责任义务的承担
一般而言,某些自动化决策具有一定的专业性和技术性,因此在社会分工中存在自动化决策提供者和使用者的角色。对于这两类角色,原则上均需遵循上述规定的要求和履行相关义务。但若存在自动化决策是以本地化部署,提供者仅提供技术支持并不参与其中的个人信息处理活动,则上述规定的要求和相关义务由使用者承担。
二、算法的合规义务
(一)算法管理条例
随着对自动化决策的认识不断加深以及其影响的重大权益越来越重视,监管部门逐渐加强与自动化决策相关的规制力度。
2022年3月1日实施的《互联网信息服务算法推荐管理规定》,对算法推荐服务提供方提出了更多的额外合规义务。该规定所指的算法推荐服务是指,利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息。
如果更加形象明了地解释各类的算法技术,可以以目前的各类互联网企业的产品作为参考,以便于理解。生成合成类,是指如今日头条和网易新闻的新闻资讯,基于单个新闻以用户兴趣爱好等因素生成特定属性的新闻集合提供给用户的。个性化推送,是指如淘宝或京东首页,基于用户的地理位置、购买和浏览行为等因素生成符合该用户预期的商品列表。排序精选类,是指如微博的“微博热搜”,以资讯的新颖度、实时和累计热度等因素对资讯进行排序从而反映社会舆论的资讯列表。检索过滤类,是指如百度搜索,基于过滤规则在检索过程中排除或剔除目标内容从而展示符合过滤目的的信息。调度决策类,是指如滴滴出行、美团外卖,基于行程计划与周边的人力、车辆等资源按照最优、最快的原则或出于商业利益最大化的目的进行资源匹配和调度。随着算法推荐服务被广泛应用于衣食住行各方面的商业场景,所以该规定所规制的对象和范围既全面又核心,并且制定相当详实和可执行的细则。
(二)算法管理条例的合规建议
在《个人信息保护法》《网络安全法》等法律法规的基础上,该规定向算法推荐服务提供方提出额外的合规义务,合规建议包括以下内容:
1、管理制度层面
(1)设立算法管理委员会,明确算法管理责任人员,统管算法管理工作。
(2)建立算法机制审查小组,制定用户模型的兴趣点规则和用户标签管理规则,定期开展算法适应性审查以及科技层面的伦理审查。
(3)设立内容审核小组,采取事前事中事后的预防措施。制定内容审核和发布机制,编制违法信息和不良信息等关键词目录,统一和标准化用户标签管理,制定反电信网络诈骗的策略。
(4)建立安全评估监测、安全事件应急处置制度,对算法推荐服务进行实时监测,发现《网络信息内容生态治理规定》第六条列举的违法信息的,应当立即停止传输,采取消除等处置措施,防止信息扩散,保存有关记录;发现《网络信息内容生态治理规定》第七条列举的不良信息的,应当采取防范和抵制制作、复制、发布的措施。
(5)建立反垄断和反不正当竞争制度,设立定期审查机制,评估和审查算法对其他互联网信息服务提供者是否存在不合理限制或者妨碍、破坏其合法提供的互联网信息服务正常运行,实施垄断和不正当竞争行为。
(6)建立监管联系制度,发现《网络信息内容生态治理规定》第六条列举的违法信息的,应当向网信部门和有关部门报告。需要配合网信部门和电信、公安、市场监管等有关部门开展安全评估和监督检查工作的,提供必要的技术、数据等支持和协助。
2、技术措施层面
(1)以弹窗、推送、定期报告等显著方式告知用户其提供算法推荐服务的情况,并在隐私政策、用户协议等公开文件公示算法推荐服务的基本原理、目的意图和主要运行机制等。
(2)基于特征库在采集源头识别违法和不良信息,在处理过程自动发现和识别违法和不良的衍生信息,并将其从推荐结果中进行剔除。
(3)建立用户注册机制,避免算法推荐服务滥用于非注册用户,以提高算法推荐服务的精准度和减少个人信息主体权益的影响。同时,基于反欺诈策略,发现和识别虚假注册账号、非法交易账号、操纵用户账号或者虚假点赞、评论、转发等行为,并采取警告、封禁账号的措施。
(4)建立反电信网络诈骗的技术机制,基于反电信网络诈骗的策略,识别和排除、或通过高权限的访问管控机制保护能够应用于电信网络诈骗的内容,如个人信息主体的强关联信息、社会关系信息、金融账号信息、行踪轨迹等信息。
(5)建立用户自主选择机制,提供便捷的操作路径,实现用户自主选择和管理兴趣点规则和用户标签管理规则。向用户提供开启或关闭针对其个人特征的选项,或者向用户提供关闭算法推荐服务的选项。
(6)如果向未成年人或老年人提供服务的,创设未成年人和老年人模式。对于未成年人模式,应当增加年龄、性别等关键因素干预算法推荐结果,便利未成年人获取有益身心健康的信息。对于老年人模式,在界面设计和交互层面(如字号较大、操作简单、区域分隔明显、缩减关键路径)照顾老年人的使用体验,加强电信网络诈骗信息的监测、识别和处置。
(7)增加用户申诉和公众投诉、举报入口,明确处理流程和反馈时限,及时受理、处理并反馈处理结果。
(8)对算法服务提供的全流程进行日志记录、留存和备份。
3、特殊算法推荐服务的要求
(1)提供互联网新闻信息服务的,应当依法取得互联网新闻信息服务许可,规范开展互联网新闻信息采编发布服务、转载服务和传播平台服务,不得生成合成虚假新闻信息,不得传播非国家规定范围内的单位发布的新闻信息。
(2)具有舆论属性或者社会动员能力的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息,履行备案手续。
(3)算法推荐服务提供者的备案信息发生变更的,应当在变更之日起十个工作日内办理变更手续。
(4)算法推荐服务提供者终止服务的,应当在终止服务之日起二十个工作日内办理注销备案手续,并作出妥善安排。
(5)完成备案的算法推荐服务提供者应当在其对外提供服务的网站、应用程序等的显著位置标明其备案编号并提供公示信息链接。
(6)具有舆论属性或者社会动员能力的算法推荐服务提供者应当按照国家有关规定开展安全评估
三、相关案例
案例案情简介
某App是北京某公司开发运营的一款知名短视频应用类软件。该App在未以显著、清晰的方式告知并征得儿童监护人明示同意的情况下,允许儿童注册账号,并收集、存储儿童网络账户、位置、联系方式,以及儿童面部识别特征、声音识别特征等个人敏感信息。在未再次征得儿童监护人明示同意的情况下,运用后台算法,向具有浏览儿童内容视频喜好的用户直接推送含有儿童个人信息的短视频。该App未对儿童账号采取区分管理措施,默认用户点击“关注”后即可与儿童账号私信联系,并能获取其地理位置、面部特征等个人信息。2018年1月至2019年5月,徐某某收到该App后台推送的含有儿童个人信息的短视频,通过其私信功能联系多名儿童,并对其中3名儿童实施猥亵犯罪。
审理结果
检察机关依据相关法律法规,推动公司完善管理,提出具体要求。北京某公司积极配合,对所运营App中儿童用户注册环节、儿童个人信息储存、使用和共享环节、儿童网络安全主动性保护等方面细化出34项整改措施,突出落实“监护人明示同意”等规则,重点制定单独的儿童个人信息保护规则、用户协议,建立专门儿童信息保护池、创建推送涉未成年人内容的独立算法等制度机制,并明确落实整改措施时间表。同时,该公司表示将结合整改,完善管理制度,自愿接受网信等部门审查,并愿意公开赔礼道歉、赔偿损失。
2021年2月7日,杭州互联网法院公开开庭审理此案。北京某公司对公益诉讼诉求均予认可,对检察机关依法履行公益诉讼职责、促进企业完善管理表示感谢。在法庭组织下,双方在确认相关事实证据的基础上达成调解协议:一是被告停止对儿童个人信息权益的侵权行为,对涉案App按照双方确认的整改方案、时间推进表执行整改;二是被告完成整改后,对整改情况及效果进行评估,并向公益诉讼起诉人、人民法院出具报告书;三是被告将整改方案及整改完成情况报送网信部门,接受审查;四是被告在《法治日报》及涉案App首页公开赔礼道歉。经30日公告,3月11日,杭州互联网法院出具调解书结案。
案例点评
涉案公司在设计和使用推送算法时缺乏数据安全和个人信息保护意识,内部缺少对算法机制应用的合规评估制度和合规审查干预机制,从而导致完全依靠算法处理个人信息保护并进行自动化推送而产生侵害个人信息权益的违法违规风险。
根据最新法律法规的要求,除检察机关提出的用户注册制、告知与获取同意的履行义务、算法透明度和内容管理等要求外,整改重点还应包括自动化决策的事先个人信息保护影响评估,以及建立结果公平、公正机制,提供可选的拒绝和退出选项等法定内容。
作者:李林兴
审稿:许瑞凤
(文中观点不代表北源律师事务所的观点或法律意见)