Facebook声称，尽管存在误导，不真实和其他有害信息，但仍继续渗透到数百万用户的提要中，它正在从平台上检测并删除令人反感的内容变得越来越好。在Facebook最新的《社区标准执行报告》之前向记者做简报时，该报告概述了Facebook在6月至8月之间为删除违反其规则的帖子所采取的行动，该公司表示，已部署了经过优化的新AI系统，以识别上传到以下网站的仇恨言论和错误信息Instagram和Facebook在被社区成员报告之前。
Facebook继续在AI内容过滤技术上进行投资，原因是有报道表明该公司未能阻止有问题的照片，视频和帖子的传播。Buzzfeed News本周报道说，根据Facebook内部文件，在2020年美国总统大选前后贴在误导性或虚假帖子上的标签对帖子的共享方式几乎没有影响。路透社最近发现超过三打的页面和组，带有关于罗兴亚难民和无证移民的歧视性语言。1月，西雅图大学副教授凯特琳·卡尔森(Caitlin Carlson)发布了一项实验的结果，在该实验中，她和一位同事收集了300多个似乎违反了Facebook仇恨言论规则的帖子，并通过该服务的工具进行了举报。根据该报告，最终只删除了大约一半的职位。
在辩护中，Facebook说，它现在主动检测最终删除的仇恨言论的94.7%，与2020年第二季度相同，并且从2019年全年的80.5%上升。它声称有2210万仇恨言论从Facebook和Instagram删除。在第三季度，有232,400宗上诉和4,700宗被恢复。Facebook表示，由于与大流行相关的人员短缺，它不能总是向用户提供上诉决定的选项-Facebook的主持人(其中约有15,000名是合同雇员)在在家中工作时遇到了与处理敏感数据有关的障碍。但是该公司表示，它使人们有能力表明他们不同意决策，这在某些情况下导致推翻了推翻。
为了提高性能并自动在美国观看的1.5亿条内容上贴标签，Facebook表示，它推出了一种名为Linformer的AI模型架构，该架构现在用于分析数十亿条Facebook和Instagram帖子。Facebook表示，借助今年早些时候在开源中提供的Linformer，Facebook表示该模型的计算速度呈线性增长，这使得可以使用更大的训练文本片段，并在理论上实现更好的内容检测性能。
SimSearchNet ++也很新，它是Facebook现有SimSearchNet计算机视觉算法的改进版本，经过训练可以精确匹配图像的变化。Facebook表示，该照片部署在运行于用户上传的图像上的照片索引系统中，它对诸如裁剪，模糊和屏幕截图之类的操作具有弹性，并具有匹配预测功能，从而可以在对错误信息拼贴进行分组的同时识别出更多匹配项。此外，对于包含文本的图像，该公司声称SimSearchNet ++可以使用光学字符识别以“高”精度识别匹配项。
除了SimSearchNet ++之外，Facebook还说，它已经开发出了一种算法，可以确定两段内容何时传达相同的含义，并且可以检测独立于事实的事实检查者的各种变异。(应该指出，据报道，Facebook已向其70多个第三方国际事实检查人员中的至少一部分施加压力，要求其更改其裁决，从而可能使新算法的使用性降低。)这些方法基于以下技术： Facebook的ObjectDNA，专注于图像中的特定对象，而忽略了分散注意力的混乱情况。这样一来，即使图片看起来互不相同，算法也可以找到声明的复制品，其中包含已标记图像中的片段。Facebook的激光同时，跨语言句子级嵌入以使算法能够评估句子的语义相似性的方式，在文本和图像中表示93种语言。
为了解决虚假信息，Facebook声称已开始使用Deepfake检测模型，该模型已针对来自Deepfake Detection Challenge(Deepfake检测挑战)委托的唯一数据集对100,000多个视频进行了训练，该数据集是Facebook和其他公司及学术机构组织的一项开放式协作计划。当检测到新的Deepfake视频时，Facebook会利用多个生成性对抗网络创建新的类似的Deepfake示例，以用作其Deepfake检测模型的大规模训练数据。
Facebook拒绝透露其Deepfake检测模型的准确率，但Deepfake Detection挑战的早期结果表明，Deepfake是一个移动的目标。与为该任务创建的公共数据集相比，来自2,000多个参与者的35,000多个性能最高的模型仅实现了82.56%的准确性。
Facebook还表示，它建立并部署了一个名为“强化完整性优化器”(RIO)的框架，该框架使用强化学习来优化仇恨语音分类器，该分类器可查看上传到Facebook和Instagram的内容。RIO的影响并未在最新的执行报告中反映出来，因为它是在2020年第三季度部署的，它指导AI模型直接从数百万内容中学习，并使用指标作为奖励信号来优化整个开发过程中的模型。根据Facebook的说法，与Facebook的旧分类系统(在固定的数据集上进行训练然后部署到生产中)不同，RIO不断评估其运行状况，并尝试学习和适应新的情况。
Facebook指出，仇恨言论因地区而异，因群体而异，并且可以根据时事和选举等话题迅速发展。用户经常尝试通过讽刺和语，故意的拼写错误和照片更改来掩饰仇恨言论。名为QAnon的阴谋运动臭名昭著地使用代号和听起来无害的标签来隐藏其在Facebook和其他社交媒体平台上的活动。
RIO中的数据采样器估计违反规则和遵循规则的Facebook帖子作为培训示例的价值，确定哪些帖子将产生最有效的仇恨语音分类器模型。Facebook表示，正在努力部署其他RIO模块，包括模型优化器，使工程师能够编写自定义的参数和特征搜索空间。一个“深度强化控制器”，将生成候选数据采样策略，功能和架构;以及超参数以及执行和排名系统模拟器，以便为来自控制器的候选人提供正确的信号。
在典型的AI驱动的完整性系统中，预测和执行是两个单独的步骤。AI模型可以预测是仇恨言论还是煽动暴力，然后由一个单独的系统确定是否要采取行动，例如删除，降级或将其发送给人类专家进行审查……这种方法具有多种重要意义缺点，[因为]一个系统可能擅长捕捉仇恨言论，这种仇恨言论只涉及很少的人，但是却无法捕捉到其他分布更广的内容。” Facebook在博客中解释道。“有了RIO，我们不仅可以获得更好的训练数据样本。我们的系统可以直接关注防止人们看到此内容的底线目标。”
然而，人工智能的成就是有限的，尤其是对于像模因这样的内容而言。当Facebook发布Hateful Memes数据集时，该基准旨在评估用于消除仇恨言论的模型的性能，最准确的算法Visual BERT COCO达到了64.7%的准确度，而人类在该数据集上展示了85%的准确度。纽约大学的一项研究7月发表的论文估计，Facebook的AI系统每天会犯约300,000个内容审核错误，有问题的帖子继续通过Facebook的筛选器。在一个于本月创建并迅速增长至近40万人的Facebook组织中，要求对2020年美国总统大选进行全国范围重新计票的成员交换了关于所谓的选举舞弊的毫无根据的指控，每隔几秒钟就进行一次州投票。
针对上述最后一个说法，Facebook说，在美国大选前夕，Facebook违反了选民干预政策，从Facebook专有网站和Instagram中删除了超过265,000条内容。此外，该公司声称，仇恨言论在其平台上的流行率在7月到9月之间仅为0.10%至0.11%，相当于“每10,000个内容观看内容中有10到11个仇恨言论”。(需要注意的是，流行率指标是基于帖子的随机样本，衡量内容的覆盖率而不是纯粹的帖子数，并且尚未由外部来源进行评估。)
Facebook的AI模型和数据集中的潜在偏见和其他缺陷有可能使事情进一步复杂化。NBC最近的一项调查显示，去年在美国的Instagram上，黑人用户通过自动审核系统禁用其帐户的可能性比其活动表明是白人的用户高50%。当Facebook不得不将内容审核员送回家并在隔离期间更多地依赖人工智能时，首席执行官马克·扎克伯格(Mark Zuckerberg)说，由于系统经常无法理解上下文，错误是不可避免的。
除了技术挑战之外，各组织将Facebook的不一致，不明确以及在某些情况下引起争议的内容审核政策归咎于在删除滥用帖子方面的失误。根据《华尔街日报》的报道，Facebook经常无法迅速处理用户报告并执行其自己的规则，从而使材料(包括对“严重暴力”的描绘和赞美)站不住脚，这也许是因为其许多主持人身体上很遥远。
根据《纽约时报》的数据库，今年夏天，有100个隶属于QAnon的Facebook团体以每周超过13,600名新粉丝的速度增长。在另一起诉讼中，Facebook未能执行一项历史悠久的“呼吁武器”政策，禁止页面鼓励人们携带武器进行恐吓，从而使Facebook用户可以组织一次在威斯康星州基诺沙杀死两名抗议者的事件。扎克伯格本人据称曾说过，前白宫顾问史蒂夫·班农建议将安东尼·福奇博士和联邦调查局局长克里斯托弗·雷伊斩首，这并不足以违反Facebook的规则，将他永久性地从平台上吊下-即使考虑到Twitter决定永久中止该决定Bannon的帐户。
包括反诽谤联盟，全国有色人种促进协会和色变组织在内的民权组织还声称，Facebook无法在美国以及印度和缅甸等世界各地的地区执行其仇恨言论政策，使用Facebook促进针对少数群体的暴力和拘禁的地方。这些组织组织了一次广告抵制，其中有1000多家公司减少了一个月的社交媒体广告支出。
上周，Facebook透露，它现在将用户和模型识别的内容组合到一个集合中，然后进行过滤，排名，重复数据删除并将其交给数千名主持人。通过使用AI优先安排潜在烦恼的帖子以供主持人审阅，其想法是将低优先级内容的删除委派给自动系统。但是，依靠人为节制不一定比依靠AI更好。与今年5月以5200万美元和解的Facebook内容主持人达成和解的律师们确定，多达一半的Facebook主持人在工作中可能会因暴露于图形视频，仇恨言论和其他令人不安的内容而出现心理健康问题。
就在本周，有200多家Facebook承包商在一封公开信中表示，该公司正在让内容主持人在大流行期间返回办公室，因为它试图更多地依赖自动化系统的尝试“失败了”。工人们呼吁Facebook及其包括埃森哲和CPL在内的外包合作伙伴改善安全和工作条件并提供危害赔偿。他们还希望Facebook直接聘请其所有主持人，让那些与高危人群一起生活的人可以无限期在家工作，并提供更好的医疗保健和心理健康支持。
为了回应立法者的压力，FCC以及其他方面，Facebook在今年夏天和秋天实施了旨在打击违反标准的病毒内容的规则。属于因违反其策略而被删除的组的成员和管理员暂时无法创建任何新组。Facebook的建议中不再包括任何与健康相关的小组，并且QAnon在该公司所有平台上均被禁止。Facebook监督委员会是一个外部团体，将就应在Facebook平台上允许和禁止使用哪种内容做出决定并影响先例，该委员会于10月开始审查内容审核案件。而且，Facebook同意向主持人提供心理健康指导，因为它将推出其主持人工具的更改，这些工具旨在减少查看有害内容的影响。
但是，越来越明显的是，防止有害内容在Facebook上的传播是一个棘手的问题-该公司声称的政治偏爱和不愿采取任何行动表明该公司的算法引发了两极分化，这一问题进一步恶化。尽管存在种种缺陷，但AI可能是解决方案的一部分，但要想扭转Facebook令人担忧的分裂趋势，它所需要的不仅是新颖的算法。
