她不敢相信她现在所看到的。自从上个月以色列和哈马斯之间爆发战争以来，互联网上不断蔓延的错误信息和暴力内容让她难以理解。瓦格纳去年离开了Facebook的母公司meta，她在信任和安全方面的工作感觉像是来自上一个时代。

　　“当你面临如此大量的视觉内容时，当它像长视频片段一样，有多个视角时，你如何开始管理它?”瓦格纳说。“这种恐怖主义直播的想法，本质上是如此深入和深入的规模，我不知道你是如何做到的。”

　　这个问题更加明显，因为母公司Alphabet和前身为Twitter的X都裁掉了与内容审核、信任和安全相关的工作岗位，这是去年年底开始并将持续到2023年的更广泛的成本削减措施的一部分。专家指出，现在，随着人们发布和分享以前战争的断章断义的视频、新闻剪辑中的捏造音频以及恐怖主义行为的图像视频，世界上访问量最大的网站正在努力跟上。

　　作为一家新的风险投资公司Radium Ventures的创始人，瓦格纳正在筹集她的第一支基金，专门为致力于信任和安全技术的初创公司创始人提供资金。她说，更多认为自己“相当无害”的平台看到了采取行动的必要性。

　　瓦格纳说:“希望这能让人们认识到这样一个事实，即如果你存放用户生成的内容，就有可能传播错误信息、收费信息或潜在的破坏性信息。”

　　除了传统的社交网络之外，以色列和哈马斯战争的高度两极化影响了互联网平台，这些平台通常不以主持政治讨论而闻名，但现在不得不采取预防措施。流行的在线信息和讨论渠道，如Discord和Telegram，可能会被恐怖组织和其他不良行为者利用，他们越来越多地使用多种通信服务来创建和开展宣传活动。

　　Discord发言人拒绝置评。Telegram没有回复记者的置评请求。

　　在儿童游戏网站Roblox上，数千名用户最近参加了在虚拟世界中举行的亲巴勒斯坦抗议活动。Roblox发言人在一份声明中告诉CNBC，这就要求该公司密切监控违反其社区标准的帖子。

　　发言人说，Roblox有数千名版主和“自动检测工具进行监控”，并补充说，该网站“允许表达团结”，但“不允许支持或宽恕暴力、促进恐怖主义或对个人或团体的仇恨，或呼吁支持特定政党的内容”。

　　当谈到在信任和安全领域寻找人才时，并不缺乏。瓦格纳在meta的许多前同事都丢了工作，但仍然致力于这项事业。

　　她的首批投资之一是一家名为Cove的初创公司，该公司由前meta信托和安全工作人员创立。Cove是少数几家新兴公司之一，他们开发的技术可以按照既定的企业软件模型出售给组织。其他meta老手最近也开始使用Cinder和Sero AI来瞄准同样的市场。

　　“它为信息生态系统增加了更多的一致性，”瓦格纳在谈到信任和安全工具的新作物时表示，他也是非营利组织负责任创新实验室的高级顾问。“他们在公司之间提供某种程度的标准化流程，他们可以访问工具和指导方针，从而能够有效地管理用户生成的内容。”

　　意识到这个机会的不仅仅是前meta员工。

　　创业公司TrustLab的创始团队来自b谷歌、Reddit和抖音母公司字节跳动等公司。Intrinsic的创始人此前曾在苹果和Discord从事信任和安全相关问题的研究。

　　在7月份的TrustCon会议上，科技政策专家和其他行业专家前往旧金山，讨论在线信任和安全方面的最新热门话题，包括他们对整个行业裁员可能产生的社会影响的担忧。

　　几家初创公司在展厅展示了他们的产品，宣传他们的服务，与潜在客户交谈，招募人才。ActiveFence自称是“提供信任和安全解决方案以保护在线平台及其用户免受恶意行为和内容侵害的领导者”，在会议上设有展位。内容审核平台Checkstep也是如此。

　　柯夫在这次活动中也有一个展览。

　　Cove首席执行官迈克尔·德沃斯基说:“我认为，削减成本显然影响了劳动力市场和招聘市场。”他在Facebook工作了三年多后，于2021年与他人共同创立了该公司。“我们现在可以雇佣很多优秀的人才。”

　　Cove开发了软件来帮助管理公司的内容政策和审查过程。管理平台与各种内容审核系统或分类器一起工作，以检测骚扰等问题，因此企业可以保护其用户，而无需昂贵的工程师开发代码。该公司的客户包括匿名社交媒体应用YikYak和Sidechat，该公司在其网站上表示，Cove是“我们希望meta拥有的解决方案”。

　　“当Facebook开始真正投资于信任和安全时，市场上并没有他们可以买到的工具，”曾在Facebook工作过7年的Cove技术主管梅森·西尔伯(Mason Silber)说。“他们不想建造，他们不想成为专家。他们这样做更多的是出于需要，而不是出于愿望，他们建立了一些世界上最强大、最值得信赖的安全解决方案。”

　　meta的一位发言人拒绝对本文发表评论。

　　瓦格纳于2022年年中离开meta，此前他在该公司工作了两年半。他表示，早期的内容审核比现在更容易管理，尤其是在当前的中东危机下。她说，例如，在过去，信任和安全团队的成员可以通过相当常规的扫描来分析一张图片，并确定它是否包含虚假信息。

　　但是，上传照片和视频的数量和速度，以及人们操纵细节的能力，尤其是随着生成式人工智能工具变得越来越主流，已经产生了一个全新的麻烦。

　　社交媒体网站现在正在处理与两场同时发生的战争有关的大量内容，一场在中东，另一场在俄罗斯和乌克兰之间。最重要的是，他们必须在不到一年的时间里为2024年的总统选举做好准备。前总统唐纳德·特朗普是共和党总统候选人的领跑者，他因涉嫌干涉2020年大选而在格鲁吉亚受到刑事起诉。

　　研究公司Everest Group的合伙人马努·阿加瓦尔(Manu Aggarwal)说，信任和安全是业务流程服务市场中增长最快的部分，其中包括各种it相关任务和呼叫中心的外包。

　　Everest Group预计，到2024年，整个业务流程服务市场规模将达到3000亿美元左右，其中信任和安全将占110亿美元左右。阿加瓦尔表示，埃森哲(Accenture)和Genpact等提供外包信任和安全服务以及合同工的公司目前占据了大部分支出，主要是因为大型科技公司一直在“构建自己的”工具。

　　由于初创公司专注于向更广泛的客户销售打包且易于使用的技术，Everest Group的业务总监阿比吉南?达斯古普塔估计，到2024年底，信任和安全工具的支出可能在7.5亿至10亿美元之间，高于2023年的5亿美元。他补充说，这个数字在一定程度上取决于企业是否采用了更多的人工智能服务，从而要求它们遵守新兴的人工智能法规。

　　科技股投资者正在把握这个机会。风险投资公司Accel是成立两年的初创公司Cinder的主要投资者。Cinder的创始人帮助meta建立了很多内部信任和安全系统，还参与了反恐工作。

　　“还有什么团队比在定义Facebook的信任与安全运营方面发挥了重要作用的团队更能解决这一挑战呢?”Accel的Sara Ittelson在去年12月宣布融资的新闻发布会上说。Ittelson在接受CNBC采访时表示，随着越来越多的平台意识到需要更大的保护，以及社交媒体市场继续分化，她预计信任和安全技术市场将会增长。

　　新的内容政策法规也刺激了该领域的投资。

　　欧盟委员会现在要求在欧盟拥有大量用户的大型在线平台记录并详细说明他们如何在其服务中缓和和删除非法和暴力内容，否则将面临高达年收入6%的罚款。

　　Cinder和Cove正在推广他们的技术，作为在线企业简化和记录其内容审核程序的方式，以遵守欧盟的新法规，即《数字服务法案》(Digital Services Act)。

　　Cove的Dworsky表示，在缺乏专业技术工具的情况下，许多公司都试图定制销售客户支持软件的Zendesk和谷歌Sheets，以获取他们的信任和安全政策。他说，这可能导致一种“非常手工的、不可扩展的方法”，并将一些公司的流程描述为“重建和建造弗兰肯斯坦的怪物”。

　　不过，业内专家知道，即使是最有效的信任和安全技术，也不是解决暴力内容和虚假信息传播这样一个似乎无法控制的大问题的灵丹妙药。根据反诽谤联盟上周发布的一项调查，70%的受访者表示，在社交媒体上，他们至少接触过几种与以色列-哈马斯冲突有关的错误信息或仇恨中的一种。

　　随着问题的扩大，各大公司正在应对一场持续的斗争，即确定什么构成言论自由，什么越过了非法(或至少是不可接受)内容的界限。

　　网络传染研究所(Network Contagion Research Institute)首席情报分析师亚历克斯?戈登伯格(Alex Goldenberg)表示，除了尽最大努力保持网站的完整性外，公司还应该对用户诚实地说明自己在内容审核方面所做的努力。

　　“很难达到一种平衡，但它是可以达到的，”他说。“我建议的一件事是透明度，因为第三方访问和了解社交平台上大规模发生的事情是必要的。”

　　诺姆·巴丁，导航公司Waze的前首席执行官，现在为b谷歌所有，去年创建了即时通讯服务Post。来自以色列的巴尔丁说，自10月战争开始以来，他一直对错误信息和虚假信息的传播感到沮丧。

　　巴尔丁说:“对正在发生的事情的整体看法是通过社交媒体塑造和管理的，这意味着大量的宣传、虚假信息、人工智能生成的内容涌入，将其他冲突的内容带入这场冲突。”

　　Bardin说，meta和X一直在努力管理和删除有问题的帖子，随着视频的涌入，这一挑战变得更加艰巨。

　　在与Twitter最相似的Post，巴尔丁表示，自公司成立以来，他一直在整合“所有这些审核工具、自动化工具和流程”。他使用的服务来自ActiveFence和OpenWeb，这两家公司都位于以色列。

　　“基本上，只要你在我们的平台上发表评论或发帖，它都会通过它，”巴尔丁在谈到信任和安全软件时说。“它从人工智能的角度来看待它，了解它是什么，并根据伤害、色情、暴力等因素对它进行排名。”

　　Post是信任和安全初创公司关注的公司之一。视频游戏网站、在线市场、约会应用和音乐流媒体网站上也出现了提供实时聊天服务的活跃在线社区，这为用户提供了可能有害的内容。

　　Cinder的联合创始人布莱恩·菲什曼(Brian Fishman)说，“激进组织”依靠服务网络来传播宣传，包括Telegram等平台，以及Rumble和Vimeo等网站，这些网站的技术不如Facebook先进。

　　Rumble和Vimeo的代表没有回应置评请求。

　　Fishman表示，客户开始将信任和安全工具视为其网络安全预算的延伸。在这两种情况下，公司都必须花钱来防止可能发生的灾难。

　　菲什曼说:“部分原因是你在支付保险费用，这意味着你不能每天都从投资中获得全额回报。”“在困难时期，你会多投资一点，这样当你真正需要它的时候，你就有能力了，而现在正是公司真正需要它的时刻之一。”

　　观察:立法者要求社交媒体和人工智能公司打击错误信息