人工智能在开源情报中扮演的新角色

2024-07-08 14:19:13 0 369

人工智能在开源情报中扮演的新角色



开源情报
最近,国家情报总监办公室 (ODNI) 公布了一项新的开源情报 (OSINT) 战略,并将 OSINT 称为“首选情报”。公共和私营部门组织正在意识到该学科可以提供的价值,但也发现近年来数字数据的指数级增长已经压倒了许多传统的 OSINT 方法。值得庆幸的是,人工智能 (AI) 和机器学习 (ML) 开始对信息收集和分析的未来产生变革性影响。

什么是开源情报(OSINT)?#
开源情报是指从公开来源收集和分析信息。这些来源可以包括传统媒体、社交媒体平台、学术出版物、政府报告以及任何其他可公开访问的数据。开源情报的主要特点是它不涉及秘密或隐秘的信息收集方法,例如人力情报或社会工程。如果我在美国政府工作期间可以获得数据,但作为平民我不再能获得数据,那就不是开源情报。

从历史上看,OSINT 是一个劳动密集型的过程,涉及几个关键步骤:

来源识别:分析师确定哪些公共来源可能包含相关信息。
数据收集:通常通过手动搜索或网络抓取工具从这些来源收集信息。
数据处理:对收集到的信息进行组织和结构化,以供分析。
分析:熟练的分析师检查数据以识别模式、趋势和见解。
报告:将调查结果汇编成报告,以便决策者做出更明智的决策。
虽然这种方法有效,但由于可用信息量巨大,这种方法也面临限制。人类分析师很难手动处理所有事情,有价值的见解可能隐藏在人类难以察觉的复杂模式中。这正是人工智能/机器学习在信息收集、处理和分析方面可以发挥巨大作用的地方,从而让人类分析师可以专注于他们独有的才能,比如提供背景信息。作为一个附带好处,这种转变通常会提高士气,因为人类花在平凡的处理任务上的时间更少,而花在分析和审查信息上的时间更多。

AI/ML 能够带来直接益处的任务包括:

处理海量数据:人工智能系统能够以远超人类能力的速度处理和分析大量数据。这使得 OSINT 从业者能够比以前撒下更大的网,并且仍能处理结果。
实时分析:当今数字世界中的信息流量惊人。人工智能驱动的 OSINT 工具可以实时监控和分析数据流,提供最新情报并快速应对突发情况。
多语言和多模式分析:人工智能可以同时翻译和分析多种语言的内容,打破语言障碍。此外,它可以以集成的方式处理各种数据类型(文本、图像、音频和视频),提供更全面的情报图景。许多功能(例如 OpenAI 的 Whisper)都可以离线使用,从而消除对操作安全性(OPSEC)的任何担忧。
预测分析:通过分析历史数据和当前趋势,人工智能可以帮助预测未来事件或行为,为 OSINT 增加主动维度。
日常任务自动化:人工智能可以帮助实现开源情报的许多耗时环节的自动化,例如数据收集和初始筛选,从而让人类分析师能够专注于更高层次的分析和决策。以前很难甚至不可能实现的事情,例如准确的情绪分析,现在变得微不足道。
在SANS 网络安全中,SEC497 实用 OSINT课程和SEC587 高级 OSINT课程将为学生提供利用这些 AI 功能的实践经验,不仅可以提高生产力,还可以发现新的可能性。

虽然没有一种技术是完美的,而且在实施人工智能之前我们必须考虑幻觉可能造成的潜在影响,但目前用于 OSINT 的关键技术包括:

自然语言处理 (NLP): NLP 使机器能够理解、解释和生成人类语言。在 OSINT 中,NLP 对于以下方面至关重要:
社交媒体帖子的情绪分析
实体识别,用于识别文本中的人物、组织和位置
主题建模对大量文本数据进行分类
用于多语言情报收集的机器翻译
计算机视觉:该技术使机器能够解释和分析视觉信息。在 OSINT 中,计算机视觉用于:
图像和视频中的面部识别
通过面部比较来识别多幅图像中是否出现了同一个人
图像中的物体检测
光学字符识别 (OCR) 从图像中提取文本
视频片段中的场景理解
机器学习和数据挖掘:您听过多少次“不懂历史的人注定要重蹈覆辙”?机器学习是这一概念的化身,因为它允许系统从数据中学习并随着时间的推移提高其性能。在 OSINT 中,它们用于:
预测分析以预测趋势或事件
异常检测以识别异常模式或行为
对数据进行聚类和分类以便于分析
通过网络分析来了解实体之间的关系
我从事开源情报工作已有近二十年,这是迄今为止我见过的最具活力、最令人兴奋的时代,该领域每天都在发生新发展。如果您今年 9 月要参加拉斯维加斯的网络安全活动,我期待与您讨论这种能力如何提高我们今天的效率和效力,以及我们对未来的期望。

尚未注册 SANS 网络安全?查看此页面查看所有可用内容!

注意: 本文由SANS 首席讲师兼 Argelius Labs 负责人Matt Edmondson精心撰写,他拥有十年专业 OSINT 经验。

关于作者

maojila49篇文章213篇回复

评论0次

要评论?请先  登录  或  注册