Anvilogic的战略副总裁Omer Singer揭示了安全数据湖在克服数据孤岛、增强威胁检测和优化弹性安全架构成本方面的关键作用。

以安全信息事件管理(SIEM)为中心的安全数据堆栈受到各种限制的困扰，这些限制正在导致越来越严重和有影响的数据孤岛。

SIEM解决方案造成了这些数据孤岛，其定价模式使完全可见性变得不现实，安全运营越来越多地绕过SIEM来处理公共云基础设施生成的大量日志。对安全数据采取孤立的方法会造成被动的安全态势。

数据孤岛的困境及其对安保团队的影响

数据孤岛使挖掘数据以获得洞察力变得困难，并给数据工程带来了挑战 - 信息被分散在不连续的解决方案和归档中，使得安全分析师的大脑成为整合和综合洞察力的唯一场所。更糟糕的是，数据孤岛将用于仅在入侵事件发生后才开始的调查，而不是用于在杀伤链的早期进行检测。

由于其频繁的变化和虚拟的边界，向云计算的转移使得及时连接这些点变得更加困难。安全团队应该意识到，当他们遇到竖井问题时，他们的单一SIEM解决方案需要帮助，实际上，该解决方案只接收组织安全数据的一小部分。

跨大容量安全数据集检测威胁

由于数据孤岛困扰着企业及其安全团队，在发生事件之前，可见性差距很容易被忽略。从终端检测和响应(EDR)取证数据到AWS访问日志和PowerShell活动，再到VPN遥测，这些海量安全数据集往往无法支持有效的威胁检测。以下是数据孤岛困境的一些常见示例：

·EDR数据被抛在后面：虽然终端检测和响应通常是第一道防线，但其对几乎每一项操作(创建的文件、启动的进程和建立的连接)的全面跟踪阻止了其与大多数SIEM部署的集成。作为一种解决办法，大多数组织会捕获警报记录并留下取证数据——超过99.9%的数据。虽然EDR供应商建议将这些数据存档以用于事件响应(特别是考虑到他们只存储有限的时间)，但许多组织仍在苦苦挣扎。EDR取证数据经常在安全行动的威胁检测工作中丢失。

·云日志未启用：从云存储中流出是重大云入侵的一部分。在这一领域进行早期检测的挑战在于，了解哪些用户下载了文件以及从哪里下载文件至关重要。默认情况下，云存储访问的日志记录通常是禁用的，因此，如果组织不知道启用日志记录或将其日志记录保留在SIEM之外，则这一潜在的强大威胁检测来源将保持未开发状态。

·攻击者靠土地谋生：PowerShell脚本是攻击者在对Windows系统进行后门操作并推出勒索软件时避免被发现的一种方式，但PowerShell中发生了如此多的良性活动，以至于IT组织往往不会跟踪它。直到发现PowerShell支持的入侵和勒索软件攻击时，才为时已晚。

·VPN活动是缺失的一环：鉴于威胁参与者普遍以支持远程登录的基础设施为目标，将HR和终端遥测数据结合在一起来检测VPN数据中的威胁的多维方法是强大的，但只有在这些来源统一时才可用。

这些只是几个通常孤立的安全数据集。对于使用部分或全部这些或其他功能的组织来说，这应该成为多平台威胁检测策略的驱动因素。

安全数据湖在打破孤岛中的作用

竖井的对立面是背景。情景意味着提供更多的安全分析信息，而不是锁定在孤岛中的数据，这为安全团队创造了机会，以创建更好的检测，在攻击链中及早识别攻击者，并培训机器学习模型以实现更强的自动化。

安全领导者应该认识到，收集数据可能不会对威胁检测有用。日益灵活的数据管道和丰富的云存储使这成为一种常见的反模式。无论是将数据留在源位置，还是将其收集但转储到存储桶中，都应将其视为暗安全数据，并对组织的威胁检测状态构成风险。

对于许多组织来说，这些暗数据的量大于收集到SIEM的数据量。因此，使用可扩展且经济高效的安全数据湖来增强SIEM应该是您的安全运营架构不可或缺的一部分。

随着我们进入2024年，我们将看到更多的组织使用多平台解决方案来通过数据湖支持其SIEM，并驯服这些大容量数据集。桥接解决方案的优势不仅仅是减少暗数据和可见性差距带来的风险。支持多个平台进行威胁检测的解决方案可实现优化以节省成本。通过抽象底层日志库，多平台解决方案使检测工程师能够使用最合适且最具成本效益的选项，随着时间的推移迁移用例。

现代数据湖解决方案令人难以置信的能力和性价比为安全运营带来了巨大的希望。今天因为依赖于黑暗数据而不可能进行的检测可以被启用，威胁猎手和检测工程师的创造性潜力可以被释放，但对于大多数组织来说，这只有在逐步过渡时才是可行的。在现状和完全重启之间，第三条横跨现有和新数据平台的路径正在出现——保留目前的工作方式，同时有可能检测到未来的威胁。