ClickHouse > 实例探究 > ClickHouse：Dassana 安全数据湖的骨干

ClickHouse：Dassana 安全数据湖的骨干

技术

应用基础设施与中间件 - 事件驱动型应用
网络安全和隐私 - 云安全

适用行业

电网
国家安全与国防

用例

网络安全
篡改检测

服务

系统集成
培训

关于客户

Dassana 是一个安全数据湖，由成功的连续创业者和云安全资深人士组成的团队创建。他们的目标是整合不同的数据源并提供情境化的数据见解。他们的目标是在不影响性能和优化成本的情况下大规模简化数据访问，使客户能够专注于战略业务优先事项。 Dassana 从各种安全源（例如云安全态势管理 (CSPM) 工具、入侵检测系统 (IDS) 等）获取数据，并将其标准化，从而允许无模式查询和可视化。

登录后查看完整内容

挑战

由于网络风险及其对业务的影响日益增加，现代企业正在对安全产品进行大量投资。如今，典型的大型企业使用十多种安全技术，这些技术会发出各种形状和大小的数据，导致很难理解这些数据。安全信息和事件管理 (SIEM) 系统专为不可变时间序列事件数据而设计，与安全数据的可变性质作斗争。例如，警报的状态可能从“打开”更改为“关闭”，而 SIEM 无法更新此更改。解决方案是重新插入更新的数据并查询最新的数据，这对于 SIEM 等仅附加系统来说是一个挑战。此外，SIEM 公司已停止创新和投资解决数据规范化等基本问题。 Dassana 是一个安全数据湖，旨在应对这些挑战。

登录后查看完整内容

解决方案

Dassana 在评估了十多个不同的大数据系统后选择了 ClickHouse。 ClickHouse 提供了不同表引擎的灵活性，用于根据用例存储数据、使用异步插入频繁插入数据的能力、用于跟踪查询成本的内置会计系统以及自动将数据移动到不同存储层的能力。 Dassana 使用 ReplacingMergeTree 表引擎来存储可变数据，并使用带有物化视图的 AggregatingMergeTree 来实现近乎实时的重复数据删除结果。为了查询重复的数据，他们使用了“group by”聚合查询。随着数据的增长，他们开始使用 ClickHouse 的字典功能来获得更好的性能。他们还尝试了“Join”表引擎，但发现基于字典的方法性能更高。

登录后查看完整内容

运营影响

ClickHouse has provided Dassana with a flexible and cost-effective solution for managing their security data. The different table engines allow Dassana to store data in a format that suits their use case, and the ability to insert data frequently using asynchronous inserts has simplified their operations. The in-built accounting system helps them track query costs, and the automatic data movement to different storage tiers has saved them development time. The advanced external dictionary options have enabled them to achieve better performance as their data grew. However, they also learned that ClickHouse needs to be handled with care and attention to detail, and they recommend using ClickHouse Cloud for managing the complexity of scaling and replicating data.

登录后查看完整内容

数量效益

ClickHouse costs a fraction of what other big data systems would cost Dassana.
ClickHouse's in-built storage tier system has saved Dassana precious development time.
Dassana can store hundreds of millions of assets (distinct record_id) data on a 32GB RAM box.

登录后查看完整内容