Hadoop数据安全方案ApacheEagle

eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案 － Apache Eagle ，该项目已正式加入Apache 称为孵化器项目。

Apache Eagle提供一套高效分布式的流式策略引擎，具备高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对客户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大数据的安全。

Eagle 是开源分布式实时Hadoop数据安全方案，支持数据行为实时监控，能立即监测出对敏感数据的访问或者恶意的操作，并立即采取应对的措施。

• 监控Hadoop中的数据访问流量
• 检测非法入侵和违背安全规则的行为
• 检测并防止敏感数据丢失和访问
• 实现基于策略的实时检测和预警
• 实现基于客户行为模式的异常数据行为检测

• 高实时： 我们充分了解安全监控中高度实时和快速反应的重要性，因而设计Eagle之初，我们竭尽可能地确保能在亚秒级别时间内产生告警，一旦综合多种因素确订为危险操作，立即采取措施阻止非法行为。
• 可伸缩：在eBay Eagle 被部署在多个大型Hadoop集群上，这些集群拥有数百PB的数据，每天有8亿以上的数据访问时间，因而Eagle必需具备解决海量实时数据的高度可伸缩能力。
• 简单易用：可用性也是Eagle产品的核心设计准则之一。通过Eagle的Sandbox，使用者仅需数分钟便可以设置好环境并开始尝试。为了使得客户体验尽可能简单，我们内置了许多很好的例子，只要简单地点击几步鼠标，便可以轻松地完成策略地创立和增加。
• 客户Profile：Eagle 内置提供基于机器学习算法对Hadoop中客户行为习惯建立客户Profile的功能。我们提供多种默认的机器学习算法供你选择用于针对不同HDFS特征集进行建模，通过历史行为模型，Eagle可以实时地检测异常客户行为并产生预警。
• 开源：Eagle一直根据开源的标准开发，并构建于诸多大数据领域的开源产品之上，因而我们决定以Apache许可证开源Eagle，以回馈社区，同时也期待取得社区的反馈、协作与支持。

https://github.com/apache/eagle