本帖最后由 云审计团队 于 2017-11-19 21:34 编辑云审计EP模块的演进---基础功能 上接《云审计服务“黑科技”讲解之架构初探篇》，本文继续解构EP模块(event process)。EP模块随着服务的特性一直在演进中，本文首先分析基础功能：将一段时间内的操作记录整理成一个对象实时同步保存至OBS 用户桶中。 考虑到操作记录是由用户触发产生带有很强的随机性，我们采用定时拉去操作记录，整理上传OBS的方式。这样对于EP模块主要的功能点就是两点： 1、定时获取操作记录。 2、操作记录上传OBS桶。 定时获取操作记录，这里有个问题，EP集群部署下多个EP节点之间如何分配任务。保证在定时触发的任务中由一个节点处理一个租户的所有操作记录。这里的实现细节及EP集群如何做到高可用，我们下回分解。 操作记录上传OBS桶没什么复杂的难点，利用OBS服务的SDK做集成就好了。不过要考虑的一个问题就是：如果出现任务失败，怎么保证多次上传操作记录文件对象时不出现多个对象文件。因为重试上传的对象文件内容必然有重复的地方，如果出现多个对象文件对于租户来说体验不好，且还存在重复计费的问题，这是我们不能接受的。 5053 理清楚上面的问题，我们的模块设计就如上图所示。开发语言是JAVA。 利用Spring的schedule模块做定时任务调度，每5分钟触发一次拉取操纵记录，然后放入一个内存队列中。 程序启动的时候启动了一个线程池，其中每个线程都在阻塞在获取内存队列中获取操作记录，一旦有操作记录进入队列中，线程抢到任务之后就会完成操作记录合并到一个文件，上传到OBS桶。至于上文提到的重试任务保证上传同一对象的问题，我们利用OBS 对象key一样就会覆盖的特性保证每次重试时生成同一个对象key来解决。 以上就是整个EP模块的处理逻辑。下篇文章我们将继续探讨EP模块的高可用是如何实现的。 PS：云审计服务（Cloud Trace Service）为您提供云账户下资源的操作记录，通过操作记录您可以实现安全分析，资源变更，合规审计，问题定位等场景。您可以通过配置OBS对象存储服务，将操作记录实时同步保存至OBS, 以便保存更长时间的操作记录。欢迎体验

规矩是要有的！ 云审计的基本功能你们都知道了： 4973 还不清楚的，戳这里：http://www.huaweicloud.com/product/cts.html 看我想的多周到 4974 然后，列一下最近上线特性的时间表： 4975 就问一句： 4978 好吧，我又膨胀了，我错了 4976 各位用户大爷、大妈、哥哥、姐姐、弟弟、妹妹们： 对我们服务有啥不爽 或者觉得程序猿们还能压榨出什么新的好用的功能 欢迎留言~ 4977 我们每天都会检（guan）查（shui），下一个功能很可能就是你提出来的哦~

AWS的cloudtrail以及阿里的操作日志都在各个云化解决方案中有着举足轻重的地位。华为云审计服务也不例外，它能为用户提供记录资源操作的能力并配套提供操作事件列表、筛选搜索多种查看功能，同时可以将操作记录合并成文件转储到对象存储以方便用户进行操作记录分析。能够支持千万级数据存储以及实时搜索需要有强大的后端架构支撑，该系列文章会向大家讲解到底云审计服务使用了什么“黑科技”，本文主要带领大家初探云审计架构。 首先使用一幅图介绍云审计的基础功能。一言以蔽之，云审计服务提供资源操作记录、查询事件及转储事件等能力。4956 下面我们分为三个场景来介绍整个数据的流向，从而了解云审计服务的整体架构。下图场景为租户通过控制台下发请求进行事件查询以及追踪器管理的操作。 [*]查询事件：租户通过控制台下发请求，由Console节点进行转发，最终由API处理逻辑并向Cassandra数据库下发请求，最终返回查询结果 [*]追踪器管理：租户可以通过控制台对追踪器进行简单的crud操作。其中Cache存放租户下的热点数据（追踪器信息），当系统内部需要获取租户追踪器信息进行校验等操作时，可大量减少数据库操作，减少系统响应延时。 4957 [*]事件上报：租户在使用云上资源时，这里以ECS为例，当ECS管理节点收到创建/删除成功的消息时，会异步向云审计服务上报该操作相关的事件。云审计服务API节点收到该请求，首先从Cache节点中取出相关追踪器信息判断出该租户有没有开通云审计服务，之后存入Cassandra数据库中。同时EP节点会定时的从Cassandra数据库中拉取事件并转储到对象存储服务中以供租户永久查看事件。 4958 以上就是本篇文章所要介绍的内容，架构虽然简单，但是其中隐藏着不少“黑科技“，例如Cassandra定制化以应对高并发大数据的高效存储、EP集群如何做到均分任务及可靠性保证、云上服务上报事件机制以及异常处理、如何做到双活容灾等等。这些问题后续文章中会想大家一一讲解，不见不散。

本帖最后由 标飞的信仰 于 2017-11-15 21:40 编辑当当当当~你或许从没关注过我，可我一直在偷偷观察着你 4914 怎么样，怕不怕？好吧，我是吓唬你们的，用户是老大嘛！4915 其实也不是吓唬，云审计本来就是对云资源操作详情进行记录和展示的服务怎么样，有木有对我们云审计CTS产生兴趣？请别给我这种反应：4916 我觉得 作为华为云为数不多的可以帮助大中小企事业单位完善信息系统安全建设的良心服务 多少还是值（bi）得（xu）关注的 4917 咳咳，不吹不黑，日志审计系统老牛掰了，全world有一大堆信息数据相关的组织机构，如我国SAC/TC，制定过各种各样与审计日志有关系的标准如：IS0 IEC27000、GB/T20945-2013、COSO、COBIT、ITIL、NISTSP800等4918 而且，很多行业的信息系统认证，可是点名了必需CTS这样儿的功能的，比如金融类、支付类4919 好了，尬完之后，该上干货了，做人还是要厚道CTS除了原本的审计日志收集、展示和存储之外，上新功能了！4920 继支持检测到关键操作时向用户发送邮件短信通知、支持一键创建存储审计日志所用的OBS桶后 你们吐槽过的日志检索机制太呆板的问题，现在解决了！ 4921 CTS现在可以对接云日志服务（LTS），实现任意关键字检索 想搜什么搜什么，so easy！妈妈再也不用担心我定位不到问题了~ 4927 另外，现在审计日志不光能存储，还能加密存储啦！ 拿起你的KMS密钥，就能给存储到OBS桶的审计日志们上锁啦！ 4923 对吧，很实用吧！ 行侠仗义，连门儿都进不来，还搞个P呢！ 4924 容我骄傲1秒 再来个剧透： 审计日志校验功能即将上线！一键识别被篡改的审计日志—— 光有加密怎么行，我们要的是权威性，权威性！ 4925 如果你觉得这还不够，那么，再来个重磅的： 数据操作审计功能即将上线！ 谁家老司机发车了，谁是万恶的伸手党，一目了然~ 4926 咳咳！跑偏了，敲黑板，划重点： 新功能上线！ 易用性提升：CTS对接云日志（LTS），实现审计日志自定义关键字检索 安全性提升：支持审计日志通过用户指定的KMS密钥，加密存储日志数据 说了这么多，不来一波关注么： 戳这里，正确打开云审计

控制台里云审计**状态正常，但是右边只有删除可以点，配置为什么不能点

218 219 220 221 222 223