AWSAthena分析日志-创新互联

AWS里面可以用Athena来分析S3里面保存的日志，他把日志转换成数据库表的格式，这样就可以通过sql语句进行查询了。这个功能和在windows服务器上用logparser来分析Exchange或者IIS的日志很相似。

创新互联建站是专业的合川网站建设公司，合川接单;提供成都做网站、成都网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行合川网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

下面做个演示，通过Cloudtrail记录管理日志，然后通过Athena来查询日志内容。

首先选择CloudTrail, CloudTrail 是一个日志记录的服务，他和cloudwatch的区别在于这个服务更多是侧重于审计，他的内容都是关于什么时候，什么账号，从什么IP上进行了什么操作。

AWS Athena 分析日志

点击 Create Trail

AWS Athena 分析日志

取个名字，创建一个新的S3 bucket来保存日志

AWS Athena 分析日志

创建好之后可以看见他自动已经在记录最新的日志了

AWS Athena 分析日志

然后选择 Athena

AWS Athena 分析日志

跳过向导，直接进入查询器的编辑器，这里是编辑SQL语句的地方。这里我直接创建一个的数据库

AWS Athena 分析日志

下面来创建一个表，从指定的S3 Bucket里面获取数据。
我们可以通过向导创建，但是比较繁琐

AWS Athena 分析日志

比较容易的是通过脚本创建，注意最后一行S3存储桶的地址

CREATE EXTERNAL TABLE cloudtrail_logs (
eventversion STRING,
useridentity STRUCT<
               type:STRING,
               principalid:STRING,
               arn:STRING,
               accountid:STRING,
               invokedby:STRING,
               accesskeyid:STRING,
               userName:STRING,
sessioncontext:STRUCT<
attributes:STRUCT<
               mfaauthenticated:STRING,
               creationdate:STRING>,
sessionissuer:STRUCT<  
               type:STRING,
               principalId:STRING,
               arn:STRING, 
               accountId:STRING,
               userName:STRING>>>,
eventtime STRING,
eventsource STRING,
eventname STRING,
awsregion STRING,
sourceipaddress STRING,
useragent STRING,
errorcode STRING,
errormessage STRING,
requestparameters STRING,
responseelements STRING,
additionaleventdata STRING,
requestid STRING,
eventid STRING,
resources ARRAY>,
eventtype STRING,
apiversion STRING,
readonly STRING,
recipientaccountid STRING,
serviceeventdetails STRING,
sharedeventid STRING,
vpcendpointid STRING
)
ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde'
STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://mycloudtrailbucket-faye/AWSLogs/757250003982/';

AWS Athena 分析日志

创建表成功的样子

AWS Athena 分析日志

下面我们可以进行一个简单的查询，结果如下。

AWS Athena 分析日志

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

名称栏目：AWSAthena分析日志-创新互联
当前地址：http://shouzuofang.com/article/doojic.html

网站建设知识

AWSAthena分析日志-创新互联

其他资讯