日志服务

日志服务一站式提供数据采集、加工、查询与分析、可视化、告警等功能，全面提升用户在研发、运维、运营、安全等场景的数字化能力。

查询分析

查询分析功能模块支持原始日志查询，和结构化查询分析，帮助用户统计系统、分析各类日志，助力业务运维。

原始日志查询

平台原始日志查询基于ES开发的，可支持按租户、项目、集群维度查询权限控制，日志匹配方式支持全字匹配和模糊匹配。ES存储日志时，会将日志内容切成一个个单词，日志查询时，去跟这些单词匹配。全字匹配是指完整的匹配整个单词，可以支持输入多个单词，只要有一个单词匹配上就会返回在结果集中；模糊匹配可以匹配一个单词的部分字符，需要注意模糊匹配只能匹配一个单词，输入多个单词也会被当作一个单词去匹配，可能无法匹配到想要的结果。

原始日志查询步骤如下所示。

(1) 用户登录平台，点击[所有产品/安全和运维/应用监控/日志服务]菜单项，缺省进入“查询分析/原始日志查询”页面，进入原始日志查询页面，如下图所示。

(2) 选择要查询日志的项目及对应的集群，选择日志类型，日志分为标准日志、采集日志。

信息

• 标准日志：系统采集的容器日志。
• 采集日志：同时进行目录内日志采集后的容器日志。
• 调用日志：API网关的调用日志。

(3) 输入查询条件过滤，目前系统提供5种过滤条件：关键字、服务、中间件、工作负载、正则表达式，其中中间件又分为MySQL、MongoDB、Redis、RabbitMQ、RocketMQ、Kafka、XXL-JOB、Memcached、ZooKeeper、ElasticSearch、PostgreSQL、MinIO。

信息

• 过滤条件选择正则匹配后，左侧条件无“关键字”，增加“正则表达式”。
• 如果用户已经输入查询条件，切换正则匹配模式，清除关键字条件；反之，从正则匹配切换到其它模式，清除正则条件。
• 下拉点击正则表达式，输入框填充文字“正则”，用户输入正则表达式，回车确认。
• 已经添加一条正则规则后，添加其它条件时，下拉框去掉正则条件，只显示服务、中间件和工作负载。

(4) 选择过滤条件匹配方式，匹配方式分为全字匹配和模糊匹配。

(5) 选择要查询日志的具体时间段，单击<确定>按钮，日志查询成功。

(6) 选择日志时间段分布，系统提供时间段分布：1分钟、2分钟、5分钟、10分钟、15分钟、30分钟、1小时、6小时、1天。用户可查看对应的日志数量分布柱状图。

历史容器组日志查询

系统支持查询历史容器组日志，考虑到日志数量庞大及良好的用户体验，历史容器组日志查询过滤条件为关键字时不支持时间选择。历史容器组日志查询步骤如下所示。

(1) 用户登录平台，点击[所有产品/安全和运维/应用监控/日志服务]菜单项，缺省进入“查询分析/原始日志查询”页面，进入原始日志查询页面。

(2) 选择要查询日志的项目及对应的集群，选择日志类型，日志分为标准日志、采集日志、调用日志。

(3) 输入查询条件过滤，目前系统提供5种过滤条件：关键字、服务、中间件、工作负载、正则表达式，其中中间件又分为MySQL、MongoDB、Redis、RabbitMQ、RocketMQ、Kafka、XXL-JOB、Memcached、ZooKeeper、ElasticSearch、PostgreSQL、MinIO，注意第一个条件不能是关键字。

(4) 选择过滤条件匹配方式，匹配方式分为全字匹配、模糊匹配。

(5) 选择要查询日志的具体时间段，单击<确定>按钮。

(6) 选中查询近X天历史容器组，选择要查询的容器组、选择对应的容器（包括历史的容器组和容器），用户可根据业务需要配置“关键字上下文查询行数”；由于关键字全字匹配时，会按照单词逐个匹配。匹配词数越大，匹配越精确，用户可配置“最小匹配词数”。

(7) 选择日志时间段分布，系统提供时间段分布：1分钟、2分钟、5分钟、10分钟、15分钟、30分钟、1小时、6小时、1天。用户可查看对应的日志数量分布柱状图。

日志显示设置

系统支持日志显示自动换行、日志全屏显示、日志下载，其中日志下载支持普通下载或者压缩下载。

日志显示支持容器、容器组、时间的自定义显示，用户可以按需配置。

结构化查询分析

(1) 选择要查询日志的项目及对应的集群，选择对应的日志组、日志对象（默认显示全部日志对象）。

当日志对象类型为“容器服务”、“主机服务”时，日志对象下拉列表中显示对应服务名称（容器服务）或者服务名称（主机服务）。

(2) 配置对应的查询条件、SQL分析语法输入框，将鼠标移至说明图标可查看语法说明详情，选择要查询日志的具体时间段，单击<确定>按钮。

图表分析tab：支持列表、折线、柱状、饼图，用户可按需选择对应的统计图类型。

日志管理

日志组是一组相关联业务的日志对象集合，对日志对象进行结构化处理，便于后续查询分析。

日志对象包括容器服务的标准日志、主机服务日志、API网关调用日志等，采集日志时，默认使用采集时间。如需使用日志内容的时间进行搜索，可通过结构化处理，将时间字段进行索引配置，设置成日志时间，然后在查询分析处即可支持时间段查询。

添加日志组

(1) 用户登录TCE平台，点击[所有产品/安全和运维/应用监控/日志服务/日志管理]菜单项，选择要添加日志组的项目及对应的集群，进入日志组列表页面。

(2) 单击<添加日志组>按钮，进入日志组配置页面，配置日志组对应参数。

信息

• 日志组名称：由3~50个汉字、字母、数字、中划线组成，不能以中划线开头或结尾。
• 日志组ID：系统自动生成，日志组创建后，日志组的ID不允许修改，对应的ES索引以ID+timestamp定义。
• 描述：可由1-128个汉字或字符组成。

(3) 日志组参数配置完成后，单击<确定>按钮，日志组创建成功。

查询分析

(1) 用户登录TCE平台，点击[所有产品/安全和运维/应用监控/日志服务/日志管理]菜单项，选择要查询分析日志组的项目及对应的集群，进入查询分析页面。

(2) 找到要查询分析的日志组，单击操作列的<查询分析>按钮，进入结构化查询分析页面，此时过滤条件处已填充项目集群，及对应的日志组。

编辑日志组

(1) 用户登录TCE平台，点击[所有产品/安全和运维/应用监控/日志服务/日志管理]菜单项，选择要查询分析日志组的项目及对应的集群，切换至“日志管理”页面，进入日志组列表页面。

(2) 找到要编辑的日志组，单击<编辑>按钮，进入日志组编辑页面，编辑日志组对应参数。

(3) 编辑完成后，单击<确定>按钮，日志组编辑成功。

删除日志组

(1) 用户登录TCE平台，点击[所有产品/安全和运维/应用监控/日志服务/日志管理]菜单项，选择要查询分析日志组的项目及对应的集群，切换至“日志管理”页面。

(2) 找到要删除的日志组，单击<删除>按钮，确认删除后，单击<确定>按钮，日志组删除成功。

添加日志对象

添加日志对象的操作步骤如下所示。

(1) 用户登录TCE平台，点击[所有产品/安全和运维/应用监控/日志服务/日志管理]菜单项，选择要查询分析日志组的项目及对应的集群，切换至“日志管理”页面。

(2) 找到要添加日志对象的日志组，点击日志组名称链接，进入日志组详情页，单击<添加日志对象>按钮，进入日志结构化配置页面，该页详细的参数说明如下所示。

(3) 根据用户角色展示其所在的项目及集群，选择日志对象类型：容器服务、API网关、主机服务。

信息

• 容器服务：单选某个服务。
• API网关：单选分组、或者API，API网关调用日志，默认选中JSON，不允许选其他，多层嵌套，提取字段例为a.b.name。
• 主机服务：单选某个主机服务。
• 结构化方式：通过提取规则将日志对象的日志进行结构化，提取出有固定格式或相似程度较高的日志，过滤掉不需要的日志，以便后续进行查询分析。

(4) 根据业务需要选择日志的结构化方式，选择不同方式时，配置的参数如下所示。

• 分隔符：指定分隔符（空格、冒号）拆分日志正文，选择该方式时，配置步骤如下所示。

STEP

• 容器服务：单选某个服务。
• 选择分隔符：空格、制表符、“|”、“;”、“，”、自定义。
• 单击“提取”按钮，按照规则进行字段提取，列出示例字段；字段名称支持自定义，名称由3-15个小写字母或下划线组成，以小写字母开头或结尾。

JSON

配置使用实际场景的示例日志，示例如下图所示。

STEP

1. 单击“提取”按钮，提取对应的字段，提取字段默认都是text类型。
2. 单击“下一步”按钮，进入索引页面，开启索引状态，开启后，可以对上一步的提取的字段，设置其字段类型（keyword、long、double、date）。选择date后，操作增加“配置时间格式”，配置完成后，才能确定完成结构化处理，配置页面如下图所示。
3. 选择时区，配置时间格式，勾选是否设置为日志时间，设置后，查询分析时支持按时间段搜索日志。
4. 单击“提取”按钮，提取对应的字段，通过正则表达式将日志内容提取为Value后，您需要为每个Value设置对应的Key，即字段名称。

正则分析

配置使用实际场景的示例日志，示例如下图所示。

开启后，支持为提取字段设置类型，不同类型支持不同的查询语法，并开启分析功能。索引配置发生修改，仅对第二天写入的新数据生效，已构建好的旧数据索引不会更新。

(1) 参数配置完成后，单击<确定>按钮，日志对象添加成功。

(2) 单击<下一步>按钮，进入索引页面，开启索引状态，开启后，可以对上一步的提取的字段，设置其字段类型（keyword、long、double、date）。选择date后，操作增加“配置时间格式”，配置完成后，才能确定完成结构化处理，配置页面如下图所示。

选择时区，配置时间格式，勾选是否设置为日志时间，设置后，查询分析时支持按时间段搜索日志。容器组日志查询页面如下图所示。

编辑日志对象

(1) 用户登录TCE平台，点击[所有产品/安全和运维/应用监控/日志服务/日志管理]菜单项，选择要查询分析日志组的项目及对应的集群，切换至“日志管理”页面。

(2) 找到要编辑日志对象的日志组，点击日志组名称链接，进入日志对象列表页面，找到要编辑的日志对象。

(3) 单击<编辑>按钮，进入日志对象编辑页面，编辑“结果化方式/索引配置”对应参数。

(4) 单击<确定>按钮，日志对象编辑成功。

删除日志对象

(1) 用户登录TCE平台，点击[所有产品/安全和运维/应用监控/日志服务/日志管理]菜单项，选择要查询分析日志组的项目及对应的集群，切换至“日志管理”页面。

(2) 找到要删除日志对象的日志组，点击日志组名称链接，进入日志对象列表页面，找到要删除的日志对象。

(3) 单击<删除>按钮，进入日志对象删除确认页面，确认删除后，单击<确定>按钮，日志对象删除成功。

主机日志采集

通过在主机上安装Agent和Flunted来采集业务服务的日志，以便进行查询分析。

添加主机日志

(1) 用户登录TCE平台，点击[所有产品/安全和运维/应用监控/日志服务/日志管理]菜单项，选择要查询分析日志组的项目及对应的集群，切换至“主机日志采集”页面。

(2) 单击<添加主机日志>按钮，进入主机日志配置页面，如下图所示，详细参数说明如下所述。

• 主机服务：主机日志的服务名称，此服务名称做唯一性校验，与项目&集群中容器服务、主机服务名称不重复。
• 主机组：按租户、项目、集群过滤可显示的主机IP，每个IP后显示agent状态（运行中或已停止），主机组支持多选。

用户需为日志服务配置集群外访问地址，如未配置，请联系系统管理员，vm-agent的安装过程如下所示。

STEP

1. 下载vm-agent安装包，点击“下载agent”链接，下载对应的安装包。
2. 将准备好的安装包上传到服务器，安装路径以/opt为例，上传安装包至此路径。
3. 进入/opt，执行解压命令 tar zxvf deploy.tar.gz 。
4. 执行安装，成功安装后将自动启动进程，并与日志服务后端保持心跳连接。
5. 执行如下所示的命令，进入解压后目录， /opt/deploy/opt/agent。
6. 执行如下所示的安装命令。sudo./deploy-logging-service.sh -o [centos|ubuntu] -n [NAMESPACE] -t [TENANT_ID] -e [IP] -p [PORT]。
7. 自主填写参数说明，更多用法请执行 ./deploy-logging-service.sh -h 命令查看。

NAMESPACE：project06           
命名空间ENANT_ID：TENANT-3v6bjyo6MgA4   租户ID
IP： 日志服务配置的集群外访问地址的IP
PORT：  日志服务配置的集群外访问地址的port
或者IP：暂未配置    日志服务配置的集群外访问地址的IP

• 采集路径：配置要采集日志的主机上对应路径下的日志，可添加多个。
• 日志格式：根据用户的业务日志选择日志的格式，日志格式主要分单行日志、多行日志两种。
• 单行日志：日志时间以采集时间为准。（以回车为一行日志的结束）。
• 多行日志：分别设置分行规则、日志时间。
• 首行正则：分行规则使用正则表达式，是从每行日志的开头进行严格匹配。
• 日志时间：日志服务要求每条日志必须具有时间属性，以便系统按时间维度对数据进行管理，此处默认选择日志时间以采集时间为准。

(3) 主机日志参数配置完成后，单击<确定>按钮，主机日志添加成功。

编辑主机日志

(1) 用户登录TCE平台，选择要编辑主机日志的项目及集群，点击[运维中心/日志服务/主机日志采集]菜单项，进入主机日志列表页面。

(2) 找到要编辑的主机日志，单击<编辑>按钮，进入主机日志编辑页面，编辑出主机服务之外的参数。

(3) 参数编辑完成后，单击<确定>按钮，主机日志编辑成功。

删除主机日志

(1) 用户登录TCE平台，点击[所有产品/安全和运维/应用监控/日志服务/日志管理]菜单项，选择要查询分析日志组的项目及对应的集群，切换至“主机日志采集”页面。

(2) 找到要删除的主机日志，单击<删除>按钮，确认删除后，单击<确定>按钮，主机日志删除成功。

日志清理

日志清理支持项目维度，项目维度清理需项目管理员权限操作，普通成员不能操作。

日志查看

系统按照日期统计项目每天产生的日志数量，方便用户快速查看日志资源的消耗情况。此外系统还支持统计选定时间段内“产生日志最多服务TOP5”，可选择多类型时间段，例如：近一小时、近12小时、近24小时、昨天等时间段。

手动清理

项目管理员权限可以在项目维度清理，选择需要清理日志的项目，点击<确定>即可。

(1) 选择需要保留的日志的天数，选择要清理的日志类型。

(2) 单击<确定>即可，如下图所示。

定时清理

项目管理员可以设置定时清理策略，设置清理周期时间、清理范围等属性。

(1) 开启定时清理开关，进入定时清理策略编辑页面，如下图所示。

(2) 设置日志清理范围、清理周期和清理时间，单击<确定>即可。

信息

• 清理周期：分为每天、每周，如果清理周期选择每周，则需要选择是每周的周几。
• 清理时间：清理日志的具体时间点。

清理记录查询

点击清理记录，查看清理记录，如下图所示。

用户可以通过集群、项目、执行状态（所有状态、执行成功、正在执行、执行超时、执行失败）、清理类型（所有类型、手动清理、定时清理）、清理时间段等查询清理记录。

用户也可以选择清空所有记录，如下图所示。