Skip to content

Commit

Permalink
collect to kafa
Browse files Browse the repository at this point in the history
  • Loading branch information
messixukejia committed Jul 12, 2022
1 parent 2ca8afd commit 7378f08
Show file tree
Hide file tree
Showing 17 changed files with 12 additions and 18 deletions.
File renamed without changes
File renamed without changes
File renamed without changes
File renamed without changes
File renamed without changes
File renamed without changes
Binary file removed .gitbook/assets/image (1).png
Binary file not shown.
Binary file removed .gitbook/assets/image (3).png
Binary file not shown.
Binary file removed .gitbook/assets/image (5).png
Binary file not shown.
Binary file removed .gitbook/assets/image (6).png
Binary file not shown.
5 changes: 2 additions & 3 deletions README.md
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
# 什么是iLogtail

![](<.gitbook/assets/image (2).png>)
![](<.gitbook/assets/ilogtail-icon.png>)

iLogtail 为可观测场景而生,拥有的轻量级、高性能、自动化配置等诸多生产级别特性,在阿里巴巴以及外部数万家阿里云客户内部广泛应用。你可以将它部署于物理机,虚拟机,Kubernetes等多种环境中来采集遥测数据,例如logs、traces和metrics。

Expand Down Expand Up @@ -42,8 +42,7 @@ iLogtail 为可观测场景而生,拥有的轻量级、高性能、自动化
您可以通过[Github Issues](https://github.com/alibaba/ilogtail/issues) 报告bug、提出建议或参与讨论,或通过以下方式联系我们:

* 交流群请扫描

![](.gitbook/assets/image.png)
![](.gitbook/assets/chatgroup.png)

* 微信公众号:日志服务
* 哔哩哔哩:[阿里云SLS](https://space.bilibili.com/630680534?from=search\&seid=2845737427240690794\&spm\_id\_from=333.337.0.0)
Expand Down
2 changes: 1 addition & 1 deletion about/brief-history.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@

秉承着阿里人简单的特点,iLogtail的命名也非常简单,我们最开始期望的就是能够有一个统一去Tail日志的工具,所以就叫做Logtail,添加上“i”的原因主要当时使用了inotify的技术,能够让日志采集的延迟控制在毫秒级,因此最后叫做iLogtail。从2013年开始研发,iLogtail整个发展历程概括起来大致可以分为四个阶段,分别是飞天5K阶段、阿里集团阶段、云原生阶段和开源共建阶段。

![](<../.gitbook/assets/image (1) (1) (1).png>)
![](<../.gitbook/assets/ilogtail-history.png>)

### 飞天5K阶段 <a href="#4ever-bi-127" id="4ever-bi-127"></a>

Expand Down
2 changes: 1 addition & 1 deletion data-pipeline/overview.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@

| 名称 | 提供方 | 贡献者 | 简介 |
| ---------- | ----- | ----------------------------------------------------- | ---- |
| `file_log` | SLS官方 | [`messixukejia`](https://github.com/messixukejia)\`\` | 文本采集 |
| `file_log` | SLS官方 | [`messixukejia`](https://github.com/messixukejia) | 文本采集 |
| | | | |
| | | | |
| | | | |
Expand Down
5 changes: 2 additions & 3 deletions data-pipeline/processor/delimiter.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,9 +2,9 @@

## 简介

`processor_split_char`插件可以通过单字符的分隔符提取字段,该方式支持使用引用符对分隔符进行包裹。
`processor_split_char processor`插件可以通过单字符的分隔符提取字段,该方式支持使用引用符对分隔符进行包裹。

`processor_split_string`插件可以通过多字符的分隔符提取字段,该方式不支持使用引用符对分隔符进行包裹。
`processor_split_string processor`插件可以通过多字符的分隔符提取字段,该方式不支持使用引用符对分隔符进行包裹。

## 配置参数

Expand Down Expand Up @@ -79,7 +79,6 @@ flushers:
- Type: flusher_stdout
OnlyStdout: true
```
````
* 输出
Expand Down
2 changes: 1 addition & 1 deletion data-pipeline/processor/regex.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@

## 简介

`processor_regex`插件可以通过正则匹配的模式实现文本日志的字段提取。
`processor_regex processor`插件可以通过正则匹配的模式实现文本日志的字段提取。

## 配置参数

Expand Down
3 changes: 0 additions & 3 deletions data-pipeline/processor/split-log-regex.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,9 +3,6 @@
## 简介

`processor_split_log_regex processor`插件实现多行日志(例如Java程序日志)的采集。



备注:该插件必须设置为`processor`的第一个插件。

## 配置参数
Expand Down
11 changes: 5 additions & 6 deletions getting-started/how-to-collect-to-kafka.md
Original file line number Diff line number Diff line change
Expand Up @@ -8,7 +8,7 @@

日志作为可观测性建设中的重要一环,可以记录详细的访问请求以及错误信息,在业务分析、问题定位等方面往往会发挥很大的作用。一般开发场景下,当需要进行日志分析时,往往是直接在日志文件中进行grep搜索对应的关键字;但在大规模分布式生产环境下,此方法效率低下,常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集、管理、分析。目前市面上比较主流的开源方案是基于ELK构建一套日志采集系统。

![](<../.gitbook/assets/image (6).png>)
![](<../.gitbook/assets/getting-started/elk-arch.png>)

该架构中,`Filebeat`作为日志源的采集`Agent`部署在业务集群上进行原始日志采集,并采集到的日志发送到消息队列`Kafka`集群。之后,由`Logstash``Kafka`消费数据,并经过过滤、处理后,将标准化后的日志写入`Elasticsearch`集群进行存储。最后,由`Kibana`呈现给用户查询。

Expand All @@ -27,7 +27,7 @@

此外,如果`iLogtail`跟阿里云日志服务(SLS)有天然的集成优势,当使用SLS作为后端存储系统时,可以直接写入,不需要额外的再引入消息队列。

![](<../.gitbook/assets/image (1) (1).png>)
![](<../.gitbook/assets/getting-started/ilogtail-arch.png>)

本文将会详细介绍如何使用`iLogtail`社区版将日志采集到`Kafka`中,从而帮助使用者构建日志采集系统。

Expand All @@ -37,7 +37,7 @@

其中,`access.log`需要正则解析;`error.log`为单行文本打印。

![](<../.gitbook/assets/image (4).png>)
![](<../.gitbook/assets/getting-started/collection-config.png>)

## 前提条件 <a href="#hvouy" id="hvouy"></a>

Expand Down Expand Up @@ -190,6 +190,5 @@ GitHub[:](https://github.com/alibaba/ilogtail/blob/main/README-cn.md) [https://g

官网:[https://help.aliyun.com/document\_detail/65018.html](https://help.aliyun.com/document\_detail/65018.html)

钉钉群:iLogtail社区

![](<../.gitbook/assets/image (3).png>)
交流群请扫描
![](.gitbook/assets/chatgroup.png)

0 comments on commit 7378f08

Please sign in to comment.