flusher_kafka_v2 中配置 Convert.Encoding: none 采集日志报错

[dongwang123]

我在服务器上单独部署了一个 ilogtail 进程采集日志以验证某些功能。
为什么在 flusher_kafka_v2 中配置 Convert.Encoding: none 采集日志会报错？配置 Convert.Encoding: json 就可以正常工作
报错信息为：
[2023-03-14 14:44:41.279158] [warning] [025291] /src/core/plugin/LogtailPlugin.cpp:186 process raw log V2 error:config#/data/ilogtail/ilogtail-1.3.1/./user_yaml_config.d/business_log.yaml result:-1
[2023-03-14 14:44:41.299300] [warning] [025291] /src/core/plugin/LogtailPlugin.cpp:186 process raw log V2 error:config#/data/ilogtail/ilogtail-1.3.1/./user_yaml_config.d/business_log.yaml result:-1

PS：我想要发送到 Kafka 中的文本信息是一个【hostname + logPath + 日志正文】的格式，而不是一个 json 文本

[henryzhx8]

把logtail_plugin.LOG贴一下

[henryzhx8]

不同协议支持的encoding是不一样的，具体参考：https://github.com/alibaba/ilogtail/tree/main/docs/cn/developer-guide/log-protocol

[dongwang123]

其中没有提到 none 的编码方式

[shalousun]

none只能是otlp_v1协议支持

[dongwang123]

配置为 none 是什么含义呢？不做任何处理吗？

[dongwang123]

我的场景是将日志文件中的每一条日志以 【hostname + logPath + 日志正文】 格式拼接发送到 kafka 里，不知道是否支持这种操作

[henryzhx8]

【hostname + logPath + 日志正文】：能否举个例子？

[dongwang123]

比如：我的应用跑在机器 hostname 为 "hostname1" 上，应用日志打印到 "/date/log/app/app.log" 文件里，打印一条日志："Hello World"
那么发往 kafka 的消息文本为 "hostname1 /date/log/app/app.log Hello World"

[shalousun]

这种格式下游处理不是就很麻烦了，如果你的日志项比较大的时候消费层处理处理压力就大了，不停的切割和正则匹配数据，消费性能都影响了，完成的可观测性数据需要添加的字段可能也不仅仅是hostname+ 日志路径

[dongwang123]

你说的问题我已经使用其它方案规避了

PS：对于 ILogTail 现在只是调研阶段,当前想验证的其实是 ilogtail 和 Filebeat 在日志量很大（300MB/s）时的性能差异，之前 Filebeat 我是通过 【hostname + logPath + 日志正文】的方式来采集日志，为了控制变量，我在尝试 iLogTail 是否也支持此种方式