codis-fe界面 sentinel经常出现stats ERROR状态，实际状态是正常的

[zhaomingzhu]

codis-fe界面 sentinel经常出现stats ERROR状态，实际使用redis-cli查看sentinel状态是正常的。
点击sync也无法同步，无任何报错信息，重新移除添加之后，状态恢复正常。

[spinlock]

log 里面会写出错的原因吧。你看一下写的什么。

…

On Wed, Sep 6, 2017 at 04:09 zhaomingzhu ***@***.***> wrote: codis-fe界面 sentinel经常出现stats ERROR状态，实际使用redis-cli查看sentinel状态是正常的。 重新移除添加之后，状态恢复正常。 — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#1345>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AAsHpazcaHiBrNU44nbNtXMYkucbjfneks5sfn1ZgaJpZM4PONWB> .

[zhaomingzhu]

@spinlock 出现下面日志信息
2017/09/13 10:50:48 sentinel.go:67: [WARN] sentinel subscribe canceled (context canceled)
2017/09/13 10:50:48 topom_cache.go:224: [WARN] update sentinel:

[zhaomingzhu]

@spinlock 我又观察了一段时间 3.2没有加sentinel_client_timeout这个参数版本之前，没有出现这种现象。 升级到加sentinel_client_timeout配置参数集群，容易出现这个报错（]sentinel subscribe canceled (context canceled)）。 重启dashboard或者移除重新添加恢复正常。直接点sync无法同步。 请帮忙看下有没有好的方法可以解决？

[spinlock]

@zhaomingzhu 可以私信我联系方式？我们换一种方式沟通，wnzheng AT gmail.com

[vipwangtian]

我也出现了同样的问题，不知如何解决

[spinlock]

版本？是 branch 还是 release ？

…

On Thu, Oct 19, 2017 at 17:13 vipwangtian ***@***.***> wrote: 我也出现了同样的问题，不知如何解决 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#1345 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AAsHpcqhqK35noWdG8lqXl_wMSnSDLtjks5stxKzgaJpZM4PONWB> .

[vipwangtian]

release3.2，借鉴楼上说的，我把sentinel_client_timeout参数设置成了1000，重启dashboard再观察下

[vipwangtian]

问题依旧，删除重新添加sentinel会解决，这是dashboard topom中的错误信息，dashboard日志并无异常，sentinel日志也正常，并且可以用redis-cli连接执行命令

"192.168.112.155:26379": {
                    "error": {
                        "Cause": "redigo: unexpected type for String, got type []interface {}",
                        "Stack": [
                            {
                                "Name": "github.com/CodisLabs/codis/pkg/utils/redis.(*Client).Info",
                                "File": "/root/go/src/github.com/CodisLabs/codis/pkg/utils/redis/client.go",
                                "Line": 105
                            },
                            {
                                "Name": "github.com/CodisLabs/codis/pkg/topom.(*Topom).RefreshRedisStats.func3",
                                "File": "/root/go/src/github.com/CodisLabs/codis/pkg/topom/topom_stats.go",
                                "Line": 83
                            },
                            {
                                "Name": "github.com/CodisLabs/codis/pkg/topom.(*Topom).newRedisStats.func1",
                                "File": "/root/go/src/github.com/CodisLabs/codis/pkg/topom/topom_stats.go",
                                "Line": 33
                            }
                        ]
                    },
                    "unixtime": 1508458576
                },

[spinlock]

抱歉，这个代码我确认了一下，应该没有问题才对。特别是这个错误是 RESP 指令解析的错误，INFO 指令返回的应该是 String 类型，而不是 []interface{}，很奇怪啊。

…

On Fri, Oct 20, 2017 at 8:59 AM, vipwangtian ***@***.***> wrote: 问题依旧，删除重新添加sentinel会解决，这是dashboard topom中的错误信息，dashboard日志并无异常， sentinel日志也正常，并且可以用redis-cli连接执行命令 "192.168.112.155:26379": { "error": { "Cause": "redigo: unexpected type for String, got type []interface {}", "Stack": [ { "Name": "github.com/CodisLabs/codis/pkg/utils/redis.(*Client).Info", "File": "/root/go/src/github.com/CodisLabs/codis/pkg/utils/redis/client.go ", "Line": 105 }, { "Name": "github.com/CodisLabs/codis/pkg/topom.(*Topom). RefreshRedisStats.func3", "File": "/root/go/src/github.com/CodisLabs/codis/pkg/topom/topom_stats.go ", "Line": 83 }, { "Name": "github.com/CodisLabs/codis/pkg/topom.(*Topom).newRedisStats.func1 ", "File": "/root/go/src/github.com/CodisLabs/codis/pkg/topom/topom_stats.go ", "Line": 33 } ] }, "unixtime": 1508458576 }, — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#1345 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AAsHpRIl7_mMivW-6PV77pZAl_Xr83S3ks5st_B8gaJpZM4PONWB> .

[vipwangtian]

@spinlock 很奇怪，因为我的sentinel没有专用的机器单独做集群，出问题的sentinel一直是和dashboard在一台机器上部署的那个。

[fancy-rabbit]

same problem occured in my production environment. it seems that the sentinel pipelining misbehaves.

[2002wmj]

我的环境也有这种问题，

[spinlock]

嗯，我怀疑是我在处理 sentinel pipeline 的时候，错误处理过程没有及时关闭出错的连接。

我来解释一下我的猜测：因为 1. 集群下面 groups 数量比较多；2. sentinel 处理指令比较慢，这两个因素导致 sync 过程超时，但是超时出错的 client 没有及时关闭 (close)，导致 reuse client 的时候，出现 mismatch 的情况出现。

所以我整理了一下 sentinel 的 pipeline 的处理逻辑，你可以替换一下 dashboard 试试看。

期待反馈，谢谢。

[vipwangtian]

1月12号升级dashboard，版本号2017-12-28 13:21:33 +0000 @9fde2809cca131e3da1a7e0920ea151029301fb4 @3.2.1-10-g9fde280
，至今问题依旧