NRPT（Name Resolution Policy Table，名称解析策略表）是 Windows 系统（Vista及以后版本） 中的一个高级网络功能，它允许管理员为不同的域名配置不同的DNS解析策略。

Linux 平台下就丰富了，比如可以使用systemd-resolved、dnsmasq来实现。

查看当前系统的NRPT策略

CMD > netsh namespace show effectivepolicy

应用示例

内部有个vqiu.local的域名，只有内网的DNS服务器才能解析，同时又不希望全部人都能解析。

1、将vqiu.local这个域名的解析全部发送到172.20.5.153节点解析。

PS C:\Windows\system32> Add-DnsClientNrptRule -Namespace ".vqiu.local" -NameServers "172.20.5.153"

2、此时该节点就具备针对vqiu.local存储的域名记录进行解析了

CMD > ping xx.vqiu.local

3、查看已存在的NRPT规则

PS C:\Windows\system32> Get-DnsClientNrptPolicy
Namespace                        : .vqiu.local
<省略若干行>
DirectAccessProxyType            : NoProxy
DirectAccessQueryIPsecEncryption :
DirectAccessQueryIPsecRequired   : False
NameServers                      : 172.20.5.153
<省略若干行>


PS C:\Windows\system32> Get-DnsClientNrptRule
<省略若干行>
Namespace                        : {.vqiu.local}
<省略若干行>
NameServers                      : 172.20.5.153
<省略若干行>


CMD > netsh namespace show effectivepolicy
.vqiu.local 的设置
----------------------------------------------------------------------
通用(DNS 服务器)                   : 172.20.5.153
通用(VPN 触发器)                   : disabled

4、删除.vqiu.local域名转发规则

Remove-DnsClientNrptRule -Name ""{83E7E2E8-4D8D-4FB0-9F85-4FAC3416700A}" 
或者
Get-DnsClientNrptRule | Where-Object { $_.Namespace -eq '.vqiu.local' } | Remove-DnsClientNrptRule

结合OpenVPN

前置条件

# 指定VPN提供的DNS服务器
dhcp-option DNS 172.20.5.153
# 确保没有下面这行（或前面加#注释掉）
# block-outside-dns

在ovpn文件中添加如下：

script-security 2
up 'powershell -ExecutionPolicy Bypass -File "C:\Path\To\vpn-up.ps1"'
down 'powershell -ExecutionPolicy Bypass -File "C:\Path\To\vpn-down.ps1"'

后语

阿里云的无影云默认也存在不少的NRPT策略，这样能避免用户修改DNS导致基础环境出故障。

• OS： Openeuler 24.03 LTS
• Redis版本：7.2.12
• 架构：哨兵模式
• 目录规划：
• /data/redis/DATA
• /data/redis/LOGS

二、系统配置

2.1 前置配置

1、系统内核

echo 65535 > /proc/sys/net/core/somaxconn
echo 1 > /proc/sys/vm/overcommit_memory

sysctl -w net.core.somaxconn=65535
sysctl -w vm.overcommit_memory=1
echo "net.core.somaxconn = 65535" | tee -a /etc/sysctl.d/99-redis.conf
echo "vm.overcommit_memory = 1" | tee -a /etc/sysctl.d/99-redis.conf

2、安装系统依赖包

yum -y install yum install make gcc gcc-c++

3、创建用户

id redis || useradd -u 6379 redis -s /sbin/nologin -M

4、创建数据目录

install -d /data/redis/DATA \
           /data/redis/LOGS \
           -o redis \
           -g redis

2.2 Redis 编译安装

1、下载

export version=7.2.12
wget http://download.redis.io/releases/redis-${version}.tar.gz
tar axvf redis-${version}.tar.gz
cd redis-${version}

2、编译安装

make distclean
make BUILD_TLS=no -j $(nproc --all)
make PREFIX=/usr/local/redis-${version} install
cd /usr/local/ && ln -svf redis-${version} redis

默认使用jemalloc分配器，所以先安装jemalloc内存管理器

cd deps/jemalloc
./configure && make -j 8 && make install

3、完成后使用以下检测版本

./redis-server --version                                                               
Redis server v=7.2.12 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=67aa91aee02876f6

4、创建系统环境变量

cat >/etc/profile.d/redis.sh<<EOF
export PATH=\$PATH:/usr/local/redis/bin
EOF

5、创建配置文件

cat >/etc/redis.conf <<EOF
### GENERAL CONFIGURATION
bind 0.0.0.0
port 6379
maxclients 20000
daemonize no
supervised no
protected-mode no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile "/data/redis/LOGS/redis.log"
databases 16
always-show-logo yes
maxmemory 0
maxmemory-policy volatile-lru

### 持久化
dir "/data/redis/DATA"
dbfilename dump.rdb
aof-use-rdb-preamble yes
appendonly yes
appendfsync everysec
appenddirname "appenddir"
appendfilename "appendonly.aof"
save 900 1
save 300 10
save 60 10000

### SAFE CONFIGURE
# 禁止使用FLUSHALL
rename-command FLUSHALL ""

# 至少需要1台健康的从节点，主节点才能写入
min-replicas-to-write 1
# 延迟小于5秒slave才判定为健康slave
min-replicas-max-lag 5

### REPLICATION
replica-serve-stale-data yes
replica-read-only yes

#replicaof 172.20.5.11 6379
#slave-announce-port 6379
#slave-announce-ip 10.96.200.25
EOF

6、创建systemd文件

cat >/usr/lib/systemd/system/redis.service<<EOF
[Unit]
Description=redis-server
After=network.target

[Service]
Type=simple
User=redis
Group=redis
ExecStart=/usr/local/redis/bin/redis-server /etc/redis.conf \
                                            --daemonize no \
                                            --supervised systemd
ExecStop=/usr/local/redis/bin/redis-cli shutdown
LimitNOFILE=65535
NoNewPrivileges=yes
OOMScoreAdjust=-900
TimeoutStartSec=infinity
TimeoutStopSec=infinity
UMask=0077
WorkingDirectory=/data/redis

[Install]
WantedBy=multi-user.target
EOF

7、启动服务

# systemctl enable redis --now

三、Sentinel架构配置

3.1 创建配置文件

1、写入sentinel配置文件

cat >/etc/redis-sentinel.conf<<EOF
protected-mode no       
supervised systemd
port 26379
daemonize no
maxclients 10000
pidfile "/var/run/redis-sentinel.pid"
loglevel notice
logfile "/data/redis/LOGS/sentinel.log"
dir "/tmp"

sentinel monitor mymaster 110.10.2.41 6379 2
sentinel auth-pass mymaster vqiu@8848

sentinel down-after-milliseconds mymaster 10000
sentinel failover-timeout mymaster 15000
EOF

2、创建systemd文件

cat >/usr/lib/systemd/system/redis-sentinel.service<<EOF
[Unit]
Description=Redis Sentinel
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=root
Group=root
ExecStart=/usr/local/redis/bin/redis-sentinel /etc/redis-sentinel.conf --supervised systemd
ExecStop=/usr/local/redis/bin/redis-cli -p 26379 shutdown
LimitNOFILE=10240

[Install]
WantedBy=multi-user.target
EOF

3.2 启动服务

systemctl restart redis-sentinel

3.3 测试

# redis-cli -p 26379 sentinel master mymaster
# redis-cli -p 26379 sentinel slaves mymaster
# redis-cli -p 26379 sentinel sentinels mymaster
# redis-cli -p 26379 sentinel get-master-addr-by-name mymaster

四、使用Haproxy代理[可选]

在哨兵前面添置一个haproxy，来兼顾支持非哨兵模式的应用。

cat >/etc/haproxy/haproxy.cfg<<EOF
frontend Redis
    bind            0.0.0.0:6379  name redis-server
    mode            tcp
    log             global
    timeout client  30000
    default_backend redis_backend

backend redis_backend
    mode            tcp
    timeout connect 30000
    timeout server  30000
    retries         3
    option          tcp-check
    tcp-check       connect
    tcp-check       send AUTH\ vqiu@8848\r\n
    tcp-check       send PING\r\n
    tcp-check       expect string +PONG
    tcp-check       send info\ replication\r\n
    tcp-check       expect string role:master
    tcp-check       send QUIT\r\n
    tcp-check       expect string +OK
    server          r1 172.20.5.11:6379 check inter 1000 maxconn 4096
    server          r2 172.20.5.12:6379 check inter 1000 maxconn 4096
    server          r3 172.20.5.13:6379 check inter 1000 maxconn 4096

frontend stats
    mode            http
    bind            *:8848
    stats           enable
    stats           uri /stats
    stats           refresh 10s
    timeout connect 30000
    timeout server  30000

测试

127.0.0.1:6379> SET domain vqiu.cn
OK
127.0.0.1:6379> get domain
"vqiu.cn"

参考引用

• 【1】 https://vqiu.cn/redis-sentinel-deployment/

节点拓扑

• prod-redis-01：10.10.76.1
• prod-redis-02：10.10.76.2
• prod-redis-03：10.10.76.3
• prod-redis-04：10.10.76.4
• prod-redis-05：10.10.76.5
• prod-redis-06：10.10.76.6
  

内核优化

sysctl -w vm.overcommit_memory=1

目录规划

• /data/redis/DATA
• /data/redis/LOG
  

redis 安装

yum -y install yum install make gcc gcc-c++
id redis || useradd -u 6379 redis -s /sbin/nologin -M

export version=7.2.12
wget http://download.redis.io/releases/redis-${version}.tar.gz
tar axvf redis-${version}.tar.gz
cd redis-${version}


make distclean
make BUILD_TLS=no -j $(nproc --all)
make PREFIX=/usr/local/redis-${version} install
cd /usr/local/ && ln -svf redis-${version} redis

配置redis

写入配置文件

cat >/etc/redis-cluster/redis.conf <<EOF
### GENERAL CONFIGURATION
bind 0.0.0.0
port 6379
requirepass "QIU@8848"
masterauth "QIU@8848"
daemonize no
supervised no
maxclients 100000
protected-mode no
dir "/data/redis/DATA"
loglevel notice
logfile "/data/redis/LOG/redis.log"

# 最大可使用的内存
maxmemory 12G
maxmemory-policy volatile-lru

# 开启AOF持久化
appendonly yes
appendfsync everysec

# 开启集群模式
cluster-enabled yes

# 集群节点配置文件
cluster-config-file  "/etc/redis-cluster/nodes.conf"

# 集群超时时间设置
cluster-node-timeout 10000
EOF

写入systemd

cat >/usr/lib/systemd/system/redis-cluster.service<<EOF
[Unit]
Description=redis-server
After=network.target

[Service]
Type=simple
User=root
Group=root
TimeoutStopSec=0
Restart=always
ExecStart=/usr/local/redis/bin/redis-server /etc/redis-cluster/redis.conf --supervised systemd
ExecStop=/usr/local/redis/bin/redis-cli shutdown
OOMScoreAdjust=-900
UMask=0077
RuntimeDirectoryMode=2755
PrivateTmp=yes
LimitNOFILE=131070
PrivateDevices=yes
ProtectHome=yes
WorkingDirectory=/data/redis

[Install]
WantedBy=multi-user.target
EOF

在任意一台执行如下：

redis-cli -a QIU@8848 --cluster create 10.10.76.1:6379 \
                                       10.10.76.2:6379 \
                                       10.10.76.3:6379 \
                                       10.10.76.4:6379 \
                                       10.10.76.5:6379 \
                                       10.10.76.6:6379 \
                                       --cluster-replicas 1 

3.2.5 Redis 测试

# 进入redis节点
redis-cli -h 10.10.76.1 -a QIU@8848

# 查看集群相关信息
cluster info

# 查看节点相关信息
cluster nodes

某XX容器云平台不能使用Configmap与Secret，但是能传入环境变量。基于该条件，使用haproxy来构建一个通用的代理服务。

实现

创建docker-entrypoint.sh文件

#!/usr/bin/env bash
set -e

export LISTEN_PORT="${LISTEN_PORT:-8080}"
export SERVERS="${SERVERS:-localhost:8080}"
export CLIENT_TIMEOUT="${CLIENT_TIMEOUT:-10s}"
export LOAD_BALANCE_ALGORITHM="${LOAD_BALANCE_ALGORITHM:-roundrobin}"
export HEALTH_CHEK_URI="${HEALTH_CHECK_URI:-/healthz}"
export HEALTH_CHECK_INTERVAL="${HEALTH_CHECK_INTERVAL:-5s}"
export HEALTH_CHEK_CODE="${HEALTH_CHEK_CODE:-200}"
export HEALTH_CHECK_PORT="${HEALTH_CHECK_PORT:-8080}"

SERVERS_CONFIG=""
if [ -n "$SERVERS" ]; then
    IFS=',' read -ra SERVER_LIST <<< "$SERVERS"
    for i in "${!SERVER_LIST[@]}"; do
        SERVERS_CONFIG+="    server s$((i+1)) ${SERVER_LIST[i]} check\n"
    done
else
    SERVERS_CONFIG="    server s1 localhost:8080 check\n"
fi

# 使用 envsubst 替换模板中的变量
envsubst < /usr/local/etc/haproxy/haproxy.cfg.tmpl | \
  awk -v servers="$SERVERS_CONFIG" '{gsub(/# SERVERS_PLACEHOLDER/, servers); print}' > /usr/local/etc/haproxy/haproxy.cfg

# 启动 haproxy
exec haproxy -d -f /usr/local/etc/haproxy/haproxy.cfg "$@"

创建haproxy模板文件 -- haproxy.cfg.tmpl

global
    daemon
    log stdout format raw local0 info
    maxconn 10000

defaults
    mode http
    timeout connect 5s
    timeout client  60s
    timeout server  60s
    log global

frontend health_frontend
    bind *:10254
    option dontlognull
    monitor-uri /healthz
    monitor fail if { nbsrv(servers) eq 0 }

frontend http
    bind *:${LISTEN_PORT}
    mode http
    timeout client ${CLIENT_TIMEOUT}
    default_backend servers

backend servers
    mode http

    # 启用 HTTP 健康检查
    option httpchk
    http-check send meth GET uri ${HEALTH_CHEK_URI} ver HTTP/1.1
    http-check expect status ${HEALTH_CHEK_CODE}
    default-server inter ${HEALTH_CHECK_INTERVAL} fall 3 rise 2
    default-server check port ${HEALTH_CHECK_PORT}

    # 负载均衡算法
    balance ${LOAD_BALANCE_ALGORITHM}
# SERVERS_PLACEHOLDER

Dockerfile内容如下：

#FROM haproxy:3.2.10-alpine
FROM registry.cn-shenzhen.aliyuncs.com/shuhui/haproxy:3.2.10-alpine


LABEL maintainer="Qiu Shuhui<shuhui@vqiu.cn>" \
      version="1.32.10"

USER root

COPY haproxy.cfg.tmpl /usr/local/etc/haproxy/haproxy.cfg.tmpl
COPY docker-entrypoint.sh /docker-entrypoint.sh

RUN set -xe \
    && sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories \
    && apk update upgrade \
    && apk add --no-cache procps tzdata bash gettext procps curl \
    && cp -rf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \
    && echo "Asia/Shanghai" > /etc/timezone \
    && rm -rf /var/cache/apk/* \
    && chmod +x /docker-entrypoint.sh \
    && chown haproxy:haproxy -R /usr/local/etc/haproxy/

USER haproxy

ENTRYPOINT ["/docker-entrypoint.sh"]

使用docker运行个简单实例

# docker run -it  -e SERVERS=172.20.10.11:8080,172.20.10.12:8080 -e HEALTH_CHEK_URI=/health 构建好的镜像

一、部署信息

• 版本： 25.8.12.129
• 操作系统： OpenEuler 24.03 LTS
• 平台：arm64

数据目录规划

keeper:

• /data/clickhouse/keeper
• /data/clickhouse/keeper/coordination/log
• /data/clickhouse/keeper/coordination/snapshots

clickhouse:

• /data/clickhouse/server/data
• /data/clickhouse/server/log

二、系统前置优化配置

调整内核最大线程数量

sysctl -w kernel.threads-max=262144
sysctl -w kernel.task_delayacct=1
sysctl -w vm.swappiness=1

cat >/etc/sysctl.d/99-clickhouse.conf<<EOF
vm.swappiness=1
kernel.task_delayacct = 1
kernel.threads-max = 262144
EOF

编辑 /etc/default/grub，在 GRUB_CMDLINE_LINUX 参数中添加：

GRUB_CMDLINE_LINUX="... transparent_hugepage=never"
grub2-mkconfig -o /boot/grub2/grub.cfg  # CentOS/RHEL
update-grub                             # Ubuntu/Debian

三、配置步骤

下载以下软件包

https://packages.clickhouse.com/rpm/stable/clickhouse-common-static-25.8.12.129.aarch64.rpm
https://packages.clickhouse.com/rpm/stable/clickhouse-keeper-25.8.12.129.aarch64.rpm
https://packages.clickhouse.com/rpm/stable/clickhouse-server-25.8.12.129.aarch64.rpm
https://packages.clickhouse.com/rpm/stable/clickhouse-client-25.8.12.129.aarch64.rpm

3.1 clickhouse-keeper

配置keeper： /etc/clickhouse-keeper/keeper_config.xml

默认目录版本：

<clickhouse>
  <logger>
    <level>information</level>
    <log>/var/log/clickhouse-keeper/clickhouse-keeper.log</log>
    <errorlog>/var/log/clickhouse-keeper/clickhouse-keeper.err.log</errorlog>
    <size>1000M</size>
    <count>10</count>
  </logger>

  <max_connections>4096</max_connections>
  <listen_host>0.0.0.0</listen_host>

  <keeper_server>
    <tcp_port>9181</tcp_port>
    <enable_ipv6>false</enable_ipv6>

    <server_id>41</server_id>

    <log_storage_path>/var/lib/clickhouse/coordination/logs</log_storage_path>
    <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>

    <coordination_settings>
        <operation_timeout_ms>10000</operation_timeout_ms>
        <min_session_timeout_ms>10000</min_session_timeout_ms>
        <session_timeout_ms>100000</session_timeout_ms>
        <raft_logs_level>information</raft_logs_level>
        <compress_logs>false</compress_logs>
    </coordination_settings>

    <hostname_checks_enabled>true</hostname_checks_enabled>
    <raft_configuration>
        <server>
            <id>41</id>
            <hostname>ck-01</hostname>
            <port>9234</port>
        </server>
        <server>
            <id>42</id>
            <hostname>ck-02</hostname>
            <port>9234</port>
        </server>
        <server>
            <id>43</id>
            <hostname>ck-03</hostname>
            <port>9234</port>
        </server>
    </raft_configuration>
  </keeper_server>
  <openSSL>
    <server>
          <verificationMode>none</verificationMode>
          <loadDefaultCAFile>false</loadDefaultCAFile>
          <cacheSessions>true</cacheSessions>
          <disableProtocols>sslv2,sslv3</disableProtocols>
          <preferServerCiphers>true</preferServerCiphers>
      </server>
  </openSSL>
</clickhouse>

自定义目录：

<clickhouse>
  <logger>
    <level>information</level>
    <log>/data/clickhouse/keeper/clickhouse-keeper.log</log>
    <errorlog>/data/clickhouse/keeper/clickhouse-keeper.err.log</errorlog>
    <size>1000M</size>
    <count>10</count>
  </logger>

  <max_connections>4096</max_connections>
  <listen_host>0.0.0.0</listen_host>

  <keeper_server>
    <tcp_port>9181</tcp_port>
    <enable_ipv6>false</enable_ipv6>

    <server_id>1</server_id>

    <log_storage_path>/data/clickhouse/keeper/coordination/logs</log_storage_path>
    <snapshot_storage_path>/data/clickhouse/keeper/coordination/snapshots</snapshot_storage_path>

    <coordination_settings>
        <operation_timeout_ms>10000</operation_timeout_ms>
        <min_session_timeout_ms>10000</min_session_timeout_ms>
        <session_timeout_ms>100000</session_timeout_ms>
        <raft_logs_level>information</raft_logs_level>
        <compress_logs>false</compress_logs>
    </coordination_settings>

    <hostname_checks_enabled>true</hostname_checks_enabled>
    <raft_configuration>
        <server>
            <id>41</id>
            <hostname>ck-01</hostname>
            <port>9234</port>
        </server>
        <server>
            <id>42</id>
            <hostname>ck-02</hostname>
            <port>9234</port>
        </server>
        <server>
            <id>43</id>
            <hostname>ck-03</hostname>
            <port>9234</port>
        </server>
    </raft_configuration>
  </keeper_server>
  <openSSL>
    <server>
          <verificationMode>none</verificationMode>
          <loadDefaultCAFile>true</loadDefaultCAFile>
          <cacheSessions>true</cacheSessions>
          <disableProtocols>sslv2,sslv3</disableProtocols>
          <preferServerCiphers>true</preferServerCiphers>
      </server>
  </openSSL>
</clickhouse>

可以使用以下命令来启动

clickhouse-keeper --config  /etc/clickhouse-keeper/keeper_config.xml

检测服务是否正常

echo mntr | nc localhost 9181

3.2 clickhouse-server

备份配置文件

# cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config.xml.origin

内容更新如下：

sed -i -e 's@<path>/var/lib/clickhouse/</path>@<path>/data/clickhouse/clickhouse-server</path>@' \
       -e 's@<level>trace</level>@<level>information</level>@' \
       -e 's@<!-- <max_connections>4096</max_connections> -->@<max_connections>40960</max_connections>@' \
       -e 's@<!-- <listen_host>::</listen_host> -->@<listen_host>0.0.0.0</listen_host>@' \
        -e 's@<!-- <timezone>UTC</timezone> -->@<timezone>Asia/Shanghai</timezone>@' \
       -e 's@/var/log@/data/clickhouse/logs@' \
       /etc/clickhouse-server/config.xml

创建集群拓扑文件

cat > /etc/clickhouse-server/config.d/remote_servers.xml<<EOF
<clickhouse>
    <remote_servers>
        <VQIU_CK_1S_3R>
            <secret>Abcd12345</secret>
            <shard>
                <internal_replication>true</internal_replication>
                <replica><host>ck-01</host><port>9000</port></replica>
                <replica><host>ck-02</host><port>9000</port></replica>
                <replica><host>ck-03</host><port>9000</port></replica>
            </shard>
        </VQIU_CK_1S_3R>
    </remote_servers>
</clickhouse>
EOF

引用keeper

cat > /etc/clickhouse-server/config.d/use-keeper.xml<<EOF
<clickhouse>
    <zookeeper>
        <node><host>ck-01</host><port>9181</port></node>
        <node><host>ck-02</host><port>9181</port></node>
        <node><host>ck-03</host><port>9181</port></node>
    </zookeeper>
</clickhouse>
EOF

定义宏文件

cat >/etc/clickhouse-server/config.d/macros.xml<<EOF
<clickhouse>
    <macros>
        <shard>1</shard>
        <replica>1</replica>
        <cluster>VQIU_CK_1S_3R</cluster>
    </macros>
</clickhouse>
EOF

生成密码[可选]

echo -n 'supersecret' | sha256sum | tr -d '-'

追加到密码文件中

vi /etc/clickhouse-server/users.d/default-password.xml
clickhouse>
    <users>
        <default>
            <password remove='1' />
            <password_sha256_hex>SUPER_SECRET_HASH</password_sha256_hex>
        </default>
    </users>
</clickhouse>

3.3 其它配置

3.3.1 增加最大文件描述符

LimitNOFILE=500000
LimitNPROC=500000

3.3.2 trace_log

trace_log 表记录了查询执行的详细跟踪信息，主要用于性能分析和调试。以下是处理 trace_log 表占用大量空间的方法：

立即清理

-- 查看 trace_log 当前占用空间
SELECT 
    formatReadableSize(sum(bytes)) AS size,
    min(event_time) AS oldest_log,
    max(event_time) AS newest_log,
    count() AS entries
FROM system.parts
WHERE database = 'system' AND table = 'trace_log';

-- 删除所有 trace_log 数据（紧急清理）
ALTER TABLE system.trace_log DELETE WHERE 1=1;

-- 或者删除指定时间前的数据
ALTER TABLE system.trace_log DELETE 
WHERE event_time < now() - INTERVAL 7 DAY;

-- 强制合并，立即释放磁盘空间（删除操作是异步的，可能需要一些时间，请注意，这可能会增加IO负担）
OPTIMIZE TABLE system.trace_log FINAL;

优化手段

限制 trace_log 采样率

<trace_log>
    <database>system</database>
    <table>trace_log</table>
    <partition_by>toYYYYMM(event_date)</partition_by>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
    <!-- 只记录 1% 的查询 -->
    <sampling>0.01</sampling>
</trace_log>

增加TTL（数据过期时间）

<trace_log>
    <database>system</database>
    <table>trace_log</table>
    <partition_by>toYYYYMM(event_date)</partition_by>
    <ttl>event_date + INTERVAL 7 DAY</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</trace_log>

完全禁用trace_log

<!--
<trace_log>
    <database>system</database>
    <table>trace_log</table>
    <partition_by>toYYYYMM(event_date)</partition_by>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</trace_log>
-->

或者使用的是在配置目录下（如/etc/clickhouse-server/config.d/）的覆盖文件，可以在新文件中将trace_log设置为空元素以禁用：

<yandex>
  <trace_log remove="1" />
</yandex>

重启服务

systemctl restart clickhouse-server

如果配置文件中没有设置TTL，你也可以通过ALTER TABLE语句为trace_log表添加TTL：

ALTER TABLE system.trace_log MODIFY TTL event_date + INTERVAL 7 DAY;
这样，超过7天的数据会自动被删除。

最佳实践

1. 生产环境：建议完全禁用或设置极低的采样率（如0.01）
2. 开发/测试环境：可保留但设置较短的TTL（3-7天）
3. 紧急情况：立即执行 ALTER TABLE DELETE 清理数据
4. 长期方案：修改配置文件并重启ClickHouse服务

<!-- /etc/clickhouse-server/config.d/trace_log_config.xml -->
<yandex>
    <trace_log>
        <database>system</database>
        <table>trace_log</table>
        <partition_by>toYYYYMM(event_date)</partition_by>
        <!-- 只对执行时间超过1秒的查询记录trace -->
        <min_query_duration_ms>1000</min_query_duration_ms>
        <!-- 10% 采样率 -->
        <sampling>0.1</sampling>
        <!-- 3天TTL -->
        <ttl>event_date + INTERVAL 3 DAY</ttl>
        <!-- 降低刷新频率 -->
        <flush_interval_milliseconds>30000</flush_interval_milliseconds>
    </trace_log>
    
    <!-- 同时调整相关设置 -->
    <log_queries>1</log_queries>
    <log_query_threads>0</log_query_threads>  <!-- 关闭线程日志，减少trace数据 -->
    <allow_introspection_functions>0</allow_introspection_functions>
</yandex>

验证与查看

-- 查看trace_log设置是否生效
SELECT 
    name, 
    value, 
    changed,
    description
FROM system.settings 
WHERE name IN (
    'allow_introspection_functions',
    'log_query_threads',
    'trace_profile_events',
    'query_profiler_real_time_period_ns',
    'query_profiler_cpu_time_period_ns'
);

-- 查看trace_log表属性
SELECT 
    name,
    engine,
    partition_key,
    sorting_key,
    ttl_expression,
    total_rows,
    formatReadableSize(total_bytes) as size
FROM system.tables 
WHERE database = 'system' AND name = 'trace_log';

-- 监控trace_log写入频率
SELECT 
    toStartOfMinute(event_time) AS minute,
    count() AS queries_traced
FROM system.trace_log 
WHERE event_time > now() - INTERVAL 1 HOUR
GROUP BY minute
ORDER BY minute DESC;

3.3.3 text_log

ClickHouse 的 text_log 表记录了服务器的文本日志，如果占用大量空间，可以通过以下方法清理和优化：

-- 查看 text_log 当前占用空间
SELECT 
    formatReadableSize(sum(bytes_on_disk)) AS size,
    min(event_time) AS oldest_log,
    max(event_time) AS newest_log,
    count() AS total_entries,
    uniqExact(thread_id) AS unique_threads
FROM system.parts
WHERE database = 'system' AND table = 'text_log' AND active;

-- 按日志级别统计
SELECT 
    level,
    count() AS count,
    formatReadableSize(sum(length(message))) AS message_size
FROM system.text_log
WHERE event_time > now() - INTERVAL 1 DAY
GROUP BY level
ORDER BY count DESC;

-- 清理特定时间前的数据
ALTER TABLE system.text_log DELETE 
WHERE event_time < now() - INTERVAL 7 DAY;

-- 只保留 ERROR 级别的日志，清理其他级别的旧日志
ALTER TABLE system.text_log DELETE 
WHERE event_time < now() - INTERVAL 3 DAY AND level NOT IN ('Error', 'Fatal');

-- 紧急情况：清理所有 text_log 数据
ALTER TABLE system.text_log DELETE WHERE 1=1;

-- 强制合并，立即释放空间
OPTIMIZE TABLE system.text_log FINAL;

最佳实践

1. 生产环境：设置 level="warning" 或 level="error"，TTL为1-3天
2. 开发环境：可以适当放宽，但也要设置TTL和大小限制
3. 紧急处理：使用 ALTER TABLE DELETE 立即清理
4. 长期方案：修改配置文件并重启服务
5. 监控告警：设置磁盘空间和表大小的监控

建议配置

<!-- /etc/clickhouse-server/config.d/text_log_optimized.xml -->
<yandex>
    <text_log>
        <database>system</database>
        <table>text_log</table>
        <partition_by>toYYYYMMDD(event_time)</partition_by>  <!-- 按天分区 -->
        <level>warning</level>  <!-- 生产环境建议warning或error -->
        <ttl>event_time + INTERVAL 2 DAY</ttl>
        <max_log_message_length>2048</max_log_message_length>  <!-- 限制消息长度 -->
        <flush_interval_milliseconds>10000</flush_interval_milliseconds>  <!-- 10秒刷盘 -->
        
        <!-- 以下字段可以禁用，减少存储 -->
        <!-- <log_thread_names>0</log_thread_names> -->
        <!-- <log_query_threads>0</log_query_threads> -->
    </text_log>
    
    <!-- 调整日志相关全局设置 -->
    <logger>
        <level>warning</level>
        <log>/var/log/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog>
        <size>100M</size>  <!-- 日志文件大小限制 -->
        <count>10</count>  <!-- 保留的日志文件数量 -->
    </logger>
    
    <!-- 降低日志详细程度 -->
    <log_queries>0</log_queries>
    <log_query_threads>0</log_query_threads>
    <allow_introspection_functions>0</allow_introspection_functions>
</yandex>

验证和监控

-- 创建监控视图
CREATE VIEW system.text_log_monitor AS
SELECT 
    toDate(event_time) AS log_date,
    level,
    count() AS entry_count,
    formatReadableSize(sum(length(message))) AS total_message_size,
    avg(length(message)) AS avg_message_length,
    max(event_time) AS last_entry
FROM system.text_log
WHERE event_time > today() - INTERVAL 7 DAY
GROUP BY log_date, level
ORDER BY log_date DESC, entry_count DESC;

-- 查看日志增长趋势
SELECT 
    toStartOfHour(event_time) AS hour,
    level,
    count() AS entries_per_hour,
    formatReadableSize(sum(length(message))) AS size_per_hour
FROM system.text_log
WHERE event_time > now() - INTERVAL 24 HOUR
GROUP BY hour, level
ORDER BY hour DESC, entries_per_hour DESC;

-- 查看最频繁的日志消息
SELECT 
    substring(message, 1, 100) AS message_preview,
    count() AS frequency,
    level,
    min(event_time) AS first_seen,
    max(event_time) AS last_seen
FROM system.text_log
WHERE event_time > now() - INTERVAL 1 DAY
GROUP BY substring(message, 1, 100), level
HAVING frequency > 10
ORDER BY frequency DESC
LIMIT 20;

3.3.4 query_log

记录所有执行的查询，是分析慢查询、性能瓶颈和查询模式的最重要依据。

如果磁盘空间告急，可以立即执行以下操作：

-- 1. 清理历史数据（例如删除30天前的日志）
ALTER TABLE system.query_log DELETE WHERE event_time < now() - INTERVAL 30 DAY;

-- 2. 清理特定类型的日志（例如只清理`SELECT`查询）
ALTER TABLE system.query_log DELETE WHERE type = 'QueryFinish' AND event_time < now() - INTERVAL 14 DAY;

-- 3. 强制合并数据部分，立即回收空间
OPTIMIZE TABLE system.query_log FINAL;

长期优化及最佳实践

• 生产环境：建议采用采样（如10%-20%）+ 较短TTL（如30天） 的组合。务必保留 session_log 用于安全审计。
• 开发/测试环境：可以设置更短的TTL（如7天）和更低的采样率（如1%），甚至完全关闭 query_thread_log。
• 分析与审计环境：如果需要全量日志进行分析，不应设置采样，但必须配置足够大的专用磁盘和严格的TTL，并重点优化 query_settings 和 thread_ids 等大字段的存储

<!-- /etc/clickhouse-server/config.d/query_log_config.xml -->
<yandex>
    <query_log>
        <database>system</database>
        <table>query_log</table>
        <!-- 按月份分区，便于管理 -->
        <partition_by>toYYYYMM(event_date)</partition_by>
        <!-- 核心1：设置30天自动过期 -->
        <ttl>event_date + INTERVAL 30 DAY</ttl>
        <!-- 核心2：设置采样率，仅记录10%的查询 -->
        <sampling>0.10</sampling>
        <!-- 核心3：不记录查询设置和线程列表，大幅节省空间 -->
        <log_query_settings>0</log_query_settings>
        <log_query_threads>0</log_query_threads>
        <!-- 刷新间隔调整为15秒 -->
        <flush_interval_milliseconds>15000</flush_interval_milliseconds>
    </query_log>
</yandex>

3.3.4 query_thread_log

优化 query_thread_log（查询线程日志）的核心思路是：在保留足够线程级诊断信息与控制存储成本之间取得平衡。以下是具体的优化方案。

如果磁盘空间紧张，可立即执行以下命令：

-- 1. 清理历史数据（例如删除30天前的日志）
ALTER TABLE system.query_thread_log DELETE WHERE event_time < now() - INTERVAL 30 DAY;

-- 2. 可选：与query_log保持一致，清理已不存在的查询记录
-- 注意：此操作较慢，建议在低峰期执行
ALTER TABLE system.query_thread_log DELETE WHERE query_id NOT IN (SELECT query_id FROM system.query_log);

-- 3. 强制合并数据部分，立即回收磁盘空间
OPTIMIZE TABLE system.query_thread_log FINAL;

最佳实践与优化

• 通用生产环境：建议采用 sampling=0.05（5%采样） + ttl='30 DAY' 的组合，并关闭 log_profile_events。这能在保留关键线程信息的同时，将存储消耗降至极低。
• 深度性能调优环境：如果需要分析所有线程的详细性能指标（ProfileEvents），则不应降低采样率或关闭相关字段，但必须配置更短的TTL（如7天），并确保有足够磁盘空间。
• 资源极度受限或仅需审计的环境：可以考虑完全关闭 query_thread_log（在配置文件中将其整个配置块注释或设置为 <query_thread_log remove="1" />），仅依赖 query_log 进行基本查询审计。

<!-- /etc/clickhouse-server/config.d/query_thread_log_config.xml -->
<yandex>
    <query_thread_log>
        <database>system</database>
        <table>query_thread_log</table>
        <partition_by>toYYYYMM(event_date)</partition_by>
        <!-- 核心1：设置自动过期时间（TTL），例如30天 -->
        <ttl>event_date + INTERVAL 30 DAY</ttl>
        <!-- 核心2：设置采样率，通常应<= query_log的采样率 -->
        <sampling>0.05</sampling>
        <!-- 核心3：关闭非关键字段记录，大幅减少单条日志体积 -->
        <log_profile_events>0</log_profile_events>
        <log_settings>0</log_settings>
    </query_thread_log>
</yandex>

3.3.5  part_log

针对 part_log（分区操作日志）的优化，核心思路与之前不同：它不仅是空间管理问题，更是监控MergeTree引擎健康状况的关键工具。优化重点在于保留足够诊断信息以排查写入/合并问题，同时控制其增长。

如果磁盘空间紧张，可立即执行：

-- 1. 清理历史数据（例如删除90天前的日志，因其诊断价值周期较长）
ALTER TABLE system.part_log DELETE WHERE event_time < now() - INTERVAL 90 DAY;

-- 2. 针对性地清理特定类型的事件（例如仅保留`MERGE_PARTS`和`DOWNLOAD_PART`等关键操作）
ALTER TABLE system.part_log DELETE
WHERE event_time < now() - INTERVAL 30 DAY
AND event_type NOT IN ('NewPart', 'MergeParts', 'MutatePart', 'DownloadPart');

-- 3. 强制合并，立即回收空间
OPTIMIZE TABLE system.part_log FINAL;

优化与最佳实践

part_log 的优化更侧重于字段粒度的控制，而非采样（通常不推荐对 part_log 采样，可能导致关键事件丢失）：

• <ttl>：建议设置为 90 DAY 或更长。分区问题可能需要回溯较长时间。
• <log_queries>：设为 0。除非你需要明确知道是哪条SQL触发了分区操作，否则关闭此字段能显著减少记录体积。
• <log_server_timezone>：设为 0。事件时间通常足够用于分析。

修改 /etc/clickhouse-server/config.xml 或其 config.d/ 下的文件是根本方法。以下是兼顾监控与存储的配置示例：

<!-- /etc/clickhouse-server/config.d/part_log_config.xml -->
<yandex>
    <part_log>
        <database>system</database>
        <table>part_log</table>
        <partition_by>toYYYYMM(event_date)</partition_by>
        <!-- 保留较长时间，因其用于排查历史数据问题 -->
        <ttl>event_date + INTERVAL 90 DAY</ttl>
        <!-- 核心：关闭非关键或冗余字段的记录 -->
        <log_queries>0</log_queries>           <!-- 通常无需记录触发分区操作的查询 -->
        <log_server_timezone>0</log_server_timezone> <!-- 节省空间 -->
    </part_log>
</yandex>

四、验证测试

• 查看集群

SHOW clusters;

• 查看集群拓扑

select cluster,host_name,host_address,user, errors_count, is_active from system.clusters;

• 查看volume_type 类型

SELECT
    policy_name,
    volume_name,
    volume_type,
    load_balancing,
    disks
FROM system.storage_policies;

• 查看所有数据库占用的空间大小

-- 查看所有数据库的大小（按数据库分组）
SELECT 
    database,
    formatReadableSize(sum(bytes_on_disk)) AS size,
    formatReadableSize(sum(rows_count) * avg(row_size)) AS estimated_size
FROM system.parts
WHERE active
GROUP BY database
ORDER BY sum(bytes_on_disk) DESC;

• 查看指定数据库中所有表的大小

-- 查看某个数据库（例如my_db）中所有表的大小
SELECT 
    table AS table_name,
    formatReadableSize(sum(bytes)) AS size,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size,
    sum(rows) AS total_rows,
    count() AS parts_count
FROM system.parts
WHERE database = 'my_db' AND active
GROUP BY table
ORDER BY sum(bytes) DESC;

• 查看特定表详细信息

-- 查看特定表的详细空间使用情况
SELECT 
    partition,
    name AS part_name,
    rows,
    formatReadableSize(bytes_on_disk) AS size_on_disk,
    formatReadableSize(data_compressed_bytes) AS compressed_size,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed_size,
    formatReadableSize(marks_bytes) AS marks_size,
    compression_codec,
    active
FROM system.parts
WHERE database = 'my_db' AND table = 'my_table'
ORDER BY partition, name;

• 查看每个列的存储大小

-- 查看表中每个列的存储大小
SELECT 
    table,
    column,
    formatReadableSize(sum(column_data_compressed_bytes)) AS compressed_size,
    formatReadableSize(sum(column_data_uncompressed_bytes)) AS uncompressed_size,
    formatReadableSize(sum(column_data_uncompressed_bytes) - 
                      sum(column_data_compressed_bytes)) AS saved_size,
    round((sum(column_data_uncompressed_bytes) - 
           sum(column_data_compressed_bytes)) / 
           sum(column_data_uncompressed_bytes) * 100, 2) AS compression_ratio_percent
FROM system.parts_columns
WHERE database = 'my_db' AND table = 'my_table'
GROUP BY table, column
ORDER BY sum(column_data_compressed_bytes) DESC;

• 查看分布式表的大小

-- 对于分布式表，查看每个分片的大小
SELECT 
    shard_num,
    formatReadableSize(sum(bytes)) AS size,
    sum(rows) AS rows
FROM clusterAllReplicas('cluster_name', system.parts)
WHERE database = 'my_db' AND table = 'my_table' AND active
GROUP BY shard_num
ORDER BY shard_num;

• 查看system 库表的大小

SELECT 
    table,
    formatReadableSize(sum(bytes_on_disk)) AS size,
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size,
    sum(rows) AS rows,
    count() AS parts_count
FROM system.parts
WHERE database = 'system' AND active
GROUP BY table
ORDER BY sum(bytes_on_disk) DESC
LIMIT 20;

• 紧急处理所有日志信息

-- 紧急清理所有旧的日志数据
ALTER TABLE system.query_log DELETE WHERE 1=1;
ALTER TABLE system.query_thread_log DELETE WHERE 1=1;
ALTER TABLE system.trace_log DELETE WHERE 1=1;

-- 强制合并parts（回收空间）
OPTIMIZE TABLE system.query_log FINAL;
OPTIMIZE TABLE system.query_thread_log FINAL;

五、创建范例

CREATE TABLE t1 ON cluster 'default' (
  dt DateTime,
  customer_id UInt32,
  total_spent Float32
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{database}/{table}/{shard}', '{replica}')
ORDER BY dt;


INSERT INTO t1 SELECT now() - INTERVAL randUniform(1,1_000_000) SECOND AS dt,
  number AS customer_id,
  15 + round(randExponential(1/10), 2) AS total_spent
FROM numbers(5000000);

// 每个节点查询
SELECT COUNT(*) from t1;

六、参考引用

• 【1】https://clickhouse.com/docs/zh/guides/sre/keeper/clickhouse-keeper
• 【2】 https://www.cnblogs.com/wangguishe/p/18764567

生成加密密码

• 使用htpasswd生成加密密码

htpasswd -nBC 12 "密码" | tr -d ':\n'

• 如果没有htpasswd工具，可以Python脚本

#!/usr/bin/python3
import getpass
import bcrypt

password = getpass.getpass("password: ")
hashed_password = bcrypt.hashpw(password.encode("utf-8"), bcrypt.gensalt())
print(hashed_password.decode())

若提示没有bcrypt模块，安装 python3-bcrypt 包即可！

创建认证configmap

cat <<EOF | kubectl -n monitoring apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
    name: node-exporter-auth
data:
  config.yml: |-
    basic_auth_users:
      # 明文密码： Prometheus#8848
      prometheus: $2b$12$2Q0gbz9ImypKSnG5oZbkGemhVobks7fT1iG2IPFlseWsnBO5v7F8q
EOF

更新 kube-prometheus-node-exporter ，让其关联认证

kubectl -n monitoring edit ds kube-prometheus-node-exporter

处理如下：

      containers:
      - args:
        - --web.config.file=/etc/node_exporter/config.yml
        
        volumeMounts:
        - mountPath: /etc/node_exporter
          name: node-exporter-config
          
      volumes:
      - configMap:
          defaultMode: 420
          name: node-exporter-auth
        name: node-exporter-config

因接口追加了凭证，所以需要在探针配置上添加认证头部，否则无法通过

        livenessProbe:
          failureThreshold: 6
          httpGet:
            ### 新增内容开始 ###
            httpHeaders:
            - name: Authorization
              value: Basic cHJvbWV0aGV1czpQcm9tZXRoZXVzIzg4NDg=
            ### 新增内容结束 ###
            path: /
            port: metrics
            scheme: HTTP
          initialDelaySeconds: 120
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 5
        readinessProbe:
          failureThreshold: 6
          httpGet:
            ### 新增内容开始 ###
            httpHeaders:
            - name: Authorization
              value: Basic cHJvbWV0aGV1czpQcm9tZXRoZXVzIzg4NDg=
            ### 新增内容结束 ###
            path: /
            port: metrics
            scheme: HTTP
          initialDelaySeconds: 30
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 5

使用以下测试

$ curl --user prometheus:Prometheus#8848 'http://节点IP地址:9100/metrics'


$ curl -H "Authorization: Basic cHJvbWV0aGV1czpQcm9tZXRoZXVzIzg4NDg=" http://localhost:9100/metrics

ServiceMonitor关联凭证

创建以下prometheus访问node-exporter服务凭证

cat <<EOF | kubectl -n monitoring apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: node-exporter-metrics-auth
stringData:
  username: prometheus
  password: Prometheus#8848
type: Opaque
EOF

编辑名为kube-prometheus-node-exporter的ServiceMonitor

kubectl -n monitoring edit ServiceMonitor kube-prometheus-node-exporter

追加以下内容

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: kube-prometheus-node-exporter
  namespace: monitoring
spec:
  endpoints:
  - port: metrics
  # 新增以下内容
  - basicAuth:
      username:
        key: username
        name: node-exporter-metrics-auth
      password:
        key: password
        name: node-exporter-metrics-auth
...<省略若干行>...

参考引用

• [1] https://dev.to/cod3mason/securing-node-exporter-metrics-2ome

版本

• OpenJDK：jdk-17.0.17+10
• Kafka：3.9.1

节点基础配置

系统内核参数

# cat > /etc/sysctl.d/99-kafka.conf<<EOF
# /etc/sysctl.d/99-kafka.conf

# ==================== 内存策略 ====================
vm.overcommit_memory = 1
vm.swappiness = 1
vm.dirty_ratio = 5
vm.dirty_background_ratio = 3

# ==================== 大节点资源扩展 ====================
fs.inotify.max_user_watches = 1048576
fs.inotify.max_user_instances = 16384
fs.nr_open = 2097152
fs.file-max = 2097152
vm.max_map_count = 262144
fs.aio-max-nr = 1048576

# ==================== 网络优化 ====================
net.core.somaxconn = 32768
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.ip_local_port_range = 10240 65535
net.core.rmem_max = 4194304
net.core.wmem_max = 4194304
net.ipv4.tcp_rmem = 4096 87380 4194304
net.ipv4.tcp_wmem = 4096 65536 4194304

# ==================== Conntrack ====================
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30
EOF

关闭透明大页（THP）

# echo never > /sys/kernel/mm/transparent_hugepage/enabled
# echo never > /sys/kernel/mm/transparent_hugepage/defrag

提示：该特性也可以追加到systemd里面，前提需要root权限

配置JDK环境

直接将包解压并创建软链接

tar acvf OpenJDK17U-jdk_x64_linux_hotspot_17.0.17_10.tar.gz -C /usr/local
cd /usr/local && ln -svf /usr/local/jdk-17.0.17+10 jdk

设置系统环境变量

cat >/etc/profile.d/java.sh<<EOF
export PATH=\$PATH:/usr/local/jdk/bin
EOF

完成验证如下：

$ java -version
openjdk version "17.0.17" 2025-10-21
OpenJDK Runtime Environment Temurin-17.0.17+10 (build 17.0.17+10)
OpenJDK 64-Bit Server VM Temurin-17.0.17+10 (build 17.0.17+10, mixed mode, sharing)

安装Kafka

下载并解压

tar axvf kafka_2.13-3.9.1.tgz -C /usr/local
cd /usr/local && ln -svf kafka_2.13-3.9.1 kafka

配置Kafka环境

单点配置

适用于开发、测试环境。

编辑 /usr/local/kafka/config/kraft/server.properties配置文件，内容如下：

process.roles=broker,controller

node.id=41

controller.quorum.voters=41@110.10.2.41

# 监听节点所有网卡
listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093

# 客户端连接时使用的地址。必须设置为客户端能从其网络环境访问到的地址（如公网IP、域名、主机名），不填写将继承listeners
advertised.listeners=PLAINTEXT://110.10.2.41:9092,CONTROLLER://110.10.2.41:9092

inter.broker.listener.name=PLAINTEXT
controller.listener.names=CONTROLLER

listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL

socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

num.partitions=1
num.recovery.threads.per.data.dir=1
num.network.threads=3
num.io.threads=8

offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

log.dirs=/data/kafka
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

集群配置

适用于生产环境。

编辑 /usr/local/kafka/config/kraft/server.properties配置文件，内容如下：

# ==================== Broker 标识 ====================
process.roles=broker,controller
node.id=93

# ==================== Controller 仲裁 ====================
controller.quorum.voters=93@10.138.98.93:9093,94@10.138.98.94:9093,95@10.138.98.95:9093
controller.listener.names=CONTROLLER

# ==================== 监听器 ====================
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
advertised.listeners=PLAINTEXT://10.138.98.93:9092,CONTROLLER://10.138.98.93:9093
inter.broker.listener.name=PLAINTEXT

# ==================== 安全（防火墙兜底） ====================
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL

# ==================== Socket 限流 ====================
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

# ==================== 线程模型 ====================
num.network.threads=8
num.io.threads=8
num.recovery.threads.per.data.dir=1

# ==================== 分区与副本 ====================
num.partitions=3
default.replication.factor=3
min.insync.replicas=2

# ==================== 选举策略 ====================
unclean.leader.election.enable=false
auto.leader.rebalance.enable=false

# ==================== 内部 Topic ====================
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=2

# ==================== 数据存储 ====================
log.dirs=/data/kafka
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

# ==================== 消息包大小 ====================
message.max.bytes=10485760
replica.fetch.max.bytes=10485800

# ==================== 压缩 ====================
compression.type=lz4

# ==================== 消费者协调 ====================
group.initial.rebalance.delay.ms=6000
offsets.retention.minutes=10080

# ==================== 生产者/消费者配额 ====================
quota.producer.default=104857600
quota.consumer.default=104857600

初始化集群数据

生成UUID

$ bin/kafka-storage.sh random-uuid
s9xNEMd-QkeBCwmMkyXwCw

创建数据目录

# install -d -o vqiu -g vqiu /data/kafka

初始化数据目录

$ bin/kafka-storage.sh format -t s9xNEMd-QkeBCwmMkyXwCw  -c /usr/local/kafka/config/kraft/server.properties

如果为集群，每节点都需要执行。

添加环境变量

cat >/etc/profile.d/kafka.sh<<EOF
export KAFKA_HOME=/usr/local/kafka
export PATH=\$PATH:${KAFKA_HOME}/bin
EOF

使用systemd来控制kafka

cat  >/usr/lib/systemd/system/kafka.service<<EOF
[Unit]
Description=Apache Kafka server with Kraft mode
Documentation=http://kafka.apache.org/documentation.html
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=vqiu
Group=vqiu
LimitAS=infinity
LimitRSS=infinity
LimitCORE=infinity
LimitNOFILE=1048576
Environment=JAVA_HOME=/usr/local/jdk
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh \
          /usr/local/kafka/config/kraft/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target
EOF

检查 Kafka 是否正在运行：

jcmd | grep kafka

查看集群全景

1. 列出集群中所有的 Broker 节点（这是首要检查项）

kafka-broker-api-versions.sh --bootstrap-server <当前节点IP>:9092

2.查看所有 Topic 的详细状态（分区、副本、Leader分布）

bin/kafka-topics.sh --bootstrap-server <当前节点IP>:9092 --describe

关于堆内存分配

默认通常只分配1G大小，如果需要额外分配JVM 堆内存，可以编辑 bin/kafka-server-start.sh 文件。

使用OpenVPN客户端在刚好1个小时准时断开。

问题排查

服务器端配置如下：

port 1194
proto tcp
user nobody
group nogroup
dev tun

### 证书相关配置
ca              certs/ca.crt
cert            certs/server.crt
key             certs/server.key
dh              certs/dh.pem
crl-verify      certs/crl.pem
tls-auth        certs/ta.key 0
tls-version-min 1.2
data-ciphers    AES-256-GCM:AES-128-GCM:CHACHA20-POLY1305
cipher          AES-256-GCM
data-ciphers    AES-256-GCM
auth            SHA256
persist-key
persist-tun
### 证书相关配置

# TLS 会话的重新协商时间，默认 3600秒，0为禁用
reneg-sec 0
server 10.255.0.0 255.255.255.0

# 客户端IP持久化文件
ifconfig-pool-persist ipp.txt

# 表示每 15 秒发送心跳Ping包，120秒无响应则断开
keepalive 15 120

### 拓扑模式
# net30：默认模式，每个客户端分配一个/30 的子网，C/S之间点对点实现
# subnet： C/S 之间共享一个子网
# p2p： 点对点模式，服务器和客户端之间直接通信
topology subnet

# 客户端之间相互通信
;client-to-client

### 日志级别
# 0	除了严重错误外不输出任何内容。
# 1	输出启动信息、连接初始化消息以及非致命的加密和网络错误。
# 2	显示 TLS 协商和路由信息。
# 3	默认级别，显示警告和错误信息。
# 4	显示参数信息。
# 5	显示每个从 TCP/UDP 或 tun/tap 发送和接收的数据包信息。
# 6-11	逐渐增加详细程度的调试消息，最高级别（11）会输出所有日志信息。
verb 3

# 客户端断开时，向服务器发送退出通知
explicit-exit-notify 1

# 允许多个客户端使用相同的CN证书连接
#duplicate-cn

# 自定义用户配置路径
client-config-dir /etc/openvpn/ccd

# 状态日志输出路径
status /var/log/openvpn-status.log

# 推送给客户端的路由表
;push "route 10.0.0.0 255.255.255.0"

# 强制客户端将所有网络流量通过 VPN 隧道发送
;push "redirect-gateway def1 bypass-dhcp"

# 推荐客户端DNS地址
;push "dhcp-option DNS 192.168.255.1"
dhcp-option DOMAIN vqiu.cn

# 引用外部插件
plugin /usr/local/openvpn/lib/openvpn/plugins/openvpn-plugin-auth-pam.so openvpn
# 不使用客户端证书
verify-client-cert none
username-as-common-name

客户端配置

client
dev tun
proto udp
remote XXX 1194
resolv-retry infinite
nobind
persist-key
persist-tun
key-direction 1
auth-nocache
remote-cert-tls server
ignore-unknown-option block-outside-dns
auth SHA256
data-ciphers AES-256-GCM:AES-128-GCM:CHACHA20-POLY1305:AES-256-CBC
verb 3
auth-user-pass
...<省略若干行>...

原因分析

其中客户端侧有个auth-nocache参数。该参数用来防止客户端在重新连接时使用旧的TLS密钥，这意味着会阻止OpenVPN缓存TLS密钥，但每次连接时都会生成新的密钥对，所以就中断了。

问题解决

客户端侧拿掉auth-nocache 参数，同时服务器侧Server.conf文件新增以下配置：

# TLS 会话的重新协商时间，默认 3600秒，0为禁用,这里配置24小时
reneg-sec 86400

# 认证令牌有效时间,单位秒
auth-gen-token 86400

# 推送TLS 会话重新协商时间
push "reneg-sec 86400"

Linux环境生成的文件传输到Windows，虽有指纹但不知如何校验。

示例

Linux

sha1sum 文件名 文件名.sha1sum

Windows下面使用PowerSHell

PS > Get-FileHash -Algorithm SHA1 文件名

客户提供了若干台OS为Kylin V10 SP3的机器来搭建一个K8S集群，然而每台节点都默认分配了16G的swap分区。打着节约的旗帜来，将它关而闭之同时把这16G空间分配到根分区。

操作步骤

关闭系统swap并取消开机自启动

# swapoff -a
# sed -e '/swap/s/^/#/g' -i /etc/fstab

删除swap分区，将腾出来的空间挪到根分区

# lvremove -y /dev/mapper/klas-swap
# lvextend -l +100%FREE /dev/mapper/root
# xfs_grow /dev/mapper/root      -> XFS 文件系统
# resize2fs /dev/mapper/root     -> ext4 文件系统

删除启动依赖swap[最为关键一步]

# vim /etc/default/grub
...<省略若干行>... 
#GRUB_CMDLINE_LINX="resume=/dev/mapper/klas-swap rd.lvm.lv=klas/root rd.lvm.lv=klas/swap rhgb quiet crashernel=256M,high audit=0"
GRUB_CMDLINE_LINX="rd.lvm.lv=klas/root rhgb quiet crashernel=256M,high audit=0"
...<省略若干行>...

提示：系统启动默认依赖swap分区，如果分区已经删除而没有将grub上面依赖清理，系统将无法正常启动。

重新生成 grub文件

# [ -d /sys/firmware/efi ] && grub2-mkconfig -o /boot/efi/EFI/kylin/grub.cfg || grub2-mkconfig -o /boot/grub2/grub.cfg

操作完毕最好重启OS来验证下！

背景

总有一些场景不允许直接使用root用户（嗯？会议评审下，邮件发一下...），只能操作普通账户，然而又需要使用docker应用来构建镜像或者是使用docker跑些测试样例。

实现

使用非root运行docker命令，不出意外的话就会弹出以下无权限的警示。

$ docker ps
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.40/containers/json: dial unix /var/run/docker.sock: connect: permission denied

由于我的docker环境是直接使用二进制来安装的(非yum与apt)，于是我采用以下姿势来处理：

# export USER=vqiu
# setfacl -m user:$USER:rw /var/run/docker.sock

此时再使用docker命令就一片祥和了，但是只要docker服务重启便又回到无权限的起点。这好办，直接在docker的systemd中追加以下内容：

ExecStartPost=/usr/bin/setfacl -m user:vqiu:rw /var/run/docker.sock

提示：如果是多个普通用户就使用组的概念来维护！

此时，systmed中的docker.service内容如下：

systemctl cat docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=-/etc/sysconfig/docker
EnvironmentFile=-/etc/sysconfig/docker-storage
EnvironmentFile=-/etc/sysconfig/docker-network
Environment="PATH=/bin:/sbin:/usr/bin:/usr/sbin"
Environment=GOTRACEBACK=crash

ExecStart=/usr/bin/dockerd $OPTIONS \
                           $DOCKER_STORAGE_OPTIONS \
                           $DOCKER_NETWORK_OPTIONS \
                           $INSECURE_REGISTRY
ExecStartPost=/usr/bin/setfacl -m user:vqiu:rw /var/run/docker.sock
ExecReload=/bin/kill -s HUP $MAINPID
Restart=always
RestartSec=5
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
Delegate=yes
KillMode=process

[Install]
WantedBy=multi-user.target