除了某些土豪站用全闪以外，大多数开源镜像站都是以机械盘为主，当带宽充裕的时候IO显然会成为瓶颈，那么采用少量的SSD来提升性能几乎是唯一的办法。加SSD的方法有很多种：

1. lvmcache bcache bcachefs：因在用ZFS所以没有测试这类方案，看上去比较复杂；
2. ZFS L2ARC：实际测试基本无效果，zpool iostat 看L2ARC读取很少；
3. nginx proxy_cache：效果显著，但是必须用反代。

proxy_cache配置在前端nginx上，前端nginx访问SSD，前端nginx需要编译安装ngx_cache_purge以便主动清除缓存。前端nginx反代给后端nginx，后端nginx访问机械盘提供实际的数据。当然也可以一个nginx同时访问SSD和机械盘，这个nginx自己反代给自己，因为只有反代了才能缓存，前端nginx缓存配置如下：

http {
    ……
    proxy_cache_path /cache levels=1:2 use_temp_path=off keys_zone=mirror:64m inactive=24h max_size=2600g;
    ……
}
server {
    listen 80;
    listen [::]:80;
    listen 443 ssl;
    listen [::]:443 ssl;
    listen *:443 quic;
    listen [::]:443 quic;
    server_name mirror.nju.edu.cn mirrors.nju.edu.cn;
    ……
    proxy_cache mirror;
    proxy_cache_key $request_uri;
    proxy_cache_valid 200 24h;
    proxy_cache_valid 301 302 1h;
    proxy_cache_valid any 1m;
    proxy_cache_lock on;
    proxy_cache_lock_age 3s;
    proxy_cache_lock_timeout 3s;
    proxy_cache_use_stale error timeout updating;
    proxy_cache_background_update on;
    proxy_cache_revalidate on;
    cache_purge_response_type text;
    proxy_cache_purge PURGE from 127.0.0.1 192.168.10.10;
    add_header X-Cache-Status $upstream_cache_status;
    ……
    location / {
        proxy_pass http://192.168.10.10:8000;

        ……
    }
    ……
}

• proxy_cache_path：
  use_temp_path=off 临时文件直接放到 cache 目录中，防止文件在 temp_path 和 cache_path 之间移动。缓存文件会先放在 temp_path 中，下载完了再移动到 cache_path 下，设定成 off 比较简单安全。
  keys_zone=mirror:64m 内存缓存区名称是 mirror 容量是64MB，每MB内存可以缓存八千个key，可以估算一下key的数量设定缓存区大小。
  inactive=6h 超过6小时没有访问的缓存会被删除，无论是否 valid，防止缓存被长期未用的数据占用。
  max_size=1946g 要比缓存目录 /cache 容量稍小，如果缓存用尽 nginx 会报错 [crit] …… failed (2: No such file or directory) 而且会直接断开客户端链接。
• proxy_cache mirror：匹配前面 proxy_cache_path 的内存缓存区名称。
• proxy_cache_key $request_uri：原始请求的URL，用这个URL用作缓存的key，只要这个key（请求URL）一样则nginx用缓存中一样的数据回复。
• proxy_cache_valid 200 24h; proxy_cache_valid 301 302 1h; proxy_cache_valid any 1m;：HTTP状态码200的缓存24小时、301/302的缓存1小时、其它的缓存1分钟，缓存达到这个时间就会被抛弃，防止数据被长期缓存不能得到更新。
• proxy_cache_lock on：当有多个请求同一个文件时（同一个key），只有第一个请求从反代中获取，通过加锁让后续的请求等待第一个请求完成后从缓存中获取，防止并发从后端中请求同一个文件，加重后端负载。
• proxy_cache_lock_age 3s：第一个请求锁定3秒，到期后就释放锁，下一个请求发送到后端。
• proxy_cache_lock_timeout 3s：后续的请求如果等待3秒还未从缓存中获取，就直接从后端获取，但是不缓存。
• proxy_cache_use_stale error timeout updating：当请求后端时出现错误（error）或超时（timeout）时使用过期缓存，如果因缓存过期正在更新中（updating）时使用过期缓存，过期的缓存总比没有好。
• proxy_cache_background_update on：允许后台请求过期的缓存。
• proxy_cache_revalidate on：更新缓存时使用 If-Modified-Since 和 If-None-Match 请求后端，后端可以返回304而非200减少传输。
• cache_purge_response_type text：清除缓存后返回文本格式的结果。
• proxy_cache_purge PURGE from 127.0.0.1 192.168.10.10：使用PURGE这个HTTP方法清除缓存，允许本地和192.168.10.10来清除。
• add_header X-Cache-Status $upstream_cache_status：添加HTTP头X-Cache-Status以便客户端知道缓存情况。

后端nginx可能需要设定某些文件的缓存有效期，比如提供给mirrorz的相关文件需要根据不同的请求站点设置不同的 Access-Control-Allow-Origin 头以实现跨域，但是URL相同则前端缓存key相同，前端无法根据不同的请求站点回复不同的HTTP头，在缓存有效期内均回复第一次访问缓存下来的HTTP头，所以比较简单的方法就是直接禁用有关文件的缓存：

server {
    listen 8000;
    root /mirror;
    ……
    location ~ ^/mirrorz/ {
        expires -1;
        ……
    }
    ……
}

• expires -1：负值禁用缓存，通过添加HTTP头 Cache-Control: no-cache 和 Expires，Expires被设定为当前时间之前，这样前端nginx就不会缓存 mirrorz 的URL了。

编辑 tunasync worker 的配置文件添加一个脚本，使得每个同步作业结束后均清除前端上这个镜像的所有缓存：

#tunasync worker的配置文件
[global]
……
exec_on_success = [ "/home/mirror/postexec.sh" ]
exec_on_failure = [ "/home/mirror/postexec.sh" ]
……

#上述的postexec.sh脚本内容
#!/bin/bash
MIRROR_DIR="/mirror/"
DIR="${TUNASYNC_WORKING_DIR/"$MIRROR_DIR"/}"
/usr/bin/curl --silent --output /dev/null --request PURGE "https://mirror.nju.edu.cn/$DIR/*"

镜像站某些状态文件会频繁的周期更新，每次更新后都用 curl --silent --output /dev/null --request PURGE "https://mirror.nju.edu.cn/status/*" 清除一下缓存。

NVMe over RoCE 存储系统的网络应认真规划，下面以一个简单的系统为例说明：

• 一台双控制器（A控、B控）NVMe存储，每个控制器上有四个NVMe over RoCE的网口（A控A1-A4、B控B1-B4）
• 两台无损以太网交换机（交换机A、交换机B）
• 两台服务器（服务器1、服务器2）
• 每台服务器有两个RoCE网卡（服务器X网卡1、服务器X网卡2），每个网卡有两个网口（服务器X网卡1A、服务器X网卡1B、服务器X网卡2A、服务器X网卡2B）
• VLAN 123-124 用于 NVMe over RoCE、VLAN 99 用于业务网

交换机A的VLAN 123（192.168.123.0/24）用于传输NVMe over RoCE、交换机B用VLAN 124（192.168.124.0/24）用于传输NVMe over RoCE。无论是控制器、交换机、网卡坏任意一个，甚至每类都任意坏一个，均不影响业务连续性

NVMe over RoCE 的相关配置需要在 vCenter Server Client 下面操作，ESXi Host Client 下是没有相关选项的，至少图形界面是这样，用 esxicli 估计可以直接在 ESXi 下面配置。所以需要先用本地的盘部署一套VCSA，精简配置大约150GB就够了，等NVMe配置好再迁移到存储上。

• 在配置-网络-RDMA 适配器下确认RDMA适配器（vmrdmaX）对应的物理网络适配器（vmnicX），可通过交换机 shutdown 等方法确认规划用于 NVMe 的端口对应的物理网络适配器名称。
  如 vmrdma0 对应 vmnic2、vmrdma3 对应 vmnic5。
• 在配置-网络-虚拟交换机下添加网络，选择 VMkernel 网络适配器、选择新建标准交换机、输入MTU（Dorado 推荐5500），选择一个用于NVMe的物理网络适配器，VLAN ID 填写对应交换机的 NVMe over RoCE 用 VLAN，可用服务中仅勾选 NVMe over RDMA，配置静态IPv4地址。
• 重复上述过程，为每个 NVMe 端口对应的物理网络适配器创建独立的虚拟交换机并配置独立的 VLAN、独立的 VMkernel 端口，实现每个 VMKernel 和物理网络适配器之间一一映射。
  如 vSwitch1 绑定物理网络适配器 vmnic2、VMkernel 端口 vmk1 192.168.123.11、VLAN ID  123；vSwitch2 绑定物理网络适配器 vmnic5、VMkernel 端口 vmk2 192.168.124.11、VLAN ID  124。
• 在配置-存储-存储适配器-添加软件适配器，添加 NVMe over RDMA 适配器，选择对应的RDMA设备。重复该过程为每个 NVMe 的 RDMA适配器 添加 软件适配器。
  如为 vmrdma0 添加 vmhba64，为 vmrdma3 添加 vmhba65
• 在配置-存储-存储适配器中，选中刚刚添加的vmhbaXX（VMware NVME over RDMA Storage Adapter），在控制器中添加控制器，填写子系统NQN（存储的NQN）、该网络对应VLAN下的存储IP，保持活动时间 Dorado 推荐5秒，重复此过程添加存储在该VLAN下的所有IP。
  如 vmhba64 添加有 192.168.123.101-104 四个控制器
• 重复上述过程给剩下的 vmhbaXX 添加控制器。
  如 vmhba65 添加有 192.168.124.101-104 四个控制器
• 复查所有访问路径 esxcli nvme fabrics connection list
• 上述的每个控制器如果都可以访问同一个LUN，那么每一个都是一个多路径。7.0最多4条，8.0最多8条，8.0U1最多32条。
• 最终结果如下表所示，8个路径 = 2个物理网络适配器 x 4个控制器

NVMe over RoCE 要求无损网络，因此交换机和主机网卡均需要一些配置来保证无损。

QoS标记采用PCP为例，PCP是在VLAN标签中标记优先级，所以流量必须在VLAN中，Dorado 不是所有的前端接口卡都支持DSCP。

• 交换机启用PFC优先级3，1分钟发生死锁20次，关闭端口PFC
• 交换机配置PFC死锁检测，检测时间1000ms，恢复时间1500ms
• 交换机与存储和服务器链接用于NVMe over RoCE的所有端口配置PFC、VLAN和MTU
• 两台交换机使用不同的VLAN，防止出现跨交换机的流量
• 交换机在队列3启用AI-ECN并加载集中存储模型
• 交换机启用LLDP（iNOF的基本要求）
• 交换机启用简单的iNOF（默认域、无反射器）

dcb pfc nof
 priority 3 turn-off threshold 20
#
dcb pfc deadlock-detect timer 1000
dcb pfc deadlock-recovery timer 1500
#
interface 25GE1/0/1
 description Dorado-A
 port link-type trunk
 port trunk allow-pass vlan 123
 stp edged-port enable
 dcb pfc enable nof mode manual
 jumboframe enable 5500
#               
interface 25GE1/0/2
 description Dorado-A
 port link-type trunk
 port trunk allow-pass vlan 123
 stp edged-port enable
 dcb pfc enable nof mode manual
 jumboframe enable 5500
#
interface 25GE1/0/3
 description Dorado-B
 port link-type trunk
 port trunk allow-pass vlan 123
 stp edged-port enable
 dcb pfc enable nof mode manual
 jumboframe enable 5500
#               
interface 25GE1/0/4
 description Dorado-B
 port link-type trunk
 port trunk allow-pass vlan 123
 stp edged-port enable
 dcb pfc enable nof mode manual
 jumboframe enable 5500
#
interface 25GE1/0/9
 description Host-01
 port link-type trunk
 port trunk allow-pass vlan 123
 stp edged-port enable
 dcb pfc enable nof mode manual
 jumboframe enable 5500
#
interface 25GE1/0/11
 description Host-02
 port link-type trunk
 port trunk allow-pass vlan 123
 stp edged-port enable
 dcb pfc enable nof mode manual
 jumboframe enable 5500
#
lldp enable
#
ai-service
 #
 ai-ecn
  ai-ecn enable
  assign queue 3 model ai_ecn_centralizedstorage
 #
 inof
#
return

• 为确保 RoCE 流量无损，在 ESXi 主机中将 PFC 优先级值配置为 3

[root@yaoge123:~] esxcli system module parameters set -m nmlx5_core -p "pfctx=0x08 pfcrx=0x08"

• 重启后查看，pfctx和pfcrx值均为0x08

[root@yaoge123:~] esxcli system module parameters list -m nmlx5_core | grep pfc
pfcrx                int            0x08   Priority based Flow Control policy on RX.
   Notes: Must be equal to pfctx.
pfctx                int            0x08   Priority based Flow Control policy on TX.
   Notes: Must be equal to pfcrx.

一个非常无语的高危漏洞，任何人都可以重置任意账号的密码然后发送到指定邮箱

对于容器部署来说，直接修改 /var/opt/gitlab/nginx/conf/gitlab-http.conf 文件，在其中添加

location /users/password { 
  return 444; 
}

然后重新加载nginx配置文件

gitlab-ctl hup nginx

升级至 gitlab-jh v16.5.0 以后，PostgreSQL 数据库的连接数会一直持续上升，直至触碰最大连接数上限，前台报500错误。升级至v16.5.2后恢复和以前版本一样的，连接数约200，峰值不超过500。

大体架构是：前端 Nginx 卸载SSL后反代给 OnlyOffice，OnlyOffice 将监控信息喂给 statsd-exporter，Prometheus 从 statsd-exporter 拉取数据，最终用 Grafana 可视化展示。

先来 docker-compose.yml 配置如下，有一些注意修改的地方：

1. 可以把一些onlyoffice插件挂进容器中 /var/www/onlyoffice/documentserver/sdkjs-plugins/ 目录下，启动时会自动加载。
2. onlyoffice自带的中文字体少的可怜，一定要整理一些常用字体（特别是Windows/Office自带的字体），将ttf/otf字体文件挂进容器中 /usr/share/fonts/ 目录下，启动时会自动加载。
3. onlyoffice的持久化配置挂进容器 /etc/onlyoffice/documentserver/local-production-linux.json，这样升级重启的时候配置才能保留下来；容器里面的配置文件改了也没用，重建就全丢了。
4. JWT_SECRET 配置一个足够强的Token，和应用软件配置要一样。

services:
  onlyoffice:
    image: onlyoffice/documentserver-ee
    container_name: onlyoffice
    volumes:
      - ./onlyoffice/logs:/var/log/onlyoffice
      - ./onlyoffice/data:/var/www/onlyoffice/Data
      - ./onlyoffice/lib:/var/lib/onlyoffice
      - ./onlyoffice/db:/var/lib/postgresql
      - ./onlyoffice/fonts/dejavu:/usr/share/fonts/dejavu
      - ./onlyoffice/fonts/founder:/usr/share/fonts/founder
      - ./onlyoffice/fonts/liberation:/usr/share/fonts/liberation
      - ./onlyoffice/fonts/libertinus:/usr/share/fonts/libertinus
      - ./onlyoffice/fonts/noto-cjk:/usr/share/fonts/noto-cjk
      - ./onlyoffice/fonts/noto-emoji:/usr/share/fonts/noto-emoji
      - ./onlyoffice/fonts/sarasa-gothic:/usr/share/fonts/sarasa-gothic
      - ./onlyoffice/fonts/source-code-pro:/usr/share/fonts/source-code-pro
      - ./onlyoffice/fonts/source-han-sans:/usr/share/fonts/source-han-sans
      - ./onlyoffice/fonts/source-han-serif:/usr/share/fonts/source-han-serif
      - ./onlyoffice/fonts/source-sans:/usr/share/fonts/source-sans
      - ./onlyoffice/fonts/source-serif:/usr/share/fonts/source-serif
      - ./onlyoffice/fonts/windows:/usr/share/fonts/windows
      - ./onlyoffice/local-production-linux.json:/etc/onlyoffice/documentserver/local-production-linux.json
    environment:
      - TZ=Asia/Shanghai
      - JWT_ENABLED=true
      - JWT_SECRET=yaoge123
  statsd-exporter:
    image: prom/statsd-exporter
    container_name: statsd-exporter
    ports:
      - 9102:9102
    depends_on:
      - onlyoffice 
  nginx:
    image: nginx:alpine
    container_name: nginx
    ports:
      - 80:80
      - 443:443
    volumes:
      - ./nginx/conf.d/:/etc/nginx/conf.d/:ro
      - ./nginx/ssl/:/etc/nginx/ssl/:ro
    environment:
      - TZ=Asia/Shanghai
  nginx-exporter:
    image: nginx/nginx-prometheus-exporter
    container_name: nginx-prometheus-exporter
    ports:
      - 9113:9113
    command:
      - -nginx.scrape-uri
      - http://nginx:8080/stub_status
    depends_on:
      - nginx
……

在 local-production-linux.json 对 OnlyOffice 进行持久化配置，主要是三部分：

1. 开启statsd监控推送，填写statsd-exporter的主机名和端口
2. 开启自动保存
3. 打开文件尺寸扩大至1GB（默认是100MB）

{
        "statsd": {
                "useMetrics": true,
                "host": "statsd-exporter",
                "port": "9125",
                "prefix": "ds."
        },
	"services": {
		"CoAuthoring": {
			"autoAssembly": {
				"enable": true,
				"interval": "5m"
			}
		}
	},
	"FileConverter": {
		"converter": {
			"maxDownloadBytes": 1073741824,
			"downloadAttemptMaxCount": 3
		}
	}
}

Nginx 配置反代卸载SSL

map $http_host $this_host {
    "" $host;
    default $http_host;
}

map $http_x_forwarded_proto $the_scheme {
     default $http_x_forwarded_proto;
     "" $scheme;
}

map $http_x_forwarded_host $the_host {
    default $http_x_forwarded_host;
    "" $this_host;
}

map $http_upgrade $proxy_connection {
    default upgrade;
    "" close;
}

server {
	listen 80;
	listen [::]:80;
	server_name onlyoffice.nju.edu.cn;
	rewrite ^ https://$http_host$request_uri? permanent;
	server_tokens off;
}

server {
        listen 443 ssl http2;
        listen [::]:443 ssl http2;
	server_name onlyoffice.nju.edu.cn;
	server_tokens off;

        include ssl/nju_edu_cn.conf;

	add_header X-Content-Type-Options nosniff;

	location / {
		proxy_pass http://onlyoffice;
		proxy_http_version 1.1;
		proxy_set_header Upgrade $http_upgrade;
		proxy_set_header Connection $proxy_connection;
		proxy_set_header X-Forwarded-Host $the_host;
		proxy_set_header X-Forwarded-Proto $the_scheme;
		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	}
}

server {
	listen 8080;
	listen [::]:8080;
	server_name localhost;

	location /stub_status {
		stub_status on;
		access_log off;
	}
}

在 Consul 中注册 OnlyOffice 和 Nginx 的监控

[yaoge123 ~]$ curl -X PUT -d '{"id": "onlyoffice.nju.edu.cn_statsd-exporter","name": "statsd_exporter","address": "onlyoffice.nju.edu.cn","port": 9102,"tags": ["prometheus","vm"],"checks": [{"http": "http://onlyoffice.nju.edu.cn:9102/metrics","interval": "30s"}]}' http://consul:8500/v1/agent/service/register

[yaoge123 ~]$ curl -X PUT -d '{"id": "onlyoffice.nju.edu.cn_nginx-exporter","name": "nginx_exporter","address": "onlyoffice.nju.edu.cn","port": 9113,"tags": ["prometheus","vm"],"checks": [{"http": "http://onlyoffice.nju.edu.cn:9113/metrics","interval": "30s"}]}' http://consul:8500/v1/agent/service/register

在Grafana中导入基于官方Dashboard的修改版

https://grafana.com/grafana/dashboards/17048

• PPPoE接入：配置接口绑定三层安全域（untrust），IP配置为PPPoE，因为是动态IP所以必须配置DDNS，关闭逆向路由。
• 静态IP接入：配置接口绑定三层安全域（untrust），IP配置为静态IP，关闭逆向路由。

• 源Any，目的地址对于动态IP选物理端口、对于静态IP填写IP地址，服务为对外发布的端口，转换为填写内网服务器IP和端口。

• 源Any，目的安全域trust，目的地址为DDNS的动态域名和静态IP，服务对应目的NAT的服务。

VPN：

• 为每个ISP接入创建独立的VPN，绑定各自的接入接口，为每个ISP创建独立的不同子网的隧道接口和地址池。

• 不勾选”启用NAT IP匹配“。

• 为每一个IPS接入创建单独的第一层流控管道。
• 管道模式为整形，此模式支持带宽借用。
• 匹配条件创建两条，一条只设置目的接口为ISP接防火墙的物理端口（无论动态还是静态IP），服务选择目的NAT中的服务；另一条只设置目的地址条目为vpn的地址池。
• 流控动作是重点，在上述匹配条件下，正向流量指客户端下载、防火墙向ISP上传的流量；反向流量指客户端上传，防火墙从ISP下载的流量。
• 管道带宽是ISP分配给的带宽，特别注意对于上下行非对等的宽带一定不要设置错。
• 限制类型选限每IP，同IP下NAT的多个客户端会按照整个IP限制。
• 限流选目的IP，这里的目的IP是客户端IP、源IP是服务器IP，因要限速每个客户端所以选目的IP，正向和反向是一样的。
• 设置最小带宽，最小带宽是保证带宽，保证客户端有最基本的带宽可用。不设置最大带宽，尽可能的提高带宽利用率。
• 不勾选平均带宽，这样不能很好地利用总带宽，应该设置最小保证带宽，不限制最大带宽可以充分利用带宽。如果勾选了平均带宽，会出现20Mb总带宽，4个IP连接，只有2个IP传输数据的时候，总带宽只能跑到10Mb。如果设置了最大带宽，但最大带宽小于总带宽，在单一客户端使用的情况下，跑不满总带宽会有浪费。

在以上配置的情况下，单一客户端可以跑满总带宽，多个客户端时可以保证每个客户端至少能获得最小带宽。

以FortiWeb 6.3.1导入GoGetSSL颁发的RSA/ECC双证书为例

1. 导入根证书和OCSP证书：菜单System->Certificates->CA，CA标签页，导入AAA Certificate Services、USERTrust RSA Certification Authority、USERTrust ECC Certification Authority、GoGetSSL RSA DV CA、GoGetSSL ECC DV CA
2. 导入中级证书：菜单System->Certificates->Intermediate CA，Intermediate CA标签页，导入AAA Certificate Services签发的USERTrust RSA Certification Authority和USERTrust ECC Certification Authority，再导入USERTrust RSA Certification Authority签发的GoGetSSL RSA DV CA和USERTrust ECC Certification Authority签发的GoGetSSL ECC DV CA
3. 创建中级证书组：菜单System->Certificates->Intermediate CA，Intermediate CA Group标签页，创建证书组GoGedtSSL RSA，先添加GoGetSSL RSA DV CA，再添加USERTrust RSA Certification Authority，ID 1应为签发服务器证书的中级证书，ID 2应为根证书签发的中级证书；同样的创建证书组GoGetSSL ECC，加入中级证书GoGetSSL ECC DV CA和USERTrust ECC Certification Authority；再创建一个证书组GoGetSSL把这四个中级证书都加进去
4. 导入服务器证书：菜单System->Certificates->Local，分别导入证书颁发机构签发的服务器RSA和ECC证书及其对应的Key
5. 添加OCSP stapling：菜单System->Certificates->OCSP stapling，为每一个服务器证书创建对应的OCSP，其中CA Certificate和OCSP URL按照服务器证书内容选择和填写，CA要先导入
6. 创建多证书：菜单System->Certificates->Multi-certificate，创建一个多证书，分别选择RSA和ECDSA两个服务器证书
7. 在Server里面如果使用多证书，就要选择有RSA和ECC中级证书的证书组，这是因为当前FortiWeb的系统的多证书只能选择一个中级证书组，所以就需要这个中级证书组里面放置所有的中级证书，将这些中级证书全部发送给客户端，让客户端自己选择

用 openssl s_client -showcerts -status -tlsextdebug -connect www.yaoge123.com:443 和 SSL Labs 检查证书链和OCSP