haproxy集成国密ssl功能[下]

上���[haproxy集成国密ssl功能上

4. 源码修改解析

  以下修改基本围绕haproxy的ssl_sock.c进行修改来展开的，为了将整个实现逻辑能够说明清楚，下述内容有部分可能就是直接摘抄haproxy的原有代码没有做任何修改，而大部分增加或者修改的内容则进行了特别的说明。

4.1 为bind指令的ssl子命令添加ntls选项解析能力

static struct bind_kw_list bind_kws = {    "SSL", {    }, {   ......{    "force-tlsv10",          bind_parse_tls_method_options, 0 }, /* force TLSv10 */{    "force-tlsv11",          bind_parse_tls_method_options, 0 }, /* force TLSv11 */{    "force-tlsv12",          bind_parse_tls_method_options, 0 }, /* force TLSv12 */{    "force-tlsv13",          bind_parse_tls_method_options, 0 }, /* force TLSv13 */{    "force-ntlsv11",         bind_parse_tls_method_options, 0 }, /* force NTLSv11 */{    "generate-certificates", bind_parse_generate_certs,     0 }, /* enable the server certificates generation */{    "no-ca-names",           bind_parse_no_ca_names,        0 }, /* do not send ca names to clients (ca_file related) */{    "no-sslv3",              bind_parse_tls_method_options, 0 }, /* disable SSLv3 */{    "no-tlsv10",             bind_parse_tls_method_options, 0 }, /* disable TLSv10 */{    "no-tlsv11",             bind_parse_tls_method_options, 0 }, /* disable TLSv11 */{    "no-tlsv12",             bind_parse_tls_method_options, 0 }, /* disable TLSv12 */{    "no-ntlsv11",            bind_parse_tls_method_options, 0 }, /* disable TLSv13 */{    "no-tlsv13",             bind_parse_tls_method_options, 0 }, /* disable NTLSv11 */......{    NULL, NULL, 0 },}};

  这里添加了ntls、force-ntlsv11和no-ntlsv11三个指令选项。haproxy 通过INITCALL1(STG_REGISTER, bind_register_keywords, &bind_kws);将指令选项的解析回调函数注册进去，在指令解析的时候将回调对应的选项解析函数。

4.1.1 ntls指令选项解析

  按照上面的配置，ntls的配置选项是交由bind_parse_ntls来解析的，源码如下：

/* parse the "ntls" bind keyword. Returns a set of ERR_* flags possibly with an error in . */static int bind_parse_ntls(char **args, int cur_arg, struct proxy *px,    struct bind_conf *conf, char **err){   char enc[MAXPATHLEN], sign[MAXPATHLEN], tls[MAXPATHLEN];int cfgerr = 0;    int couple_cert = 0;    const char *gm_cert_enc, *gm_cert_sign, *tls_cert;    gm_cert_enc = gm_cert_sign = tls_cert = NULL;    char* err2 = NULL;    SSL_CTX *old_ctx = NULL;if (!*args[cur_arg + 1]) {   memprintf(err, "'%s' : missing ntls enc certificate location", args[cur_arg]);return ERR_ALERT | ERR_FATAL;}    else {           gm_cert_enc = args[cur_arg + 1];    }if (!*args[cur_arg + 2]) {   memprintf(err, "'%s' : missing ntls sign certificate location", args[cur_arg]);return ERR_ALERT | ERR_FATAL;}    else {           gm_cert_sign = args[cur_arg + 2];    }    if (*args[cur_arg + 3]) {           if (strstr(args[cur_arg + 3], ".pem") != NULL         || strstr(args[cur_arg + 3], ".crt") != NULL) {               /* 第三个参数必须是以.pem或.crt为扩展名的文件，           这样子才会启用tls 和 ntls双证书模式 */            couple_cert  = 1;            tls_cert     = args[cur_arg + 1];            gm_cert_enc  = args[cur_arg + 2];            gm_cert_sign = args[cur_arg + 3];        }}    if (tls_cert) {           if ((*tls_cert != '/' ) && global_ssl.crt_base) {               if ((strlen(global_ssl.crt_base) + 1 + strlen(tls_cert) + 1)                   > MAXPATHLEN) {                   memprintf(err, "'%s' : tls certificate path too long",                           args[cur_arg]);                return ERR_ALERT | ERR_FATAL;            }            snprintf(tls, sizeof(tls), "%s/%s",  global_ssl.crt_base, tls_cert);        }else {               strcpy(tls, tls_cert);        }        /* 加载tls证书 */        cfgerr = ssl_sock_load_cert(tls, conf, &err2);        if (cfgerr != 0) {               memprintf(err, "load enc certificate %s failed, error:%s",                             tls, err2 ? err2: "" );            if (err2) free(err2);            return cfgerr;        }    }    else {           /*             如果没有tls证书，那么就没有调用ssl_sock_load_cert而创建一个新的ctx，            在这里需要将conf->default_ctx置为空，            让ssl_sock_load_ntls_cert新创建一个ctx,            等ntls的enc和sign证书加载完成后，重新将conf->default_ctx设置回去。        */        old_ctx = conf->default_ctx;        conf->default_ctx = NULL;    }if ((*gm_cert_enc != '/' ) && global_ssl.crt_base) {   if ((strlen(global_ssl.crt_base) + 1 + strlen(gm_cert_enc) + 1)      > MAXPATHLEN) {   memprintf(err, "'%s' : enc certificate path too long",           args[cur_arg]);return ERR_ALERT | ERR_FATAL;}snprintf(enc, sizeof(enc), "%s/%s",  global_ssl.crt_base, gm_cert_enc);}else {   strcpy(enc, gm_cert_enc);}    /* 加载ntls_enc证书 */cfgerr = ssl_sock_load_ntls_cert(enc, conf, 0, &err2);if (cfgerr != 0) {   memprintf(err, "load enc certificate %s failed, error:%s",                        enc, err2 ? err2 : "");        if (err2) free(err2);return cfgerr;}if ((*gm_cert_sign != '/' ) && global_ssl.crt_base) {   if ((strlen(global_ssl.crt_base) + 1 + strlen(gm_cert_sign) + 1)      > MAXPATHLEN) {   memprintf(err, "'%s' : sign certificate path too long",           args[cur_arg]);return ERR_ALERT | ERR_FATAL;}snprintf(sign, sizeof(sign), "%s/%s",            global_ssl.crt_base, gm_cert_sign);}else {   strcpy(sign, gm_cert_sign);}    /* 加载ntls_sign证书 */cfgerr = ssl_sock_load_ntls_cert(sign, conf, 1, &err2);if (cfgerr != 0) {   memprintf(err, "load sign certificate %s failed, error:%s",                     sign, err2 ? err2 : "" );        if (err2) free(err2);return cfgerr;}// 设置启用国密TLCP协议conf->enable_ntls = 1;    /* 重新将default_ctx改成之前的old_ctx */    if (old_ctx) {           conf->default_ctx = old_ctx;    }if (tls_cert)         return cfgerr | 0x30000000;         /* 指明消耗3个参数 */    else        return cfgerr | 0x20000000;         /* 指明消耗2个参数 */}

  以上代码就是从配置指令中读取加密证书和签名证书，ntls可以同时支持国际和国密证书的加载，如果是双证书的情况，那么需要解析三个参数，所以返回的时候我们需要告诉配置解析框架到底消耗了几个参数，这个通过复用返回的错误值的高4个bit来实现。由于原来的haproxy框架是不支持可变个数参数的，因此，在兼容原始功能逻辑的基础上，需要略微修改一下haproxy的配置解析框架的代码，在cfg_parse-listen.c的cfg_parse_listen函数中，进行如下修改：

int cfg_parse_listen(const char *file, int linenum, char **args, int kwm){......cur_arg = 2;while (*(args[cur_arg])) {static int bind_dumped;struct bind_kw *kw;char *err;kw = bind_find_kw(args[cur_arg]);if (kw) {char *err = NULL;int code, skip = 0;if (!kw->parse) {ha_alert("parsing [%s:%d] : '%s %s' : '%s' option is not implemented in this version (check build options).\n", file, linenum, args[0], args[1], args[cur_arg]);cur_arg += 1 + kw->skip ;err_code |= ERR_ALERT | ERR_FATAL;goto out;}code = kw->parse(args, cur_arg, curproxy, bind_conf, &err);                                /* skip表示回调函数在配置选项解析过程中，消耗了几个配置参数 */                skip = (code >> 28) & 0x0000000F;                                  /* 从返回值中过滤出错误代码 */ err_code |= code & 0x0FFFFFFF;                /* 用来兼容原生逻辑，                   如果解析函数没有返回了跳过多少个参数，则用配置中的设置                 */                if (skip == 0) {                    skip = kw->skip;                }if (code & 0x0FFFFFFF) {      /* 如果本次调用配置解析回调函数返回错误了, 那么下面进行错误处理 */if (err && *err) {indent_msg(&err, 2);if (((code & (ERR_WARN|ERR_ALERT)) == ERR_WARN))ha_warning("parsing [%s:%d] : '%s %s' : %s\n", file, linenum, args[0], args[1], err);elseha_alert("parsing [%s:%d] : '%s %s' : %s\n", file, linenum, args[0], args[1], err);}elseha_alert("parsing [%s:%d] : '%s %s' : error encountered while processing '%s'.\n", file, linenum, args[0], args[1], args[cur_arg]);if (code & ERR_FATAL) {free(err);cur_arg += 1 + skip;goto out;}}free(err);cur_arg += 1 + skip;continue;}err = NULL;if (!bind_dumped) {bind_dump_kws(&err);indent_msg(&err, 4);bind_dumped = 1;}ha_alert("parsing [%s:%d] : '%s %s' unknown keyword '%s'.%s%s\n", file, linenum, args[0], args[1], args[cur_arg], err ? " Registered keywords :" : "", err ? err : "");free(err);err_code |= ERR_ALERT | ERR_FATAL;goto out;}goto out;......}

  函数bind_parse_ntls是通过ssl_sock_load_ntls_cert来将这两个证书加载进bind_conf->default_ctx(ssl配置上下文)，ssl_sock_load_ntls_cert代码如下：

#define FREE_CTX_RETURN(ctx, err)    \if (ctx_new) {        \SSL_CTX_free(ctx);  \bind_conf->default_ctx = NULL; \}\return (err)/* enc_sign = 0 表示加载加密证书  否则表示加载签名证书 */staticint ssl_sock_load_ntls_cert(char