得物新商品审核链路建设分享

一

  前言

二

  如何实现高效审核

业务高效

技术高效

三

  动态配置实现思路

四

  商品审核方式演进介绍

人审

机审

AI审核

五

  现状问题分析

产品层面

技术层面

六

  流程介绍

七

  详细设计

整体架构图

业务实体

ER图

含义解释

机审执行流程框架

流程框架

动态配置能力建设

调研

规则引擎技术选型

 HTTP泛化调用能力建设

• 统一入参为Map结构，通过反射机制、动态Function等方式，实现商品信息映射成算法请求参数；另外为了提升反射的效率，利用预编译缓存的方式，将字段转成MethodHandle，后续对同一个字段做反射时，可直接获取对应的MethodHandle，提升效率。

/** * 缓存类字段的MethodHandle（Key: Class+FieldName, Value: MethodHandle）  */private static final Map<String, MethodHandle> FIELD_HANDLE_CACHE = new ConcurrentHashMap<>();
/** * 根据配置从对象中提取字段值到Map * @return 提取后的Map */public Map<String, Object> fieldValueMapping(AutoMachineAlgoRequestConfig requestConfig, Object spuResDTO) {    AutoMachineAlgoRequestConfig.RequestMappingConfig requestMappingConfig = requestConfig.getRequestMappingConfig();    Map<String, Object> targetMap = Maps.newHashMap();    //1.简单映射关系，直接将obj里的信息映射到resultMap当中
    //2.遍历复杂映射关系，value是基础类型    //3.遍历复杂映射关系，value是对象
    return targetMap;}
/** *  预编译FieldMapping  */private List<AutoMachineAlgoRequestConfig.FieldMapping> compileConfig(List<AutoMachineAlgoRequestConfig.FieldMapping> fieldMappingList, Object obj) {    List<AutoMachineAlgoRequestConfig.FieldMapping> mappings = new ArrayList<>(fieldMappingList.size());    //缓存反射mapping    return mappings;}
private Object getFieldValue(Object request, String fieldName) throws Throwable {    String cacheKey = request.getClass().getName() + "#" + fieldName;    MethodHandle handle = FIELD_HANDLE_CACHE.get(cacheKey);    return handle != null ? handle.invoke(request) : null;}

• 返回结果均为String，而后解析成Map<String,Object>用于规则解析。

@FeignClient(        name = "xxx",        url = "${}")public interface GenericAlgoFeignClient {
    @PostMapping(value = "/{path}")    String autoMachineAuditAlgo(            @PathVariable("path") String path,            @RequestBody Object requestBody,            @RequestHeader Map<String, String> headers    );    @GetMapping("/{path}")    String autoMachineAuditAlgoGet(            @PathVariable("path") String path,            @RequestParam Map<String, Object> queryParams,            @RequestHeader Map<String, String> headers    );
}

• 动态配置JSON。

{    "url": "/ai-check/demo1",    "requestMappingConfig": {        "fieldMappingList": [            {                "sourceFieldName": "categoryId",                "targetKey": "categoryId"            },            {                "sourceFieldName": "brandId",                "targetKey": "brandId"            }        ],        "perItemMapping": {            "mappingFunctionCode": "firstAndFirstGroundPic",            "fieldMappingList": [                {                    "sourceFieldName": "imgId",                    "targetKey": "imgId"                },                {                    "sourceFieldName": "imgUrl",                    "targetKey": "imgUrl"                }            ]        }    }}

机审规则动态解析建设

• 搭建QLExpress规则引擎，为了提升QLExpress规则引擎的效率，同样引入了缓存机制，在机审规则配置表达式时，则触发loadRuleFromJson，将表达式转换成规则引擎并注入到缓存当中，真正机审流程执行时会直接从缓存里获取规则引擎并执行，效率上有很大提升。

// 规则引擎实例缓存private static final Map<String, ExpressRunner> runnerCache = new ConcurrentHashMap<>();
// 规则配置缓存private static final Map<String, GenericEngineRule> ruleConfigCache = new ConcurrentHashMap<>();
// 规则版本信息private static final Map<String, Integer> ruleVersionCache = new ConcurrentHashMap<>();
/** * 加载JSON规则配置 * @param jsonConfig 规则JSON配置 */public GenericEngineRule loadRuleFromJson(String ruleCode, String jsonConfig) {
    //如果缓存里已经有并且是最新版本，则直接返回    if(machineAuditCache.isSameRuleConfigVersion(ruleCode) && machineAuditCache.getRuleConfigCache(ruleCode) != null) {        return machineAuditCache.getRuleConfigCache(ruleCode);    }    // 如果是可缓存的规则，预加载
    return rule;}

• 机审规则执行时，通过配置中的规则名称，获取对应的规则引擎进行执行。

/** * 根据规则名称执行规则 * @param ruleCode 规则名称 * @param context 上下文数据 * @return 规则执行结果 */public MachineAuditRuleResult executeRuleByCode(String ruleCode, Map<String, Object> context, MachineAuditRuleProcessData ruleProcessData) {    if (StringUtils.isBlank(ruleCode)) {        throw new IllegalArgumentException("机审-通用协议-规则-规则名称不能为空");    }
        //从缓存中获取规则引擎
    //基于规则引擎执行condition
    //统一日志}