持续交付2.0

Deepseek 发布后,软件行业的应用探索

2024年年底,deepseek的发布,给业界带来了非常大的震撼,AI推理能力已经非常强大,行业内纷纷围绕AI质量测试和效能领域进行了大量探索。

以下为 群核科技质量团队的探索。

——————

01  探索更好的AI模型,助力测试提效

2025年开年至今,已接入如下业界领先的大模型,这些模型也在各个领域得到较好反馈。

接入时间
模型
应用领域
接入效果/反馈
2025年1月
DeepSeek v3&r1
知识库问答
Image
2025年2月
text-embedding-3-small bge-m3-embedding
向量模型&知识库领域
较之前准确度有20%提升 Image
2025年2月
Claude3.5&Claude 3.7 Sonnet
自动化测试代码编写
业务线试用中,本地生成比较稳定,准确率大幅提升Image

02  不断助力各项测试效能领域/流程提效

在提升AI模型和AI测试平台能力的同时,我们也积极把这些能力推广到真实的测试应用场景中,让AI助力提效。这也是目前我们落地场景最多的地方,我们已经在以下测试效能领域取得了关键进展。

3.1【AI助力工单提效】

思路:

  • 通过维护工单AI知识库以及对接openAPI方式,实现AI在线问答&自动创建工单等功能

进展:

  • 80%内部咨询自动回复,帮助客服&技术支持岗告别重复劳动

  • 自动创建工单,减少提单的提交工作量,提升了工单提交质量,节省各方澄清工单问题的沟通成本。
  • 整体上提升用户问题的服务体验,减少问题处理角色和流程,提升客户满意度。
使用方式:
  • 群聊群内@AI虚拟账户,进行问题咨询,自助解决FAQ类问题;
  • 群聊群内@AI虚拟账户发送创建工单指令,自动创建工单 
  • 应用内,点击【客服酷小宝】,进行问题咨询,自助解决FAQ类问题 ;
  • 应用内,点击【客服酷小宝】,发送创建工单指令,自动创建工单
3.2【UI自动化代码生成】
思路:
  • 利用vs ode 插件能力和 AI 知识库,让AI根据用例描述生成自动化脚本。
  • 利用油猴插件和AI 能力,生成符合酷家乐 UI自动化规范的xpath 表达式。
进展:
  • 针对三个业务试点,生成的代码准确率在 50~80% 之间。降低编写 xpath编写成本(约30%),提升 xpath 的质量。
3.3【AI精选文档分享】
思路:
  • 利用AI根据高质量文档规则,爬取分析近期文档,并推送高质量文档方便学习。
Image
进展:
  • 目前已经在整个质量部门进行爬取和AI分析推送,得到众多同学的点赞认可
3.4【知识库秒级搭建】
思路:
  • 根据cf标签进行文档爬取,快速将cf文档转换为FastQA平台知识库内容

Image
进展:
  • 目前已经在质量效能部门内部进行推广,运行2周累计录入知识量2k页面,快速扩增中
3.5【AI用例编写】
思路:
使用AI Agent解析文档并生成测试用例,阅读CF并解析文档中的图片,拆分功能点,为每个功能点设计测试用例,检查用例的中英文情况
应用:
  • 可以大幅提升用例编写效率
ImageImage
3.6【AI页面检测】
思路:
  • 针对国际化翻译中容易出现的多语言问题,根据国际化网页设计规范利用AI知识库能力,预设正确错误国际化翻译及布局情况,通过AI动态检测当前版本多语言、文本规范性、页面布局情况
进展:
  • 基本流程已经调通(典型页面错误识别率超过80%),工程化并建立常态化运行中。 

04  测试管理平台接入AI能力

4.1【测试分析报告撰写】

针对大项目编写测试分析报告,引入 LLM 大模型(文本+视觉),根据需求文档/CF文档链接/设计稿,生成初步的测试分析报告。这些报告有助于测试人员拓展思维,为撰写详尽的测试分析报告提供有力的启发与参考。

4.2【AI用例生成】

生成新功能用例时,运用 LLM 大模型依据需求文档,初步生成功能用例,二次确认修改后,一键导入系统。这不仅能为测试人员打开编写思路,还能辅助他们编写更为全面、细致的功能用例。

Image
Image
Image

4.4【AI用例评审】

用例评审环节也可以用 LLM 大模型。具体方法是制定一系列严谨的评审规则,让大模型在这些严格条件下运行。大模型会给出用例的合格分数,并提供具有针对性的修改意见,助力测试人员对用例进行修改与优化,以保障测试用例达到较高质量标准。