搜狐技术产品

机器写作能否取代传统媒体写作?

☝点击上方蓝字,关注我们!

Image

导论

机器新闻写作最早起源于美国,在国内媒体领域的应用者有腾讯Dreamwriter和头条的xiaomingBot等,主要用于财经和体育等“数据综述向”新闻的写作。新闻写作机器人能够自动化完成原始新闻素材的收集处理、文本或多媒体新闻的生成与发布等整个生产化流程。在2018世界杯期间,搜狐智能媒体研发平台也推出了自己的写作机器人“睿报(WritingBot)”,用于实时生成世界杯战报。在睿报的开发过程中,笔者对机器新闻写作的现状、主流技术进行了调研和实现,也对未来机器写作的方向进行了思考,希望与各位读者进行探讨。

机器新闻写作的起源与发展

精彩的球赛战报、幽默辛辣的时事点评,是很多资深新闻记者的看家本领,“新闻写作”作为人类顶级智力活动皇冠上的明珠之一,自然也受到了人工智能的“觊觎”。机器新闻写作机器人的出现,其实是信息爆炸增长时代的必然。在新闻写作中,有一类是根据数据生成可读性的新闻报导,如体育战报、股市简讯等,这些报导不需要洋溢的文采,而是详实的数据分析、模板化的写作,同时需要大量文章的生产,以及快速的发布,这些能力正是人工智能所擅长的。

机器新闻写作正是起源于财经新闻写作。2006年,汤姆森金融公司开始使用计算机程序来撰写经济金融方面的新闻,从而替代财经记者的部分重复工作。汤姆森公司声称,其机器写作机器人可以在信息发布的0.3秒内提取相关金融数据,并生成一篇报道。这项技术在赢得轰动的同时,更引来了一片质疑之声,在那个人工智能还未广为人知的年代,一些业内人士批评称:“机器写作的新闻无法发现程序化的信息后的细微差别,更无法深入揭示数据背后的含义“。一句话总结,当时的人认为机器写出的作品是“没有灵魂的”。

Image

但是技术的进步不会被质疑的声音阻挡。随着人工智能的不断发展,机器写作的水平逐步得到提高,而机器写作适合的领域也在不断扩展。美国的Automated Insights(后简称AutoIns)是如今最先进的机器写作公司之一,他的业务领域能大概揭示如今机器写作已达到何等水平,主要包括如下方向和实例:

1.办公智能化:为企业自动生成可读的市场分析或收益报告,赋能所有市场人员成为数据导向型的分析师(用户:Nvidia)

2.文本生成:生成数以百万计的体育战报和粉丝向的球星个人比赛总结,从而提升用户访问时间和点击率(用户:Yahoo)

3.数据可视化产品集成:数据的可视化不仅有图表的形式还有文本,AutoIns集成入Tableau、MicroStrategy等企业化数据分析和可视化软件,通过自动文本生成提升数据的可读性。

Image

美国Automated Insights 的业务案例

看到这些极富想象力、更有极大商业应用价值的案例。相信机器写作已不再是一个被质疑的初生儿,在大数据和人工智能技术的催化下,已成长为一股不可阻挡的趋势。

在国内的媒体行业,新闻写作机器人也是方兴未艾。早在2015年9月,腾讯推出了国内第一款智能写作机器人DreamWriter ,用于财经和体育新闻的报道,而随后的2015年11月,新华社也推出了自己的新闻写作机器人“快笔小新”。作为新闻行业的后起之秀今日头条在2016年推出XiaomingBot ,在里约奥运会生成了大量新闻报道。在新闻信息流极度发达的今天,互联网上已经有很多文章是有机器生成的,又被机器推荐引擎推送到用户眼前,很多用户却无法意识到这样一篇图文并茂、数据详实的文章,竟然是机器自动生成的。让我们来欣赏一段机器写作生成的新闻:「“腾讯公司副总裁陈菊红:四大维度解构媒体新星球  2017年11月16日,“2017腾讯媒体+峰会”在上海世博中心举办,本次峰会的主题是“媒体新星球”。腾讯公司副总裁陈菊红发表了主题演讲,并发布了《未来地图:2017中国新媒体趋势报告》。陈菊红认为,用户、内容、技术、商业,这四个领域是构成媒体新星球的核心要素。”」

如果不是特别提示,也许你会认为这是一个经验丰富的科技频道小编在前方发来的报导,而实际这是腾讯DreamWriter在2017年峰会现场写作的一篇文章。也许看到这里,很多媒体小编要感慨人工智能造成的失业潮终于降临到自己头上,事实上不用过分担忧,尺有所短寸有所长,人类独特的文采和思维的深度目前机器写作还无法企及,而快速响应、重复工作、数据分析型的写作才是机器擅长的领域。机器写作的长处和短板正是由于如今机器写作技术的局限性所导致的,下面介绍一下机器写作的主流技术方案。

机器写作的主流技术综述

 机器写作指的是从原始新闻素材到生成新闻,根据新闻素材的不同,有两类主要的写作类型:

1.从数据到文本的生成式写作,比如:从股市数据得到的财经分析、从体育比赛数据得到的体育战报。

Image

2.从海量文本到摘要的抽取式写作,比如:搜索引擎对同一主题新闻进行摘要生成新闻主题卡片等。

Image

从文本生成的技术类型来说,主流的技术有模板化写作和文本生成两种。前者是当前主流的机器新闻写作方案,所谓模板化写作就是通过经验丰富的领域媒体专家,或者机器从历史文本中挖掘,得到标准化的写作结构和句式。然后使用内容语料库、数据分析的结果来填充这些模板,就得到了一篇篇格式类似但言之有物的模板化新闻了,因为此类新闻的读者更关注内容,而不是句式和文采,所以能够满足其阅读需求。以地震新闻自动写作的流程为例,模板化的新闻在设定好新闻模块和句式套路之后,只需要获取相应的数据,便可完成新闻写作。

Image

模板化的生成式写作看似很容易,模板到位填充即可。但实际上为了让新闻准确表达数据、抓住重点,同时又能富于变化提高可读性。需要解决以下几个难题:

1. 如何分析数据,得到关键结果。比如:篮球赛10几个球星、200个进球,上万个数据,而短短200字的报道该陈述哪些数据?

2. 有了数据分析结果,如果使用自然语言描述,而不会出现千篇一律的重复现象。比如:足球赛同样是A队赢了B队,5:0和1:0分别如何表述?

3. 为了追求图文并茂的阅读体验,需要为文本片段配上合适的图片,而90分钟长的视频里,图片从何而来?

而这些问题的答案大部分都隐藏在历史的文章和数据中,需要机器挖掘人类记者写作的模板和规律。在下一章会结合“睿报”的实践来介绍。

模板化的写作使用于特定主题类型的写作,但是对于变化丰富而且主题不固定的写作领域,就需要使用文本生成技术,比如:写诗、给图片配上文字。微软的小冰写诗是目前比较出色的机器诗人。可以欣赏一段:

Image

文本生成不需要人工指定写作的模板,通过神经网络直接从海量文本中学习写作的套路,然后再根据新闻素材,生成最终的文本。目前文本生成技术还不够成熟,只能写出简短的词不达意的短句,还不能写成行云流水的长文。

Image

图片生成文本描述的神经网络模型

新闻写作机器人“睿报”技术分析

睿报(WritingBot)是发源于搜狐智能媒体研发平台的一系列写作机器人,主要包括:世界杯足球战报写作、财经新闻写作、热门新闻摘要写作等方向。下面分类介绍这几种机器写作的技术框架和关键技术。

世界杯战报写作

2018年世界杯期间,睿报承担了比赛战报的生成任务,70场左右的比赛中,睿报能在精彩进球或者比赛刚结束的1秒内便生成一篇图文并茂的体育战报,并自动发布在搜狐新闻流中,在世界杯期间获得了10万+的阅读量。体育战报的写作采用了模板化的技术方案,包含了以下几个步骤:

1.在赛前建设世界杯内容数据库:搜狐文章库中5万篇足球比赛战报文章

2.使用文本挖掘技术,构建足球战报术语和句式数据库

3.根据赛程触发自动写作,获取赛场详细数据:如比分、红黄盘等,结合文字直播,生成体育战报。

4.比赛结束后,生成战报定稿,自动发布到搜狐新闻、新浪微博等媒体平台上。

Image

上图展示了一篇世界杯战报的组成,我们将一篇文章分为若干个模块,其中比较有挑战性的是比赛详情的陈述、精彩动图的生成。

首先介绍一下比赛详情的创作,在比赛进行的同时,睿报机器人会实时监控比赛的统计数据和文字直播。当出现进球等关键事件时,会识别出其中的球员、动作、比分、时间等信息。然后套用我们根据历史文章生成的大量句式模板,生成生动的赛场描述,并根据目前的统计数据,分析比赛形势。如下图所示:

Image

对于体育新闻的自动写作,最关键是找到关键的“事件”,这里的事件可能是一个进球、半场的结束,也可能是一个关键的黄牌等。而这些关键事件的判断,依赖于对历史战报信息的挖掘,对于每一个关键事件都有若干个模板句式来描述,从而生成准确而又富于变化的战报新闻。下面是一篇睿报创作的战报文章节选:

Image

从历史点击的数据分析得出,有进球动图的文章更受到读者的欢迎。但是动图的生成难度要远大于文字模板的套用。采用文字识别技术(OCR),结合进球时间,能准确定位进球所在的图片帧,从而生成相应进球的动图。

Image

目前在简略版的体育战报方面,机器写作水平已经很贴近人工编辑,而这样一篇战报在比赛结束的1秒内即可生成并发布出来。

财经新闻写作

财经的写作主要包括:每日股市的分析以及对热点股票相关新闻的聚合。财经新闻机器人需要实时监控股市的变化,对出现的热点事件:如某只股票的涨停、跌停等事件进行报导,也会在每天的固定事件发送股市综述和回顾。下面看财经新闻写作的一个案例,如下图所示:

Image

这篇机器财经新闻是对今日大盘的综述,主要包括了大盘综述:上证指数、深成指数、创业板指数等。通过对所有个股的分析,得到了个股跌幅王、行业板块跌幅王、概念板块跌幅王等股民可能比较关注的信息。在机器新闻写作中,信息的收集、事件的捕捉与新闻的生成具有同样重要的地位,对应于新闻记者,对信息的收集和新闻事件的捕捉能力有时候比写作能力更加重要。睿报财经写作机器人的技术框架如下:

Image

在财经新闻写作中,除了直接的数据处理,还有新闻聚合的写作方案。将财经热点事件与相应的新闻报导结合,能够投资者提供更丰富的信息。如下图所示:

Image

在获取股票热点之后,通过相关新闻聚合,为股市的波动原因提供一定的参考,此类财经新闻在以往是专业股票分析师才能完成的,而睿报财经机器人每天可以生成数百篇个性化股票新闻,直接推送给兴趣用户。

新闻聚合中用的写作技术也促成了“热点快讯”写作类型的产生。

热点快讯写作

热点新闻是抽取式的新闻摘要,主要场景用于给用户推送热点新闻的简讯,过滤冗余信息。在信息过载的时代,用户不仅仅需要个性化定制的新闻推荐,更需要个性化定制的“新闻”,而新闻的摘要和个性化写作就具有很大的愿景。

Image

目前热点新闻主要采取新闻摘要的技术来生成,主要包括如下三个步骤:抓取热点话题、搜索相关新闻、生成多文本摘要。其中热点话题主要来自于搜狐站内和第三方社交平台。

Image

有了热点话题,则通过站内搜索引擎和多文档摘要,生成简短的新闻摘要。

Image

机器新闻写作技术展望

机器写作技术起源于对重复型的新闻写作的替代,随着人工智能和大数据的发展,在数据分析、句式语法的丰富性上不断得到发展。已经在体育财经等新闻领域,得到了广泛的应用,但是机器的创作能力受限于文本生成技术,还不能完成长文的书写。主流的机器新闻写作,采取的主流技术依然是模板式的写作,也就是处于“模仿人类”的阶段。

机器人写作是一项具革命性的新兴事物,在带来惊喜的同时,也引发了很多问题和思考。基于现有的技术,未来会出现如下几大发展趋势:

1.写作质量和创造力的提升。机器写作依赖于大量的领域专业知识,随着各种专业机器写作在知识图谱上的积累,写作质量会不断提升;而且随着人工智能和文本生成技术的发展,机器会自动学习大量的写作知识,从而完成创造性的写作。

2.机器写作应用领域的扩展。无论是在自媒体的不同内在领域扩展,还是在更多其他行业扩展,现有的机器写作技术已经能够给我们很大的想象空间。Automatic Insights 公司做了很好的示范,而国内也出现了类似的机器写作公司。在数据可视化、商业报告等ToB领域,机器写作能够获得直接的商业收益。

3. 对媒体行业的冲击。这也是标题中我们作为媒体从业者最需要思考的,机器个性化推荐已经逐渐取代了传统的媒体分发方式,而机器写作会不会有一天也会取代现有的媒体写作?想象有一天,你看到的所有文章都是根据你的喜好而书写的,那么答案也就不言而喻了。但是人类独特的创造力依然会在相当长的时间内占据高端创作的领域。

Image