000——开篇,这是大力出奇迹的时代

000——开篇,这是大力出奇迹的时代

六月 01, 2019

有很长一段时间,我很焦虑。这种焦虑,来自对未来的不确定性,也来自怕努力得不到好的结果。

面对NLP领域,持续不断的爆炸弹,一天让GPU空着,我都浑身难受。但是爆到后面,我就想通了。这个时代就是钱往哪里砸,哪里都出成果的时代。算力也是这样,何况我即没有钱也没有算力。

12层的BERT成为NLP界“ResNet”,相信BERT的变种(新出的ERNIE,MASS等)会越来越多,效果会越来越好。就是这种非常简洁优雅的Transformer模型,利用几乎无穷多的语料进行自监督的训练,在丛林中压出来一个可以通的路,称之为NLP的阳光大道。它也导致这个时代,富人造坦克,穷人靠运气。

富人砸钱造的坦克可以越来越大,可以在上面架更好的枪炮,塞下更多更优秀的人。也可以越造越小,让坦克跑得越来越快,甚至可以无人驾驶。而像我等穷人是永远跨不过这个门槛的,被这个大力出奇迹的时代所抛弃。

提到Transformer模型简洁优雅,可能会引起质疑。我会在后面的文章中会有详细介绍我的观点。现在NLP领域正在抛弃很多过时的方法,包括是否应该分词,是否需要ASR等,正在迈向更符合简单世界规律并且多任务可复用的模型。世界从来就不是复杂的,只是人想得太复杂,一旦你被迫走上这一条路,以前攒的那些复杂的tricks都会变得一无所用,最后只剩下你在风中哭泣。

我认为,这是一个大力出奇迹的时代。它也是一种方法论,头条如此,华为亦是如此,每个人的人生亦可以大力出奇迹。

最近出了很多分析后BERT时代的文章,BERT加KG融合知识,BERT用来做KBQA等等,焦虑的研究者们都在找到各自领域的BERT落地,也有专门出调参论文来帮助研究者获得更好的效果。而这个我规划已久的专栏,也算是某种形式的落地吧。不过,我把BERT放到了第一百期以后。然后这半年时间,我可以随心所欲的写这前一百期。希望这样能够把聊天机器人各方面都涉及到。

最后希望我不再焦虑,争取也大力一回。