新智元报道
来源:VB
编辑:小匀、QJP
【新智元导读】美国大选尘埃落定,在回顾无数drama的竞选之路的同时,人们也发现,传统的民意查方法似乎变得「老套」了,一些科技公司表示,人工智能大有希望!算法可以捕捉到更广阔的选举动态图景,利用了twitter 和 Facebook 等信息,AI的预测似乎更为准确。
美国人讲不讲风水?
在各种比赛中,为了预测结果,什么「工具」都用上了。比如2010年世界杯时,章鱼哥因预测胜负频频得准火出了圈。
宁信章鱼也不信人的种子就这样埋下了。
本届美国大选也是,可能是由于民调的结果有过失误(当年希拉里民调领先,却输了大选),这次的大选,人们不再信人心,更加相信「科学」了。
比如,一个AI。
一家专门从事NLP的意大利软件公司Expert.ai,将其技术应用到数百万个社交帖子上,通过分析语气和情绪等因素,将这些数据转化为了选票。
另一家公司总部位于加州的Unanimous.ai公司销售所谓的「群体智能」软件。它使用人工智能模型来汇总群体的预测和决策。
尽管方法略有不同,但他们的推论都是:拜登获胜。
历经无数big drama后,拜登终于在昨日凌晨突围,并修改自己的推特简历:美国当选总统。任凭川普再怎么不服输,任凭川普粉丝再怎么愤怒。
大势已定,AI预测普遍获胜。
如果「章鱼哥」没有英年早逝,它应该会吃惊地发现,自己的工作可以被AI替代。
民调不完美坑了谁?
民调并不是一门完美的科学。
2016年大选前的报道显示,希拉里克林顿在全国范围内领先,在威斯康辛、密歇根和宾夕法尼亚等州势均力敌。但是,结果有些出乎意料特朗普最终通过了赢得总统大选所需的270张选举人票。
美国民意研究协会的一份报告得出结论说,州级民调「低估了川普在中西部北部的支持率」。
换句话说,民调忽略了一些地区的数据,而这些,正是川普最终获胜的关键。
虽然此次的民调是拜登领先,与最终大选结果一致。但是否有比传统民调更准确的方法,来预测选举结果呢?
众所周知,民调主要依靠电话和在线小组调查,显然,这个范围会漏掉很多东西现在的人们更倾向于在网上发泄情绪。
许多AI公司称,利用Twitter和Facebook消息等信号,算法可以更全面地描绘选举动态。
差距最小为0.1%!有的AI预测还真不是「江湖骗子」
此次大选期间利用AI预测的科技公司非常多,但他们都有一个共同点:在社交媒体数据上进行训练。
与投票一样,算法驱动的预测结果中的一些差异也可以归因于方法上的差异。
意大利的Expert.ai 利用一个知识图谱来进行命名实体识别(包括个人、公司和地点) ,并尝试建立它们之间的关系模型。
该公司表示,系统将84个情感标签对应到来自 Twitter 和其它网络来源的数十万条帖子上,同时半自动化的去除了僵尸账号。
Expert.ai 的算法对标签进行排名,取值从1到100不等,并将其乘以每个候选项出现的次数。与此同时,它将标签的情绪分为「积极的」或「消极的」,并利用这一点创建一个指数,可以比较两个候选项的区别。
根据自己的系统预测,民主党总统候选人拜登将赢得50.2% 的普选票,共和党总统特朗普将获得47.3% 的选票,领先2.9个百分点。
来对比下实际结果;拜登获得了50.7% 的普选选票,特朗普获得了47.7% 的选票,差距为3个百分点。
Expert.ai 的预测结果仅仅差距了0.1个百分点!
相比之下,KCore Analytics 公司声称它们已经使用了超过10亿条 tweets 数据来进行预测,它开发了一个端到端的框架来收集像 Twitter 这样的网络中的有影响力的人和标签。
数据是根据推文的内容和频率进行实时选择的,同时排除了机器人、AWS-LSTM 这样的模型产生的数据等,通过分析这些数据进行预测分类,声称准确率高达89.5% 。
至于Polly系统,它收集了一个随机的、受控的美国选民样本,这些选民是通过他们在社交媒体上的帖子和对话来确定的。在11月3日之前,这一数字为288,659人。
使用人工智能预测选举结果的其中一个挑战是:必须训练算法学习与国家预测相吻合的选举团的不同模型。
另一个挑战是,这些模型需要进行 fine-tune,以发现对特定少数群体和地区的重要的问题,群体越小,问题就越难找到。
Polly基于对Twitter等社交媒体内容的消化,创建了一个包含288,588名选民的随机示例。
它也关注那些推动选民的问题,如COVID、选举的公正性、犯罪等。Polly根据模型预测拜登将赢得346张选举人票。
不过,根据 Advanced Symbolics(ASI)的说法,Polly 系统在这方面完全失败了这个模型预测,佛罗里达州将投票给拜登,占该州总票数的52.6%。
原因很简单:古巴裔美国人通常投票给共和党候选人,但该系统没有对他们进行单独抽样,而却将他们归类为「西班牙裔」 ,与委内瑞拉裔和墨西哥裔美国人并列。
潜在影响因素也可能导致AI预测失误
除了这些,AI预测也有别的「门槛」。
例如,美国农村地区的投票结果就更难以用模型来解释。因为这些地区使用 Twitter 的选民比例较低,导致这些模型低估了支持拜登的选民的优势。
此外,Twitter 上的特朗普潜在支持者更少,因为这个社交网络往往更倾向于自由派。这意味着,特朗普的支持者的推文在基于社会的选举预测模型中的权重更大,但有时也不够大,就像Polly遇到的情况一样。
像 KCore Analytics 这样的公司表示,他们的人工智能模型要优于传统的民意调查,因为它们可以扩大潜在选民的群体,并根据抽样偏差(比如代表性不足的少数族裔)和其他限制调整预测结果。
任何数据以及最终对AI的挑战都是数据本身。
投票基于人的数据集。人们面临的挑战是,他们实际上是不可靠和不可预测的。当被问到诸如「您将投票给谁」和「您每周工作多少次」之类的问题时,他们也是不诚实的,会经常给出他们认为询问者想听到的答案。
AI预测要代替民调了吗?还差点意思!
基于民调,却胜于民调。
「它与传统投票和人工智能的主要区别在于,人工智能一直在变得越来越好。」
相比传统的民调,AI 预测系统两大优点不可忽视:
首先,能综合多元异构数据,社交网络和新闻媒体的数据多的不计其数,而且,AI还可以根据突发状况实时更新预测果。
这也是它的第二个优点。
同时,在搜集各家民调数据之后,AI预测更细粒度的精准数据,将预测的结果的准确性提升一个等级。
不过,对于AI来说,要想得到更准确的预测结果,需要更多元化的数据。
但是,在保隐私数据护严格的美国,想收集反映群体和个体行为的数据,是十分困难的。
参考链接:
https://venturebeat.com/2020/11/06/how-ai-predictions-fared-against-pollsters-in-the-2020-u-s-election/
https://www.wsj.com/articles/artificial-intelligence-shows-potential-to-gauge-voter-sentiment-11604704009