编者按：
这是 AI 界最值得期待的脑力风暴之一。大佬们探讨了 AI 技术的商业化、AI 领域被低估的方向、AI 与人类的较量。Talllinn 会为你解读 AI 投资和创业，并为你解密 DeepMind。
Jaan Tallinn，Skype 创始工程师，DeepMind 早期投资人和顾问。Tallinn 一直关注前沿人工智能科技带来的风险，因此，他还参与创办剑桥存在风险研究中心 (Centre for the Study of Existential Risk) 和麻省理工的生命未来研究所 (Future of Life Institute) 。
采访/ 峰瑞资本科技投资团队
翻译/ 冯琪祺 周小然
受邀参与对谈的中国 AI 大佬包括：
陈孝良，声智科技 CEO
丁磊，汇百川征信 CTO，前 Paypal 全球消费者数据科学部负责人
高始兴，思必驰 CEO
李志飞，出门问问 CEO
孟醒，顺为资本投资副总裁
吴甘沙，驭势科技 CEO，前英特尔中国研究院院长
许丞，心橙互联 CEO，前谷歌工程师、
漆远，蚂蚁金服 CSO
印奇，Face++ CEO
余凯，地平线机器人创始人，前百度深度学习研究院院长
张本宇，CloudBrain CEO
张予彤，金沙江创投合伙人
赵云峰，新媒体 “机器之心” 创始人
（排名不分先后，按姓氏拼音排序）
AlphaGo 战胜李世石掀起了新一轮人工智能（AI）投资狂潮。
我们邀请到 DeepMind 的早期投资人 Jaan Tallinn 与中国 AI 界的最强大脑们进行对话。Tallinn 是最早发现 DeepMind ——2016 年最红 AI 公司的投资人之一，他见证了 AI 技术的发展，却致力于研究人工智能带来的潜在风险。
Q：你投资 Deepmind 时，考虑过它的商业模式吗？哪方面对你最有吸引力？
A：我投资 DeepMind 并不是为了赚钱。因此它商业模式不是我的优先考虑。对我而言这是一个策略性投资：我想加入一个未来有潜力成为 AI 研究领军者的团队，成为其中的一分子，也希望确保他们对 AI 的风险有清晰的认识。
2011 年我投资 AlphaGo 前，就非常看好他们的创始人，当时他们已经已经取得了不小的进展（包括来自 Peter Thiel 创办的 Founders Fund 的投资），我认为他们一定会大有作为。
Q：在深度学习的革命中，下一个伟大的目标是什么？
A：也许你比我更有资格回答这个问题。对于深度学习的发展，我关注得没有这么及时。我目前了解的大概关于 AI 的前沿发展有这些：
更好的无监督学习（unsupervised learning）：比如说寻找数据中的结构；或者在不借助标记数据（labeled data）的情况下，建立预测模型；
迁移学习（transfer learning）：将特定领域学习建立的模型，应用到其他领域。就像人类学习下国际像棋，也可以帮助提升在其他棋类运动中的水平；
更好的数据泛化（generalization）：和人类比起来，机器学习对于数据是非常 “饥渴” 的。只有接收、处理大量的训练数据（training data），才能形成可用的模型。但对于少数模型而言，研究人员并没有足够的数据来训练机器（我的朋友曾嘲笑深度神经网络只是被美化的查找表格）。这一点需要通过更好的数据泛化来加以改进。
Q：人工智能很热，很多分析机构也预测人工智能会成为未来技术的水电煤——基础技术。这个过程如果到最终成真，是否也会有一个从量变到质变的过程，互联网改造商业也是从信息共享、购买商品这些量变一步步开始的，那么人工智能改变商业最初的几个量变领域最有可能是哪些？
A：对我而言，这个预测并没有那么准确。要让 AI 成为一种类似于水电的工具服务，需要满足两个条件：
这项技术变得更为通用和能干。在很多场合下，你可以像租用计算能力这样，租 10 分钟的 AI 服务。
即便 GAI（General Artificial Intelligence，通用人工智能）在经济中发挥重要作用，经济体中的其他因素仍然能发挥特定作用。
这两个观点实际上是直接矛盾的：要是 AI 变得更加强大和普及，经济体中的其他因素就会被削弱。最终，这样想吧：经济是人类制度，要是 AI 比人类能干，可能就不需要人类经济了，就像人类不需要蚂蚁经济。
用 Eliezer Yudkowsky（MIRI，Machine Intelligence Research Institute 的创办人之一）的话来说，拥有超级智慧的 AI，可以自由重组宇宙里的任意原子。它们甚至不需要赚钱来养活自己。 一旦拥有重组原子结构的能力，它们可以制造出任何它们想要的东西。
但也有人和我持不同的观点。有些人认为：即便 AI 拥有超群的智力和通用性，现有的经济体系也能维持下去。我的朋友 Robin Hanson, 一位约翰梅森大学的经济学教授，就认为超高智慧的 AI 将出现在现有的经济体系，并受其约束，而不是将它颠覆并且毁灭。
Q：你认为有什么比较重要的方向被低估了，且没有得到足够的投资？”
A：我觉得是 “价值观对接研究”（value-alignment research)。这个概念第一次由斯图尔特·J·拉塞尔（Stuart J. Russell，世界首屈一指的计算机科学家）在《人工智能：现代方法总论》（Artificial Intelligence: a Modern Approach）中提出。他认为：我们需要重新定义 AI 研究的目标。不停留于单纯的智能开发上，而是开发能充分对接人类价值观的超级智慧。但从世界范围内 AI 的发展来看，这一领域在目前的研究中被极大地忽视了。
这固然是一项非常艰巨的挑战，诚如慈善评估机构 Givewell 在一份有关 AI 风险的报告中提到的：知识是可以被验证的，但价值观却不能。如果 AI 学习了错误的数据，做了错误的预估，人们会很快发现并加以纠正。但对于错误的价值观，我们是很难察觉并且纠正的。
我们没有选择，必须面对这个挑战。如果我们想要给子孙后代留一个未来，就必须尽快解决 AI 价值观对接的问题。当然，我不是说对于 AI 其他风险的研究就不重要了。
Q：对于 AI 在 3-5 年后的研究和开发，你认为瓶颈将会是什么呢？比如说：计算机能力？或者是先前沿用冯·诺伊曼（计算机之父）理论本身的问题？人类目前有限的知识？政府的管制？或者说是因为容易赚钱的方式越来越多，导致研究人员的不足？
A：长期以来，AI 领域缺乏富有洞见的人才，和强大的计算能力（这将极大地提升神经网络技术）。短时间内，这两个瓶颈仍然难以突破。
一个有意思的话题是 “快钱” 如何影响人才。一方面来说，高涨的需求势必会刺激供给。但另一方面，它给行业带来不少噪音，让人才难以专心研究。
从基础理论上来说，目前的 AI 技术更多采用 GPU（图像处理单元），而不是 CPU（计算处理单元）。所以在很大程度上，这个行业已经抛弃了诺伊曼的理论。
Q：你是 Deepmind 的早期投资者，推动 AI 对人类智能的赶超，同时又是剑桥 “存在风险研究中心” 和 MIT “生命未来研究所”的创始人，后者致力于探讨 AI 对人类产生存在性风险的可能性和解决方案。这两者之间存在一定的冲突。你如何在伦理和社会影响方面给 Deepmind 反馈和指导?
A：在 Deepmind 任职期间，我们举办过一些相关的讨论会。为了 AI 未来发展的安全，Deepmind 专门招聘了研究人员，并开始与牛津大学的 Future of Humanity Institute 合作，还和 Google 创立了 “伦理与安全” 委员会。当然，作为一家资金与人员都十分有限的创业公司，DeepMind 对这一领域的贡献仍然非常有限。但我相信他们会持续投入精力做“价值观对接”的研究。
总的来说，我很高兴自己能帮助 AI 研究和 “价值观对接” 的研究搭建桥梁。此外，Deepmind 现在能专注于 “价值观对接” 的研究上，我还是有一点点的小功劳的（笑）。
Q：继 Elon Musk，Stephen Hawking 之后，近日 Michio Kaku（加来道雄，美籍日裔理论物理学家）也表示我们应该担忧人工智能，很多人工智能产业之外的名人和大众也比较关注这个话题。但是，人工智能领域的从业者往往是从解决具体问题出发，对这个问题好像不是特别在意，或者只是提出一些较为宏观的解决方案，比如说 DeepMind 的道德委员会，你认为对于防范人工智能风险，我们应该采取哪些具体的、马上可以开始行动的方案吗？
A：有趣的问题。加来道雄真的认为我们应该对此感到焦虑吗？他之前是不相信 AI 风险的（至少我是这么认为的）。如果他的态度发生转变，这是一个好消息（越来越多人开始正视问题存在了）。
关于研发者的态度，我觉得你是对的。他们的确没有动力去考虑系统的风险（更准确的说，是关于价值观对接的问题），但他们有动力去提高系统的性能。就如 Holden Karnofsky 所说：“目前从文化和机构层面来看，研发者没有多大的动力去关心这些问题。但即使如此，还是有小部分有关人士开始关心这些潜在问题。所以我相信，未来会有更多的人加入这一思考。”（文末参考阅读有一篇非常棒的文章，列举了许多优秀的 AI 研发者对于风险的思考）
目前如何预防这种风险？当 “价值观对接” 领域缺乏资金的问题得到缓解后，紧接着的瓶颈是缺乏这方面的人才（素质要求与 AI 研发的其它领域不同）。我们需要更多的人和机构，来解决各种研究上的问题——从运算理论上升到哲学思想。
就像我前面提到的，解决 AI “价值观对接” 的问题不仅非常重要，而且是有趣的！
Q：机器学习理论与神经科学、人类行为学都有着密切的联系。因此，Deepmind 使用的“深度强化学习算法”需要海量的案例去训练 AI。但如我们所知，我们人类往往可以通过单一案例举一反三，从而学习一个概念，还能通过比机器算法更丰富的方式学习。为了解决这个问题，科学家正尝试利用贝叶斯推论法让 AI 通过简单案例学习。你怎么看贝叶斯推论和深度学习的未来？下一步 AI 又要如何模仿接近人类的想象力和推理能力？
A：嗯...…据我所知，神经网络大体建立在函数逼近上，与神经生理学只有一些偶然的联系。
我对贝叶斯学习法了解不算深入，我认为虽然它是理论上最优的，但是特别消耗计算资源。此外，最近还有一个很有趣的所谓 “终极” 贝叶斯 AI 产品 AIXI。
的确，从通用的角度，目前的方法都还不够好。我的朋友 Gary Marcus 已多次重申这个观点。他自己也创立了一家公司来探索能够通用化的技术：Geometric Intelligence（我投资的项目！）。
Q：你觉得未来人们有没有可能有自己个人的大数据？
A：从某种程度上来说，有可能。我投资了两个创业项目，都与 “私有云” 有关：Sandstorm 和 Urbit。
但这样说吧，公共数据（public data）的规模和价值都会更 “大”。随着传感器的广泛应用，数据量会呈几何倍增长。此外，越来越先进的分析技术能利用部分数据和历史数据来推断出更多信息。
Q：非结构化的数据的未来发展该会是怎样？如何才能充分使用它们？我们有没有必要结合框条化的学习与深度学习呢？此外，大量数据就能解决一切问题吗？如果，在一些条件下，失败的代价很大，并且很难去穷尽它的边界条件（比如说：自动驾驶）？”
A：从根本上来说，我认为非结构化的数据最终能满足需要。就像小孩子就可以从非结构化的感观信息开始学习，我并不认为人脑里有什么 “神奇” 的东西。
最近，我的一个朋友在听了许多关于自然语言处理（NLP，Natural Language Processing）的演讲后，发现一个有趣的现象：许多研究者都在吹嘘他们对语言学的认知有多 “少”，由此来暗示，他们的系统已经聪明到可以在没有预设知识的前提下学习。
我同意你关于非结构化学习的观点。这种学习很可能导致 “黑箱” 系统，最后在极端情况下产生严重的后果。当系统变得更自治，能操控的资源也更多时，我们需要让 AI 变得更为可预测。一种方式是引入更多的结构和限制到系统中。
我们肯定不想把这个星球的未来，交给一个由一堆非结构化的浪漫小说训练出来的 “黑盒”（black boxes）神经网络吧？
Q：你是否认为通用人工智能（GAI）是从一些列垂直领域的 AI 中衍生出来的？长期而言，对机器学习算法的依赖将会在哪些方面造成风险？你认为 2150 年最常见的职业是什么？
A：我不认为聪明地整合各种垂直领域的 AI 就能生成 GAI 。Deepmind 的做法就很有前景：它开发出一套比较通用的算法，然后把它用于垂直领域的学习中，以达到超过人类的表现。
有关风险：把 AI 用到 AI 领域的发展本身将会带来极高的风险，因为在这个过程中没有了人的参与，让 AI 来控制发展进程，结果可能是失控的。
有关职业：我觉得到 2150 年职业（和整个经济）可能已经完全不存在了！经济分工是一个人类社会中的概念。它存在的语境是——这个世界上有很多人，他们能力相近，但因为优势各异，所以他们之间的交易能有所得。而当我们有一个超级智能的 AI，它的能力超过所有人类，经济分工存在的基础就没有了，就如同我们人类不与蚂蚁做贸易。
当然，有可能到了 2150 年，还没等我们早出超级智能 AI，人类文明就因为其他原因不存在了 :(
Q：你认为现在对 AI 的研究和投入是三分钟热度（just a big bubble），还是说 AI 代表了人类发展的一个长远大方向？如果是泡沫的话，它会持续多久？
A：纵观历史，AI 研究与投资确实有季节性：新的技术突破制造轰动，进而吸引投资。紧接着，资本的涌入招来 “伪供应” 的 AI 创业团队，有时连投资人也难以把它们和真正能取得成果的团队区分开来。当打着 AI 名号的劣质公司开始接连死掉，资本的热度也会随即降低。等十年或更长时间以后，AI 被重新包装成“机器学习”，技术上有了新突破，又开始了新一轮的循环。
当前的 “AI 旺季” 很可能面临相似的命运。不过这一次有所不同：很多技术上的突破都是货真价实的，并且开始带来营收，收获好的商业回报。举个例子，分类算法的边际改进能给广告商带来超过数十亿美元的价值。这类商业应用不会被所谓的投资潮流所左右。下一个 “AI 淡季” 并不会影响这些技术在现实生活中发挥作用。
Q：在今天这个时间点，您怎么比较这四类AI创业方向：
1.纯算法（DeepMind）
2.算法+深度垂直行业应用（Enlitic/Narrative Science）
3.硬件+算法（Mobileye/地平线）
4. 算法+广义用户体验（Siri）?
请从团队组队难度、前景、投资人偏好、巨头的态度来讨论。
A：现在我只花不到一半的时间在投资上，不算专职投资人，因此，我不建具体的模型来给创业公司归类并评估它们。我常走些捷径——我选择给我认识、我信任的人投资，或者和我认识、我信任的人合投。因此，我投了一批 Skype 系的创业者，还与Founders Fund一起投资了 DeepMind, Various, Nanotronics，和 A16Z 一起投资了 tlon/urbit, improbable.io, teleport，我和 YC 一起投资的公司就更多了。
当然，我也会独立地评估这些创始人：他们曾与谁共事、是否聪明。
有趣的是，见 AI 领域的创业公司时，一个好的提问是创始人是否清楚 AI 的风险。虽然这与创业者的技术水平没太大关联（但从结果主义的视角来看，投资一个对 AI 最终能带来的结果不敏感的创业公司是不明智的。）
Q：DeepMind 在伦敦招募了超过百名博士研究员，在招聘人工智能科学家方面最看重什么？和其他工业界的 AI 研究院最大的区别是什么？在研究与产业化中是如何定位的？
A：我在 DeepMind 时，招聘的核心策略是打造一种有学术气氛的企业文化，吸引学术背景很强的人才。我们会与领先的学术机构建立良好关系，聘用他们的顶尖学生。
平衡研究与商业是不容易的。Demis（DeepMind 创始人）提过，他接受谷歌收购一个原因，就是他可以从此放下商业方面的顾虑，潜心研究。
Q：AlphaGo 在围棋上做出重大突破，战胜人类围棋冠军，是终结还是开始？现在是否还在进行围棋相关的研究，终极使命和下一步的计划是什么？
A DeepMind 的最终目标就是它的标语：破译智慧，用智慧解决一切（solve intelligence, and then use it to solve everything else)。Demis 最近的演讲有提及这个话题：https://www.youtube.com/watch?v=4fjmnOQuqao
Q：最近金融服务业有兴趣使用 AI，你认为 DeepMind 或广义上的 AI 有机会加入吗？
A：对于 AI 与金融，我首先想到的自然是对冲基金。由于对冲基金是典型的零和博弈，所以我对此兴趣有限（话虽如此，我最近也开发了一个自动化交易系统，所以很熟悉一点：这行业的专业竞争力令人激动！）
此外，还有一些可观的自动化投资服务，例如财产管理等面向普通大众的类目。但无论如何，我认为短期内数据区块链 (blockchain) 会比 AI 在金融服务界更活跃。
Q：我曾在谷歌做工程师，我听说过 AlphaGo 没有采用谷歌现有的深度学习框架，比如 DistBelief 或 TensorFlow 这些 Google Brain 框架。AlphaGo 从头开始构筑自己的软件群有什么原因吗？
A：我在谷歌收购 DeepMind 时就离开了这家公司，所以不太了解这个细节。我猜测是由于历史原因：在被谷歌收购前，对于AlphaGo 的研发已经开始了。
Q：由于要解决在海量信息中准确搜索的问题，实时解码是很多结构化预测任务（如语音识别、机器翻译）的难点。但好像 AlphaGo 找到了很好的搜索方法。你认为 AlphaGo 的搜索方法可以利用到结构化的预测任务中吗？如果可以，该如何应用？
A：对，我认为AlphaGo最大的优点（相比 IBM 的 “深蓝”），就是它大大降低了应用场景的局限性。（所以 AlphaGo 和能够操作 Atari 游戏机的 AI 都已经朝 GAI 靠拢了）。最近一个 AI 开发界的大咖还说 GAI 研究毫无进展，我还跟他争辩呢 :)
但据我所知，AlphaGo 中的确有一些特征检测（feature detector）的代码，在技术层面上让系统仍是一个专用型 AI，但我也不清楚这一限定对 AlphaGo 在其他领域的应用会产生多大影响。
Q：你认为 GAI 能在多大程度上解决自然语言交互问题？
A：首先，人类拥有“全面智慧”，所以我们能够做到自然语言互交，GAI 也应该理应做到！
好吧，严肃一点：近期 GAI 的确在自然语言处理上取得了长足的进步。
Q：你怎么看待 DeepMind 的 GAI？在你的理想中，DeepMind 将如何改变我们的生活？
A：其实，理想中他们将 “破译智慧”，为人类做出 “稳定可靠且有益的”服务。未来的事很难预测。科技发展加速了智力水平的进化，接下来会发生什么，我们谁也说不好。
我最近经常打这么一个比方：AI 的发展就像制造一艘太空飞船。和过去情况不同的是，世界上所有人早就已经在这艘船上了。等到这艘船造好，理论上我们可以飞去任何地方，我们的目的地将会与现在的星球完全不同（希望更好！），但是我们对于航行必须格外小心操作——否则这场旅行将会是一场灾难。
Q：Demis 认为，DeepMind “完美结合了最好的学术和最令人激动的创业”，公司文化非常酷，你能结合你自己的感触和经验介绍一下 DeepMind 的公司文化和研究理念吗？
A：我并不是阐释这个话题的最佳人选。在任期间，我也不常待在办公室。但我认为是的，DeepMind 有比学术界更自由的研究环境，创造这样一种文化是 DeepMind 的一大成功。对于这一点，我认为 DeepMind 的几位创始人贡献很大。
参考阅读：
AI RESEARCHERS ON AI RISK
本文地址：http://sicmodule.glev.cn/quote/10724.html 歌乐夫 http://sicmodule.glev.cn/ , 查看更多