球王会_ios/安卓版APP下载

谷歌大神Jeff Dean领衔,万字瞻望5大AI趋势

关于球王会

你的位置:球王会_ios/安卓版APP下载 > 关于球王会 > 谷歌大神Jeff Dean领衔,万字瞻望5大AI趋势


谷歌大神Jeff Dean领衔,万字瞻望5大AI趋势

发布日期:2022-01-14 11:11    点击次数:144

谷歌大神Jeff Dean领衔,万字瞻望5大AI趋势

着手:市集资讯

  文 / 学术头条

  对于关注人工智能期间进展的读者来说,每年年底来自通盘谷歌 research 团队撰写的年终总结,可谓是必读读物。

  今天,由谷歌大神 Jeff Dean 领衔,这份总结虽迟但到。出于学问传播目的,“学术头条”现将全文翻译如下,以飨读者:

  在往常的几十年里,我见证了机器学习(ML, Machine Learning)和诡计机科学(CS, Computer Science)领域的变化和发展。

  早期的法式通常存在某些颓势导致了失败,关联词,通过在这些法式上的不断研究和改进,最终产生了一系列的当代法式,刻下这些法式照旧相配胜仗。按照这种恒久的发展模式,在改日几年内,我合计咱们将会看到一些令人欢畅的进展,这些进展最终将造福数十亿人的生存,产生比以往任何时候都更大的影响。

  这篇著作中,我将重心先容 ML 中可能产生舛误影响的五个领域。对于其中的每一项,我都会商讨关连的研究(主若是从 2021 年运行),以及咱们在改日几年可能会看到的地点和进展。

  趋势1:更坚硬的通用 ML 模子

  趋势2:ML 的赓续遵循提高

  趋势3:ML 对个人和社会都越来越有意

  趋势4:ML 在科学、健康和可赓续发展方面日益增长的效益

  趋势5:更深入和等闲地领略 ML

  趋势1:更坚硬的通用 ML 模子

  研究人员正在考研比以往更大、更有才略的ML模子。

  例如,仅在往常的几年中,模子照旧在谈话领域取得艰涩性进展,从数百亿的数据 tokens 中考研数十亿个参数(如,11B 参数 T5 模子),发展到数千亿或上万亿的数据 tokens 中考研高达数千亿或上万亿的参数(如,密集模子,像 OpenAI 的 175 B 参数 GPT3 模子、DeepMind 的 280B 参数 Gopher 模子;疏淡模子,如谷歌的 600 B 参数 GShard 模子、1.2T 参数 GLaM 模子)。数据集和模子大小的增多导致了多样谈话任务的准确性的显耀提高,这不错从模范天然谈话处理(NLP, Natural Language Processing)基准测试任务的全面改进中检讨到,正如对谈话模子和机器翻译模子的神经聚积缩放司法(neural scaling laws)的研究预测的那样。

  这些先进的模子中,有许多专注于单一但舛误的书面谈话模式上,况兼在谈话领略基准和怒放式会话才略方面显现出了起先进的恶果,即是跨越一个领域的多个任务亦然如斯。除此除外,他们还进展出了令人感奋的才略,即仅用相对较少的考研数据便不错泛化新的谈话任务。因为在某些情况下,对于一个新的任务,险些不存在考研示例。简便例如,如改进的长式问答(long-form question answering),NLP 中的零标签学习,以及咱们的 LaMDA 模子,该模子展示出了一种复杂的才略,不错进行怒放式对话,并在多个对话回合中保持舛误的高下文。

  图丨与 LaMDA 的对话师法了威德尔海豹(Weddell sea)预设辅导,“嗨,我是 Weddell sea。你有什么问题要问吗?”该模子在很大程度上铁心了变装中的对话。

  Transformer 模子也对图像、视频和语音模子产生了舛误影响,扫数这些模子也都从缩放中受益,正如研究可视 Transformer 模子的缩放司法职责中预测的那样。用于图像识别和视频分类的 Transformers 在许多基准上都取得了起先进的扫尾,咱们还诠释,与单独使用视频数据的模子比拟,在图像数据和视频数据上的合资考研模子不错提高视频任务的性能。咱们照旧为图像和视频 Transformers 开发了疏淡的轴向小心机制(axial attention mechanisms),从而更灵验地使用诡计,为视觉 Transformers 模子找到了更好的图像标志法式,并通过与卷积神经聚积比拟,研究了视觉 Transformers 的操作方式,加深了咱们对视觉 Transformers 法式的领略。将 Transformers 模子与卷积操作相结合,已在视觉和语音识别任务中展示出显耀的上风。

  生成模子的输出也在大幅提高。在往常几年里取得了显耀的跳跃,尤其在图像的生成模子中最为彰着。例如,最近的模子照旧诠释了仅给定一个类别(如“irish setter”或“steetcar”)便不错创建传神的图像,不错“填充”一个低永别率的图像,以创建一个看起来十分天然的高永别率匹配图像,以致不错构建纵容长度的天然场景。另一个例子是,不错将图像退换成一系列碎裂 tokens,然后使用自总结生成模子以高保真度进行合成。

  图丨级联扩散模子(cascade diffusion models)的例子,从一个给定的类别生成新的图像,然后使用这些图像看成种子来创建高永别率的示例:第一个模子生成低永别率图像,其余的引申进取采样(upsampling)到最终的高永别率图像。

图丨SR3 超永别率扩散模子是以低永别率图像看成输入,并从纯噪声中构建相应的高永别率图像。

  鉴于这些坚硬的功能背后,掩饰着的是庞大的连累,是以咱们不得不仔细审查,这类模子的潜在应用是否回击咱们的人工智能原则。

  除了先进的单模态模子(single-modality models)外,大范围的多模态模子(multimodal models)也在陆续插足人们的视线。这些模子是迄今为止最前沿的模子,因为它们不错秉承多种不同的输入模式(例如,谈话、图像、语音、视频),而且在某些情况下,还不错产生不同的输出模式,例如,从形色性的句子或段落生成图像,或用人类谈话简要形色图像的视觉内容。这是一个令人惊喜的研究地点,因为雷同于现实寰宇,在多模态数据中更容易学习(例如,阅读一些著作并看时辅以演示比只是阅读有用得多)。因此,将图像和文本配对不错匡助完成多种谈话的检索任务,况兼更好地领略如何对文本和图像输入进行配对,不错对图像字幕任务(image captioning tasks)带来更好的改进效果。同样,在视觉和文本数据上的合资考研,也有助于提高视觉分类任务的准确性和鲁棒性,而在图像、视频和音频任务上的合资考研则不错提高扫数模式的泛化性能。还有一些诱人的迹象标明,天然谈话不错看成图像处理的输入,告诉机器人如何与这个寰宇互动,以及铁心其他软件系统,这预示着用户界面的开发方式可能会发生变化。这些模子处理的模式将包括语音、声息、图像、视频寝兵话,以致可能彭胀到结构化数据、学问图和时刻序列数据等等。

  图丨基于视觉的机器人操作系统的例子,不祥泛化到新的任务。左图:机器人正在引申一项用天然谈话形色为“将葡萄放入陶瓷碗中”的任务,而不需要对模子进行特定的考研。右图:和左图一样,关联词有“把瓶子放在托盘里”的新的任务形色。

  这些模子平时使用自监督学习(Self-supervised learning)的考研,在这种法式中,模子从检讨到的“原始”数据中学习,而这些数据莫得被整理或标注。例如,GPT-3 和 GLaM 使用的谈话模子,自监督的语音模子 BigSSL,视觉对比学习模子 SimCLR,以及多模态对比模子 VATT。自监督学习允许大型语音识别模子匹配之前的语音搜索中的自动语音识别期间(Automatic Speech Recognition)的基准精度,同期仅使用 3% 的标注考研数据。这些趋势是令人感奋的,因为它们不错大大减少为特定任务启用 ML 所需的努力。而且,它们使得在更有代表性的数据上考研模子变得更容易,这些数据不错更好地反应不同的亚种群、地区、谈话或其他舛误的线路维度。

  扫数这些趋势都指向考研不祥处理多种数据模式并科罚数千或数百万任务的高才略通用模子的地点。通过构建疏淡性模子,使得模子中独一被给定任务激活的部分是那些针对其优化过的部分,由此一来,这些多模态模子不错变得愈加高效。在改日的几年里,咱们将在名为“Pathways”的下一代架构和详尽努力中追求这一愿景。跟着咱们把迄今为止的许多想法结合在一路,咱们期许在这一领域看到本色性的进展。

图丨Parthway:咱们正在野着单一模子的形色而努力,它不错在数百万个任务中进行泛化。

  趋势2:ML 的赓续遵循提高

  由于诡计机硬件瞎想、ML 算法和元学习(meta-learning)研究的跳跃,遵循的提高正在推动 ML 模子向更强的才略发展。ML 管道的许多方面,从考研和引申模子的硬件到 ML 体捆绑构的各个组件,都不错在保持或提高全体性能的同期进行遵循优化。这些不同的线程中的每一个都不错通过显明的乘法因子来提高遵循,况兼与几年前比拟,不错将诡计资本裁减几个数目级。这种更高的遵循使许多要津的进展得以杀青,这些进展将连续显耀地提高 ML 的遵循,使更大、更高质地的 ML 模子不祥以更灵验的资本开发,并进一步普及拜访。我对这些研究地点感到相配感奋!

  ML加速器性能的赓续改进:

  每一代ML加速器都在前几代的基础上进行了改进,使每个芯片的性能更快,况兼平时会增多通盘系统的范围。其中,领有多半芯片的 pods,这些芯片通过高速聚积联接在一路,不错提广博型模子的遵循。

  天然,移动开导上的 ML 才略也在显耀增多。Pixel 6 手机配备了全新的谷歌张量处理器(Google Tensor processor),集成了坚硬的ML加速器,以更好地因循舛误的开导上功能。

  咱们使用 ML 来加速多样诡计机芯片的瞎想(底下将详备先容),这也带来了克己,特别是在坐褥更好的 ML 加速器方面。

  赓续改进的 ML 编译和 ML 职责负载的优化:

  即使在硬件莫得变化的情况下,对于 ML 加速器的编译器和系统软件的其他优化也不错显耀提高遵循。例如,“自动调优多通道机器学习编译器的活泼法式”展示了如何使用 ML 来引申编译建立的自动调优,从而在相通的底层硬件上为一套 ML 标准杀青 5-15%(有时高达 2.4 倍的改进)的全面性能改进。GSPMD 形色了一个基于 XLA 编译器的自动并行化系统,该系统不祥彭胀大多数深度学习聚积架构,超出加速器的内存容量,并已应用于许多大型模子,如 GShard-M4、LaMDA、BigSSL、ViT、MetNet-2 和 GLaM 等等,在多个领域上带来了起先进的扫尾。

  图丨在 150 ML 模子上使用基于 ML 的编译器自动调优,不错加速端到端模子的速率。包括杀青 5% 或更多改进比例的模子。条形方式代表了优化不同模子组件的相对改程度度。

  人类创造力驱动的更高效模子架构的发现:

  模子体捆绑构的不断改进,大大减少了许多问题达到给定精度水平所需的诡计量。例如,咱们在 2017 年开发的 Transformer 结构,不祥在几个 NLP 任务和翻译基准上提高期间水平。与此同期,不错使用比多样其他流行法式少 10 倍以致百倍的诡计来杀青这些扫尾,例如看成 LSTMs 和其他轮回架构。雷同地,视觉 Transformer 不祥在许多不同的图像分类任务中显现出改进的最新扫尾,尽管使用的诡计量比卷积神经聚积少 4 到 10 倍。

  更高效模子架构的机器驱动发现:

  神经体捆绑构搜索(NAS, Neural Architecture Search)不错自动发现对于给定的问题域更灵验、新颖的 ML 体捆绑构。NAS 的主要上风是,它不错大大减少算法开发所需的职责量,因为 NAS 在每个搜索空间和问题域组合中只需要一次性的职责。此外,固然最初引申 NAS 的职责可能在诡计上很不菲,但由此产生的模子不错大大减少下贱研究和坐褥环境中的诡计,从而大大减少全体资源需求。例如,为了发现演化 Transformer(Evolved Transformer)而进行的一次性搜索只产生了 3.2 吨的 CO2e,关联词生成了一个供 NLP 社区中的任何人使用的模子,该模子比普通的 Transformer 模子的遵循高 15-20%。最近对 NAS 的使用发现了一种更高效的体捆绑构 Primer(开源),与普通的 Transformer 模子比拟,它裁减了4倍的考研资本。通过这种方式, GOGO体育NAS 搜索的发现资本平时不错通过使用发现的更高效的模子体捆绑构得到赔偿,即使它们只应用于少数下贱任务。

  图丨与普通的 Transformer 模子比拟,NAS 发现的 Primer 架构的遵循是前者的4倍。这幅图(红色部分)显现了 Primer 的两个主要改进:深度卷积增多了小心力的多头投影和 squared ReLU 的激活(蓝色部分线路原始 Transformer)。

  NAS 还被用于发现视觉领域中更灵验的模子。EfficientNetV2 模子体捆绑构是神经体捆绑构搜索的扫尾,该搜索合资优化了模子精度、模子大小和考研速率。在 ImageNet 基准测试中,EfficientNetV2 提高了 5 到 11 倍的考研速率,同期大大减少了先前起先进模子的尺寸。CoAtNet 模子架构是通过一个架构搜索创建的,该架构搜索遴荐了视觉 Transformer 和卷积贮积的想法,以创建一个夹杂模子架构,其考研速率比视觉 Transformer 快 4 倍,并取得了新的 ImageNet 期间水平。

图丨与之前的 ImageNet 分类模子比拟,EfficientNetV2 得到了更好的考研遵循。

  搜索的等闲应用有助于改进 ML 模子体捆绑构和算法,包括强化学习(RL,Reinforcement Learning)和进化期间(evolutionary techniques)的使用,激发了其他研究人员将这种法式应用到不同的领域。为了匡助其别人创建他们我方的模子搜索,咱们有一个开源的模子搜索平台,不错匡助他们探索发现其感兴致的领域的模子搜索。除了模子架构除外,自动搜索还不错用于发现新的、更灵验的强化学习算法,这是在早期 AutoML-Zero 职责的基础上进行的,该职责演示了自动化监督学习算法发现的法式。

  疏淡的使用:

  疏淡性是算法的另一个舛误的跳跃,它不错极大地提高遵循。疏淡性是指模子具有相配大的容量,但对于给定的任务、示例或 token,仅激活模子的某些部分。2017 年,咱们推出了疏淡门控众人夹杂层(Sparsely-Gated Mixture-of-Experts Layer),在多样翻译基准上展示了更好的性能,同期在诡计量上也保持着一定的上风,比先前起先进的密集 LSTM 模子少 10 倍。最近,Switch Transformer 将众人夹杂格调的架构与 Transformer 模子架构结合在一路,在考研时刻和遵循方面比密集的 T5-Base Transformer 模子提高了 7 倍。GLaM 模子标明,Transformer 和夹杂众人格调的层不错组合在一路,不错产生一个新的模子。该模子在 29 个基准线上平均卓越 GPT-3 模子的精度,使用的考研能量减少 3 倍,推理诡计减少 2 倍。疏淡性的宗旨也不错用于裁减中枢 Transformer 架构中小心力机制的资本。

  图丨BigBird 疏淡小心模子由全局 tokens(用于处理输入序列的扫数部分)、局部 tokens(用于处理输入序列的扫数部分)和一组巧合 tokens 构成。从表面上看,这不错解释为在 Watts-Strogatz 图上添加了一些全局 tokens。

  就诡计遵循而言,在模子中使用疏淡性显明是一种具有很高潜在收益的法式,而就在这个方进取进行尝试的研究想法而言,咱们只是涉及了名义。

  这些提高遵循的法式中的每一种都不错结合在一路,这么,与美国平均使用 P100 GPUs 考研的基线 Transformer 模子比拟,刻下在高效数据中心考研的等效精度谈话模子的动力遵循提高了 100 倍,产生的 CO2e 排放量减少了 650 倍。这以致还莫得议论到谷歌的碳中庸(carbon neutral),100% 的可再生动力对消。

  趋势3:机器学习正变得对个人和社区愈加有意

  跟着 ML 和硅硬件(如 Pixel 6 上的 Google Tensor 处理器)的革命,许多新体验成为可能,移动开导不祥更赓续灵验地感知高下文和环境。这些跳跃提高了开导的可拜访性和易用性,同期诡计才略也有擢升,这对于移动照相、及时翻译等流行功能至关舛误。值得小心的是,最近的期间跳跃还为用户提供了愈加个性化的体验,同期加强了秘密保护。

  人们比以往任何时候都依赖他们的手机录像头来纪录日常生存和创作灵感。机器学习在诡计照相中的高深应用擢升了手机相机的功能,使它们更易于使用,产生了更高质地的图像。一些先进的期间,如改进的 HDR+,在弱光下的拍摄才略,更好的人像处理功能,及更大的包容性使到手机录像不错更真的地反应拍摄对象。Google Photos 中基于机器学习的坚硬器具如 Magic Eraser 等还能进一步优化相片。

  除了用手机进行创造外,许多人还依赖手机与别人及时跨谈话相通,例如在打电话时使用 Live Translate 和 Live Caption。由于自我监督学习(self-supervised learning)和有杂音的学生考研(noisy student training)等期间,语音识别准确率赓续改善。对有口音的语音、嘈杂的语音或叠加语音等有彰着的改善。在文本到语音合成的跳跃基础上,人们不错使用谷歌诵读期间 Read Aloud 在越来越多的平台上收听网页和著作,使获取信息愈加低廉,跨越了模态寝兵话的勤奋。通过沉稳生成的即时翻译,谷歌翻译(Google Translate)的及时语音翻译水平显耀改善。高质地的语音翻译在多谈话交流时提供了更好的用户体验。在 Lyra 语音编解码器和 Soundstream 音频编解码器中,机器学习与传统编解码器法式相结合使语音、音乐和其他声息不祥以低得多的比特率保真地传送。

  智能文本弃取(Smart Text Selection)等器具得到了改进,它不错自动弃取电话号码或地址等信息,以便复制和粘贴。此外,Screen Attention 不错防御手机屏幕变暗,注目识别期间有所的改进。机器学习还让人们的生存愈加安全。例如, Suspicious Message Alerts 对可能的聚积垂钓攻击提议预警,Safer Routing 提议愈加安全的替代路线。

  议论到这些功能使用数据的明锐性,把它们默许建立为不分享是很舛误的。以上提到的许多功能都在 Android的Private Compute Core 中运行。这是一个开源的、安全的环境,与操作系统的其余部分挫折开。Android 确保未经用户容或,不会将在 Private Compute Core 中的数据分享给任何应用标准。Android 还遏止 Private Compute Core 的任何功能平直拜访聚积。功能通过一小部分开源 API 与 Private Compute Services 进行通讯,这么就能剔除身份明锐信息并使用联邦学习、联邦分析和私人信息检索等功能保护秘密。

  这些期间对于发展下一代诡计和交互表率至关舛误,个人或大家开导需要在不毁伤秘密的情况放学习并匡助考研(算法)模子。联邦的无人监督学习法式,不错创造出越来越智能的系统。这些系统的交互愈加直觉,更像是一个外交实体,而不是一台机器。唯独对咱们的期间进行潜入变革,才有可能等闲而自制地领有这些智能系统,让它们因循神经诡计。

  趋势4:机器学习在科学、健康和可赓续发展方面的影响越来越大

  频年来,咱们看到机器学习在物理、生物等基础科学科的影响越来越大,在可再生动力和医学等领域也有许多令人感奋的应用。诡计机视觉模子对个人和全球问题都有所功效。它们不错匡助医师进行职责,扩大咱们对神经生理学的领略,还不错提供更好的天气预告,加速救灾职责。其他类型的机器学习模子能发现减少碳排放和提高替代动力产量的法式,在叮嘱形式变化方面至关舛误。这么的模子以致不错看成艺术家的创作器具!跟着机器学习变得愈加建壮(鲁棒)和完善,它在的应用后劲连续扩大,有助于科罚咱们面对的一些最具挑战性的问题。

  诡计机视觉提供新的知死力:

  在往常的十年里,诡计机视觉的跳跃使诡计机不祥完成不同科学领域的多样任务。在神经科学中,自动重建期间不错从脑组织薄片的高永别率电子显微镜图像中重现脑组织的神经联接结构。前些年,谷歌为研究果蝇、老鼠的大脑创造了这么的资源,前年,咱们与哈佛大学的利希特曼实验室(Lichtman Lab)调和,进行了第一次大范围的人类皮质突触联接研究。该研究跨越了扫数皮层的多个细胞类型。这项职责的宗旨是匡助神经科学家研究令人惊羡的人类大脑。例如,下图显现了成人大脑中约 860 亿个神经元中的 6 个。

  诡计机视觉期间还提供了坚硬的器具来叮嘱全球挑战。基于深度学习的天气预告法式用卫星和雷达图像看成输入,结合其他大气数据,产生比传统的基于物理的模子更准确的天气和降水预告,预告时刻长达 12 小时。它们还不错比传统法式更快地产生更新的预告,这在极点天气时期可能是至关舛误的。

  领有准确的建筑萍踪纪录对于从人丁预计和城市策划到人文主义响应和环境科学的一系列应用都是至关舛误的。谢寰宇上的许多地方,包括非洲的大部分地区,这一信息以前是无法得到的,但新的研究标明,将诡计机视觉期间应用于卫星图像不错匡助识别大陆范围内的建筑领域。这一法式的扫尾已在怒放建筑数据聚合发布,这是一种新的怒放获取的数据资源,其中包含 5.16 亿座脱色非洲大陆大部分地区的建筑的位置和占大地积。咱们还不祥在与寰宇食粮谋略署的调和中使用这一独特的数据集,通过 ML 的应用提供天然灾害后的快速亏损评估。

  在健康领域的应用:

  除了鼓励基础科学,人工智能还不错在更等闲的范围内为医学和人类健康做出孝顺。在健康领域诈欺诡计机科学并不是什么极新事。但机器学习掀开了新的大门,带来了新的机遇和挑战。

  以基因组学领域为例。诡计机从一运行就对基因组学很舛误,关联词机器学习增多了新的功能并颠覆了旧的模式。当谷歌的研究人员探索这一领域的职责时,许多众人合计诈欺深度学习来推断基因变异的想法是牵强的。如今,这种机器法式被合计是起先进的。谷歌发布的开源软件 DeepConsensus 以及与加州大学洛杉矶分校(UCSC)调和的 Pepper-DeepVariant 提供了顶端的信息学因循。咱们但愿更多的快速测序不错在近期插足推行应用领域,并对患者产生推行影响。

  以基因组学领域为例。诡计期间一直对基因组学相配舛误,但机器学习法式改革了之前的旧模式,并增添了新的功能。最初,谷歌的研究人员使用机器学习在该领域伸开研究时,许多众人合计使用深度学习期间从测序仪中推断是否存在基因变异的想法是不行行的。但如今,机器学习是起先进的研究法式。况兼改日机器学习将饰演更舛误的变装,比如基因组学公司正在开发更精确、更快的新测序仪,它需要匹配更好的推理才略。咱们也发布了 DeepConsensus 开源软件,以及与 UCSC 调和的 PEPPER-DeepVariant,为这些新仪器提供最前沿的信息学因循。咱们但愿这些性能更强的测序仪不错尽快应用在推行患者中并产生有意影响。

图丨DeepConsensus 中的 Transformer 结构默示图,它不错纠正测序邪恶,提高准确率。

  机器学习也不错在处理测序数据除外起作用,比如使用机器学习加速个性化健康的基因组信息设立。等闲表型和测序个体的大型生物样本库的建立,不错绝对改革咱们领略和经管疾病遗传易理性的方式。基于机器学习的表型法式不错提高将大型图像和文本数据集退换为可用于遗传关连研究表型的可彭胀性,况兼 DeepNull 也不错诈欺大型表型数据进行遗传研究。咱们也很风景将这两种开源法式公布给科学界。

图丨根据生物样本库中的基因组数据,生成的剖解学和疾病性状的大范围量化流程

  正如机器学习不错匡助咱们看到基因组数据中的荫藏特征一样,它也不错匡助咱们从其他健康数据类型中发现并汇集新信息。疾病的会诊平时包括模式识别、关系量化和在多半类别中识别出新实例等任务,而这些都是机器学习擅长的。谷歌的研究人员照旧使用机器学习来科罚多样种种的问题,但也许莫得一个问题比它在医学成像中的应用有更猛进展。

  谷歌在 2016 年发表了一篇对于深度学习在糖尿病视网膜病变筛查中应用的论文,被《美国医学会杂志》(JAMA)的剪辑选为十年来最具影响力的十大论文之一。这意味着它不仅在机器学习和健康方面具有等闲影响力,况兼亦然十年来最具影响的 JAMA 论文之一。而且咱们的研究影响并不仅限于对论文,而是彭胀到现实寰宇中建立系统的才略。通过咱们的全球调和伙伴聚积,该技俩照旧匡助印度、泰国、德国和法国的数万名患者进行疾病筛查,不然他们我方可能莫得才略秉承这种独揽观点疾病的检测。

  咱们但愿看到更多机器学习扶持系统的部署,以应用到改善乳腺癌筛查、检测肺癌、加速癌症辐射调节、标志非常x光和对前方腺癌活检分级上。机器学习为每个领域都提供了新的匡助。比如机器学习扶持的结肠镜查验,即是一个超越了原有基础的例子。结肠镜查验不单是只是会诊结肠癌,还不错在手术流程中切除息肉,是遏止疾病发展和退缩严重疾病的前沿阵脚。在该领域中,咱们照旧诠释机器学习不错匡助确保医师不遗漏息肉,匡助检测难以发现的息肉,还不错增多维度来提高准确度,例如应用同步定位和绘制期间。在与耶路撒冷 Shaare Zedek Medical Center 医疗中心的调和中,实考据明这些系统不错及时职责,平均每次手术不错检测到一个可能会漏检的息肉,而且每次手术的邪恶警报少于 4 次。

  图丨对(A)一般非常、(B)结核病和(C)COVID-19 的真阳性、假阳性以及真阴性、假阴性的胸部 X 光片(CXR)进行采样。在每张 CXR 中,红色的轮廓线路模子识别时关注的区域(即类激活图),黄色的轮廓线路由辐射科医师认定的感兴致区域。

  Care Studio 是另一个有后劲的医疗保健谋略,它使用起先进的机器学习和 NLP 期间来分析结构化数据和医疗纪录,并在正确的时刻为临床医师提供关连信息,匡助他们提供更积极和准确的调节。

  尽管机器学习可能对扩大拜访量和提高临床准确性很舛误,但咱们发现存新的趋势正在出现:使用机器学习匡助人们的日常健康和幸福。咱们日常使用的开导都部署有坚硬的传感器,不错匡助人们普及健康谋略和信息,使人们不错对我方的健康做出更颖异的决定。刻下照旧有了不错评估心率和呼吸频率的智妙手机录像头,况兼无需额外的硬件开导。Nest Hub 开导不错因循非战役式休眠感知,让用户更好地了解我方的夜间健康状态。咱们不错在我方的 ASR 系统中显耀提高无序语音识别的质地,也不错使用机器学习匡助有语音勤奋的人重塑声息,使他们不祥用我方的声息交流。也许,使用机器学习让智妙手机匡助人们更好地研究皮肤病状态,或者匡助观点有限的人慢跑,并不是驴年马月的:这些机遇诠释改日是光明的。

  用于非战役式休眠感知的自界说机器学习模子不错灵验地处理连气儿的3维雷达张量(汇总了一定距离、频率和时刻范围内的行动),从而自动诡计出用户澄澈或睡着的可能性。

  机器学习在形式危境中的应用:

  形式变化亦然一个至关舛误的领域,对人类来说具有相配紧迫的独揽。咱们需要兼听则明来扭转无益排放的趋势,以确保改日的安全和繁茂。而更好地了解不同弃取对形式的影响,不错匡助咱们用多种方式叮嘱这一挑战。

  为此,咱们在谷歌舆图中推出了环保路线,预计该法式不错每年节俭约 100 万吨二氧化碳排放(止境于在路线上减少 20 多万辆汽车)。最近的实验研究标明,在美国盐湖城使用谷歌舆图导航不错杀青更快、更环保的路线,节俭了 1.7% 的二氧化碳排放量和 6.5% 的旅行时刻。此外,还不错让舆图软件更好地适合电动汽车,匡助缓解里程着急,鼓舞人们使用无排放的交通器具。咱们还与寰宇各地的城市进行调和,诈欺汇总的历史交通数据,匡助改善交通灯计时建立。在以色列和巴西进行的一项早期试点研究显现,有查验十字街头的燃油糜掷和延误时刻减少了 10-20%。

  图丨遴荐谷歌舆图的环保路线,将会展示最快和最省油的路线,是以你不错弃取纵容一条相宜你的路线。

  从长久来看,核聚变有望成为一种改革寰宇方式的可再生动力。在与 TAE Technologies 的恒久调和中,咱们通过建立 1000 多个关连铁心参数,使用机器学习来匡助聚变反应堆保持沉稳的等离子体。通过咱们的调和,TAE 杀青了 Norman 反应堆的主要宗旨,这离咱们杀青均衡的核聚变又近了一步。这台机器能在 3000 万开尔文的温度下保持沉稳的等离子体 30 毫秒,这是系统可费力率范围的极限。刻下他们照旧瞎想完成了一个更坚硬的核聚变机器,并但愿该机器能在十年内展示出杀青核聚变均衡的必要条目。

  况兼,咱们还得努力叮嘱越来越常见的失火和巨流(像数百万加州人一样不得不适合如期的“失火季节”)。前年,咱们发布了一份由卫星数据因循的失火领域舆图,匡助美国人简陋地在我方开导上了解失火的大约范围和位置。咱们还将谷歌上扫数的失火信息进行整合,并在全球范围内进行推出。咱们也一直在应用图形优化算法来匡助优化失火疏散路线,以匡助人们安全逃离快速鼓励的失火。2021 年,咱们的巨流预告谋略的预警系统脱色范围扩大到 3.6 亿人,是前一年的三倍以上,并向面对洪灾风险人群的移动开导平直发送了 1.15 亿多条告知。咱们还初度在现实寰宇系统中部署了基于 LSTM(黑白时挂念聚积)的预测模子和 Manifold 模子,并分享了系统中扫数组件的详备信息。

图丨谷歌舆图中的失火图在蹙迫情况下为人们提供要津信息。

  咱们也在努力完善可赓续发展谋略。谷歌在 2007 年景为第一家杀青碳中庸的大型公司,也在 2017 年景为第一家使用 100% 可再生动力的公司。咱们运营着行业中最清洁的全球云,亦然寰宇上最大的可再生动力企业采购商。在 2020 年,咱们成为第一家承诺在全球所特地据中心和校园中全天候运行无碳动力的大型公司。这比将动力使用与可再生动力相匹配的传统法式更具挑战性,但咱们但愿能在 2030 年前完成这一宗旨。刻下,机器学习模子考研的碳排放是该领域关注的主要问题,而在模子架构、数据中心和机器学习加速器方面做出正确的弃取,不错减少约 100-1000 倍的碳萍踪考研量。

  趋势5:对机器学习有更深入和更等闲的领略

  跟着机器学习在期间产物和社会中的应用越来越等闲,为了确保它被公祥和自制地应用,咱们必须连续开发新期间,以确保它惠及更多人。这是咱们“负连累人工智能和以人为本期间”(Responsible AI and Human-Centered Technology)研究小组的主要研究重心,亦然咱们对多样连累关连主题进行研究的领域。

  基于用户在线产物行动的保举系统是研究的重心领域。由于这些保举系统平时由多个不同部分构成,领略它们的自制性通常需要深入了解单个部分以及各个部分组合在一路时的步履。最近的研究职责揭示了提高单个部分和通盘保举系统的自制性的法式,有助于更好地领略这些关系。此外,当从用户的荫藏行动中学习时,保举系统以一种无偏差的方式进行学习。因为从以前用户所展示的技俩中平直学习的法式中会进展出很彰着的偏差。况兼如果不合这种偏差进行纠正,保举产物被展示的位置越显眼,它们就越容易被时常保举给改日的用户。

  与保举系长入样,高下文环境在机器翻译中也很舛误。因为大多数机器翻译系统都是独赶紧翻译单个句子,并莫得额外的高下文环境。在这种情况下,它们通常会加强与性别、年级或其他领域接洽的偏见。为此,咱们恒久以来一直在研究如何减少翻译系统中的性别偏见。为了匡助翻译界研究,前年咱们基于维基百科列传的翻译来研究翻译中的性别偏见,并发布了一个数据集。

  部署机器学习模子的另一个常见问题是散播升沉:如果考研模子的数据统计散播与输入模子的数据统计散播不一致,那么有时模子的步履是不行预测的。最近的研究中,咱们使用 Deep Bootstrap 框架来比较现实寰宇和“联想寰宇”(ideal world)的区别,前者的考研数据是有限的,此后者领有无尽的数据。更好地领略模子在这两种情况下(真的与联想)的步履,不错匡助咱们开发出更适用于新环境的模子,并减少在固定考研数据集上的偏差。

  尽管人们对机器学习算法和模子开发的职责有极大的关注,但研究者们对于数据汇集和数据集的经管通常关注较少,但这些研究也相配舛误,因为机器学习模子所考研的数据可能是下贱应用中出现偏见和自制性问题的潜在原因。分析机器学习中的数据级联不错匡助咱们识别机器学习技俩人命周期中,可能对扫尾产生舛误影响的法式。这项对于数据级联的研究照旧在校正后的 PAIR 指南中为数据汇集和评估提供了笔据因循,该指南主要面向的是机器学习的开发人员和瞎想人员。

  图丨不同方式的箭头线路多样类型的数据级联,每个级联平时发源于上游部分,在机器学习开发流程中复合,并体现不才游部分。

  更好地领略数据是机器学习研究的一个舛误部分。咱们对一些法式进行研究,来更好地领略特定的考研实例对机器学习模子的影响,这不错匡助咱们发现和考察非常数据,因为邪恶标志的数据或其他雷同的问题可能会对通盘模子步履产生庞大的影响。同期,咱们还建立了“了解你的数据”(Know Your Data)器具,以匡助机器学习研究人员和从业人员更好地了解数据集的属性。前年,咱们还进行结案例研究,教你如何使用“了解你的数据”器具来探索数据聚合的性别偏见和年级偏见等问题。

  图丨“了解你的数据”截图显现了形色诱骗力和性别词汇之间的关系。例如,“有诱骗力的”和“男性/须眉/男孩”同期出现 12 次,但咱们预计偶然出现的次数约为 60 次(比例为 0.2 倍)。另一方面,“有诱骗力的”和“女性/女人/女孩”同期出现的概率是 2.62 倍,卓越预计偶然出现的情况。

  因为动态使用基准测试数据集在机器学习作领域中饰演着中枢变装,了解它也很舛误。尽管对单个数据集的研究照旧变得越来越广泛,但对通盘领域的动态使用数据集的研究仍然莫得得到充分探索。在最近的研究职责中,咱们第一个发表了对于动态的数据集创建、遴荐和重用的大范围训诫性分析。这项研究职责为杀青更严格的评估,以及更公祥和社会化的研究提供了见解。

  对每个人来说,创建更具包容性和更少偏见的大家数据集是匡助改善机器学习领域的一个舛误法式。2016 年,咱们发布了怒放图像(Open Images)数据集,它包含了约 900 万张图片,这些图片用图像标签标注,涵盖了数千个对象类别和 600 类的领域框标注。

  前年,咱们在怒放图像彭胀(Open Images Extended)集结中引入了包容性人物标注(MIAP)数据集。该集结包含更美满人类条理结构的领域框标注,每个标注都带有与自制性关连的属性,包括感知的性别和年级范围。跟着人们越来越戮力于减少不自制的偏见,看成负连累的人工智能(Responsible AI)研究的一部分,咱们但愿这些标注不祥鼓舞照旧使用怒放图像数据集的研究人员在他们的研究中纳入自制性分析。

  咱们的团队并不是独逐一个创建数据集来改善机器学习效果的团队,咱们还创建了“数据集搜索”(Dataset Search)法式,使得无论来自那边的用户都不错在咱们的匡助下发现新的和有用的数据集。

  社区互动:

  谷歌相配有趣叮嘱聚积暴力问题,包括使用极点谈话,发表仇恨言论和散播装假信息等。不祥可靠、高效和大范围地检测到这些步履,对于确保平台安全至关舛误,同期也能幸免机器学习通过无监督学习的方式从聚积上多半复制这些负面信息。在这方面,谷歌创始了启程点的 Perspective API 器具。关联词如安在大范围场景中精确地检测出无益信息仍然是一个复杂的问题。在最近,咱们与不同的学术伙伴调和,引入了一个全面的分类法来叮嘱不断变化的聚积仇恨和聚积烦躁情况。谷歌还对如何发现避讳性聚积暴力,如微愤慨进行了研究。平时,微愤慨在聚积暴力的问题中容易被疏远。咱们发现,对微愤慨这种主观宗旨进行数据正式的传统法式很可能将少数族裔旯旮化。因此谷歌提议用多任务框架来科罚问题的新的分类建模法式。此外,谷歌的 Jigsaw 团队与乔治华盛顿大学(George Washington University)的研究人员调和,通过定性研究和聚积层面的内容分析,研究了极点的仇恨群体如安在外交媒体平台上散播装假信息。

  另一个潜在的问题是,机器学习算法生成的模子有时会产生缺少笔据因循的扫尾。为了在问题回话、总结和对话中科罚这一问题,谷歌开发了一个新的框架来估量算法扫尾是否不错归因于特定的着手。咱们发布了正式指南,并诠释不错使用这项可靠的期间来对候选模子进行评估。

  模子的交互式分析和调试仍然是负连累地使用机器学习谈话的要津。谷歌对 Language Interpretability Tool 的期间和功能进行了更新。更新包括对图像和表格数据的因循,从 What-If Tool 中秉承下来的多样功能,以及 Testing with Concept Activation Vectors 期间对自制性分析的内置因循。机器学习系统的可解释性亦然谷歌提议的“负连累的 AI 愿景”(Responsible AI vision)的要津部分。在与 DeepMind 的调和下,谷歌运行了解自我考研的AlphaZero海外象棋系统是如何获取人类的象棋宗旨的。

  谷歌还在努力拓宽“负连累的人工智能”的视角和格式,使其超越西方的局限。一项最近的研究提议在非西方配景下,基于西方机构和基建的算法自制宗旨并不适用。研究为印度的算法自制研究提供了新地点和新蹊径。谷歌正在几大洲积极开展考察,以更好地了解人们对人工智能的看法和偏好。西方视角下的算法自制研究倾向于只关注少数几个问题,因此导致好多非西方配景下的算法偏见问题被忽略。为了科罚这一差距,咱们与密歇根大学(University Of Michigan)调和,开发了一种弱监督薄的天然谈话处理(NLP)模子,以便在更等闲的地舆文化语境中检测出谈话偏见,反应人类在不同的地舆环境中对攻击性和非攻击性谈话的判断。

  此外,谷歌还探索了机器学习在发展中国度的应用,包括开发一个以农民为中心的机器学习研究决议。通过这项职责,咱们但愿鼓舞人工智能领域更多思考如何将机器学习因循的科罚决议带给千万小农户,以改善他们的生存和社区。

  让通盘社会的利益关连方参与到机器学习研发部署的各阶段是谷歌正在努力的地点,这让谷歌紧记什么才是最需要科罚的问题。本着这一原则,咱们和非谋利组织细腻人、政府和非政府组织代表以偏激他众人之间举行了健康自制研究峰会(Health Equity Research Summit),商讨如何将更多的自制带入通盘机器学习的生态系统,使自制原则从最初的科罚问题蚁合到扫尾评估的终末一步。

  从社会启程的研究法式让谷歌在机器学习的系统中就思考数字福利和种族对等问题。谷歌但愿更多了解非洲裔美国人对 ASR 系统的体验。谷歌也在更等闲地听取公众的意见,以了解机器学习如安在舛误生存事件中提供匡助,例如提供家庭护理。

  跟着机器学习才略的提高和在许多领域的影响,机器学习中的秘密保护是一个研究重心。沿着这个眉目,咱们尽力科罚大型模子中的秘密问题。谷歌既强调考研数据不错从大型模子中索求,也指出了如安在大型模子(例如 BERT)中杀青秘密保护。除了上头提到的联邦学习和分析期间,咱们还一直在使用其他原则性和实用性的机器学习期间来保护秘密。例如独到聚类、独到个性化、独到矩阵补全、独到加权采样、独到分位数、半空间的独到矜重学习,以及独到 PAC 学习。此外,咱们一直在彭胀可针对不同应用和独揽模子定制的秘密宗旨,包括标签秘密和用户与技俩级别秘密。

  数据集:

  谷歌意识到怒放数据集对机器学习和关连研究领域的广泛价值,咱们连续扩大咱们的开源数据集和资源,并在 Google DataSet Search 中增多了怒放数据集的全球索引。本年,咱们发布了一系列各个研究领域的数据集和器具:

  总结

  学术研究通常要经验多年能力在现实寰宇产生影响。人工智能领域前驱的职责当今对当今的谷歌产物和全寰宇都产生了戏剧性的影响。对 TPU 等机器学习加速器和 TensorFlow、JAX 等软件的开发经取得了丰硕恶果。谷歌在我方的产物中正越来越多地使用机器学习模子,因为它功能坚硬,在性能要津型的实验和坐褥中进展优异。在创建 Seq2Seq、Inception、EfficientNet 和 Transformer 等模子的流程中对模子结构的研究正在推动谈话领略、视觉、语音识别等领域的跳跃。谈话、视觉和语音识别等领域对科罚问题具有变革性,因此,这类型的机器学习模子被等闲部署用于许多产物中,包括 Search, Assistant, Ads, Cloud, Gmail, Maps, YouTube, Workspace, Android, Pixel, Nest 和 Translate。

  对机器学习和诡计机科学来说,这是一个清翠民气的期间。通过处理谈话、视觉和声息,诡计机领略周围的寰宇并与之互动的才略在不断提高。同期诡计机也在不断为人类开拓新疆界孝顺力量。前文所述的五个方面恰是这漫长旅程中的许多跳跃的节点!(数据实战派)

  原文相连:

  https://ai.googleblog.com/2022/01/google-research-themes-from-2021-and.html