谷歌推出适用于移动和嵌入式设备的TensorFlow Lite 1.0

谷歌今天推出了TensorFlow Lite 1.0，它是开发人员在移动和物联网设备上部署AI模型的框架。改进包括在训练期间和之后对更快，更小的模型进行选择性配准和量化。量化导致一些模型的压缩4倍。

“我们将全力支持它。我们不会破坏事物并确保我们保证其兼容性。TensorFlow工程总监Rajat Monga在接受电话采访时告诉VentureBeat，我认为很多人在手机上部署此功能需要这些保证。

Lite从在TensorFlow上训练AI模型开始，然后转换为创建用于在移动设备上操作的Lite模型。Lite于2017年5月在I / O开发者大会上首次推出，并于当年晚些时候在开发人员预览中推出。

Google的TensorFlow Lite团队还分享了其未来的路线图，旨在缩小和加速AI模型的边缘部署，包括模型加速，特别是对于使用神经网络的Android开发人员，以及基于Keras的连接修剪套件和额外的量化增强功能。

其他方面的变化：

支持控制流，这对于诸如递归神经网络的模型的操作是必不可少的

使用Lite模型优化CPU性能，可能涉及与其他公司的合作关系

扩展GPU委托操作的覆盖范围并最终确定API以使其普遍可用

将为开发人员提供一个TensorFlow 2.0模型转换器来制作Lite模型，以便更好地了解转换过程中的错误以及如何解决问题。

今天TensorFlow Lite由超过20亿台设备部署，TensorFlow Lite工程师Raziel Alvarez在加利福尼亚州桑尼维尔谷歌办事​​处举行的TensorFlow开发者峰会上表示。

Alvarez说，TensorFlow Lite越来越多地使TensorFlow Mobile过时，但想要将其用于培训的用户除外，但解决方案正在进行中。

正在探索各种技术以减小AI模型的大小并优化移动设备，例如量化和委托(用于在不同硬件中执行图形以提高推理速度的结构化层)。

1月份开发人员预览版中提供了许多设备代表的移动GPU加速功能。它可以使模型部署比浮点CPU快2到7倍。Edge TPU代表能够将速度提高到浮点CPU的64倍。

在未来，谷歌计划普遍提供GPU代表，扩大覆盖范围并最终确定API。

许多原生Google应用和服务都使用TensorFlow Lite，包括GBoard，Google Photos，AutoML和Nest。当Google Assistant现在需要在离线时响应查询时，所有CPU模型的计算都由Lite执行。

Lite也可以在Raspberry Pi和新的150美元Coral Dev Board等设备上运行，这也是今天早些时候推出的。

今天也首次亮相：TensorFlow 2.0的alpha版本，简化了用户体验; TensorFlow.js 1.0; 以及使用Apple的编程语言Swift编写代码的开发人员的TensorFlow版本0.2。

TensorFlow Federated和TensorFlow Privacy今天也发布了。

Apple的机器学习框架Core ML于2017年12月推出。

自定义TensorFlow Lite模型还可以与ML Kit一起使用，这是开发人员为移动设备创建模型的快捷方式，去年为使用Firebase的Android和iOS开发人员推出。