OpenVINO? 工具套件 2024.1 现已推出
原创OpenVINO? 工具套件 2024.1 现已推出
原创
IT蜗壳-Tango
修改于 2024-05-17 10:54:55
修改于 2024-05-17 10:54:55
最新版本的 OpenVINO? 工具套件现已推出，在此版本中将看到更多 LLM 性能的改进，方便您使用 OpenVINO 运行生成式 AI 工作负载。
生成式人工智能是当今人工智能技术发展最快的领域。 如果您是生成式 AI 的新手或从传统机器学习过渡，那么使用生成式 AI 似乎令人生畏。
作为一名人工智能软件架构师，我的职责是围绕当前的研究趋势（包括炒作）思考大局。
由于许多行业都希望使用大型语言模型 （LLM） 和生成式 AI 工具，因此不仅要考虑模型，还要考虑增强这些生成式 AI 体验的技术，以及它们的功能、局限性和可能性。
这些应用程序背后的一个关键因素是需要正确的数据，以便将专业化、情境化和多模态等技术引入培训管道。 让我们来看看它们中的每一个。
主要亮点
覆盖更多生成式AI，集成更多框架，最大限度减少代码更改
- 支持最新发布的最先进的Llama 3模型。
- Mixtral 和 URLNet 模型针对英特尔?至强?处理器进行了优化，提升了性能。
- Stable Diffusion 1.5、ChatGLM3-6b 和 Qwen-7B 模型经过优化，可在具有集成 GPU 的英特尔?酷睿?Ultra处理器上提高推理速度。
- 添加了新的 Jupyter Notebook：Yolo V9、Yolo V8 定向边界框检测 （OOB）、Keras 中的 Stable Diffusion、MobileCLIP、RMBG-v1.4 背景去除、Magika、TripoSR、 AnimateAnyone、LLaVA-Next 以及带有 OpenVINO 和 LangChain 的 RAG 系统。
支持更广泛的LLM模型，提供更多模型压缩技术
- 基于采用了英特尔?高级矩阵扩展（Intel? AMX）的第 4 代和第 5 代英特尔?至强?平台，LLM的一个token性能得到了提升。
- oneDNN、INT4 和 INT8支持英特尔?锐炫? GPU，从而实现了更好的 LLM 压缩和改进的性能。
- 在带有集成 GPU 的 Intel?Core?Ultra 处理器上，可显著减少部分较小的 GenAI 模型的内存。
在边缘及云端，或本地运行AI时，具有更高的可移植性和更好的性能表现
- 除了 PyPI 上的 OpenVINO 软件主包外，英特尔?酷睿? Ultra处理器的NPU 插件预览可在 OpenVINO 开源 GitHub 仓库中使用。
- 现在，可以通过 npm 存储库更轻松地访问 JavaScript API，使 JavaScript 开发人员能够无缝访问 OpenVINO API。
- 默认情况下，基于ARM 处理器的FP16 推理已为卷积神经网络 （CNN） 所启用。
我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录