用AI赋能行业，英特尔OpenVINO发力边云协同助企业降本增效

慧聪教育网 2022-07-05 17:55 来源：慧聪教育网

【慧聪教育网】今天，随着新兴ICT信息技术的迅猛发展，人工智能、物联网等技术的应用已悄然来到你我身边，并在我们熟悉的领域中发挥着越来越重要的作用。

如果说AI解决方案意味着智能化、无人化和集群化，需要它支持任意地点的开发运维协同和全球化的大规模部署。那么，如何基于最新的边云协同，应用高可靠且高可用的云边构架，从而实现AI模型的高效率训练和高性能部署？这些，我们在英特尔AI开发者私享会上找到了答案。

AI推理的“边云协同”新趋势

今天，智能终端设备无所不在。我们通过智能设备、多种边缘设备和云端进行交流。而由于技术的存在，让我们无感的自由自在生活和工作。无可否认的是，我们都身处“云-边-端”和环境之中而不自知，它们却在不知不觉中改变我们的工作和生活。

英特尔AI 软件布道师武卓博士表示：“人工智能、无所不在的计算、无处不在的连接、从云到边缘的基础设施正在成为驱动创新与变革的四大超级力量。”

无数据不AI。武卓博士从技术技术向我们特别说明了数据在边缘端推理的好处。首先，数据在边缘端产生，它更接近或处于边缘的近实时决策；其次，避免了向云传输大量数据的成本；再次是异构硬件体系结构更方便使用，它能将现有边缘设备计算和许多具有新功能的新硬件平台结合使用。她介绍说，将在边缘端推理后的结果上传到云端后进行云规划开发，可以实现企业业务和计算服务、多AI框架和服务和简化训练开发，无需软件下载，无需配置，无需安装即可进行开发。因此，在云端进行规模化的开发更加简化，直接使用云端的资源即可，把分布式和集中式的云计算结合起来进行优势互补，可以很好的完成边-云-端的协同。

比如，在智慧工作、智慧物流等的应用中，在边缘端，通过内置英特尔的芯片的智能盒子等设备进行推理，可以实现推理的进行优化和加速。然后将日志和许可方式进行存储上传，形成大型的数据看板，进行数据可视化，更方便管理。

武卓博士表示，边云协同的方式为企业带来了高质量的解决方案，解决现实使用中的一些痛点。比如在AI宫颈癌病理筛查中，采用TCT智能筛查系统将LBP涂片识判断数字化、自动化和智能化，它的平均精度达到了91%-98.6%，漏检率小于4%。人工诊断一张切片平均耗时约15-20分钟，而基于Intel Xeon平台的人工智能诊断耗时约30秒/张 ，为中国“两癌”筛查行动助力。

说到推理，许多开发者都会习惯在GPU平台上进行。武卓博士则指出，在CPU做推理，并不会慢，关键在于如何决策。她指出，英特尔武卓博士开发套件已经构建良好的生态，向上向下都可以兼容多种平台，同时支持的设备和平台也多样化，代码更简单，开发者可以很方便的使用。据介绍，目前英特尔OpenVINO已经有超过270+的验证及优化的预训练模型，加上英特尔和百度飞桨（PaddlePaddle）一起合作开发的模型，共有超过400+的落地方案可供选择，帮助开发者进行创建、优化和部署。武卓博士特别指出，英特尔OpenVINO的解决方案可以实现一次编写多次部署，并进行优化和加速，仅仅靠CPU就可以获得较大的推理模型和效果。同时，它可以部署在很多的硬件平台上面，大大节约了开发者的时间和成本。尤其是在英特尔的全栈生态链中使用，其优势会更加明显。

在微软Azure上使用OpenVINO快速实现高性能人工智能推理

随着云计算、边缘计算等被纳入并行计算范畴，并行计算得以高速发展。微软人工智能和物联网实验室AI 工程师Joe Chen表示，计算结构在发生变化，从云到边级，云边融合。

目前，大量的计算需求被集中化处理，其中，人工智能占40%，控制逻辑，占37%，数据分析占30%，构成前几名的边缘计算工作负载。Joe表示，随着边缘设备的计算能力的加强，边缘计算也应用得越来越深，人工智能是最重要的边缘计算负载。

今天，微软的机器学习平台把云端和边缘侧结合到一起，软件工程师和数据科技学在机器学习平台上，将图像、语音、文本、决策以及Open AI等认知服务预训练成定制的AI模型，提供基于场景化的AI应用服务，比如聊天机器人、内容审查器，视频索引器等提供给用户，用户只需要使用即可。

Joe表示，Azure机器学习平台，一方面连接数据，通过平台训练成模型部署到客户端，另一方面可以进行管理和监控，通过可视化数据等进行统一管理云端和本地资源。据介绍，Azure机器学习平台是企业级机器学习服务，它具有适配不同技术水平，全生命周期管理、开放且可互操作以及负责任的AI等特点，能够更快地构建和部署模型。

Joe总结说，微软注重云端的算力，OpenVINO更注重与硬件的结合，因此，基于两者技术开发的硬件盒子对于开发者来说，降低了开发门槛，只要购买后都可以通过它传输到云端进行模型推理。同时，他特别强调，OpenVINO开源中有代码示例，方便对OpenVINO各个工具的使用方法不太熟悉的开发者理解和使用，也可以方便的在Azure平台上进行使用。

OpenVINO深耕行业，助力企业降本增效

自2018年推出OpenVINO™以来，英特尔已经帮助数十万开发者大幅提升了AI推理性能，并将其应用从智能边缘计算扩展到云计算及服务器端。2022年的发行版 OpenVINO™工具套件根据开发者的反馈而开发，包括更简易的更新API、更广泛的深度学习模型选择、更多的设备可移植性选择以及更高的推理性能和更少的代码配置，旨在简化和自动化模型部署工作。OpenVINO™ 2022.1新版本的技术亮点涵盖：自动平衡在CPU、GPU和其他加速器之间的推理任务负载；更便捷地从其他框架中导入预训练模型；自动进行推理任务优化及并行化加速；通过Dynamic Shape特性提升NLP相关网络性能；在训练过程中或训练后对模型进行优化，以获得最佳的性能和准确性。

据介绍，英特尔OpenVINO 自推出以来，在各行各业落地部署。开发者借助OpenVINO 在各个领域开发创新，取得了非常可观的AI优化成果。

英特尔联合趋视科技打造了基于OpenVINO 的智慧园区解决方案，达到了“提前预防、快速分析并提示人做出响应”的管理效果。AI视觉行为分析是智慧社区应用中的关键技术，趋视科技结合自身算法框架，并借助英特尔OpenVINO 加速优化，满足专家系统及深度学习系统融合算法的性能要求，大幅提升AI视觉分析行为算法性能，并通过基于OpenVINO 的40多种智能行为分析算法点亮未来社区生活。

在教育领域，一起教育科技借助OpenVINO 优化其“一教一学”解决方案中的量化推理加速技术与批改检测识别加速技术，成功实现从传统教培业务向数字化教育全维解决方案业务的转型。在英特尔至强CPU架构的加持下，一起教育科技探索了一款基于OpenVINO 的、满足实时性要求的可行性技术方案，且在此方案中OpenVINO 的代码及模型均部署在云端，而非用户端。此外，由于OpenVINO 支持异构部署，这为多元化部署提供了可能。英特尔还将与一起教育科技进一步借助OpenVINO 针对OCR模型打造INT8量化部署方案，推进数字化教育教学的转型升级。

正如武卓博士所说：“数字化的目标是为了在数据中提升洞见，能够基于人工智能的数据学习，促进企业或组织进行正确的决策，进行业务流程和组织的再造，之后的效率就特别高，最终实现降本增效的目标。”

今天，从产品到内容生产、再到开发者社区构建，OpenVINO 助力打造了一个健康发展的AI生态圈，英特尔的任何一款软硬件产品都可以是这个生态圈中的一环。同时，随着AI产业快速发展，面对市场对AI专业人才日益增加的需求，英特尔也在持续为AI专业人才培养注入新动能，助力开发者成长。英特尔具有完整的开发者培养计划，通过和教育机构、大学、行业生态合作伙伴合作，为开发者提供了丰富的课程以供学习，满足各个阶段的需求，让大家从入门到精通而不是从入门到放弃。

当前，英特尔正在构建一个健康的开发者生态体系，在各个开发者社区传播知识和技能，并通过活动将大家串联起来，聚焦于AI的未来，用AI赋能行业，为企业降本增效助力。