云+社区技术沙龙上海站，与开发者深度交流腾讯云AI技术

现阶段，国内人工智能的发展进程已进入国际快车道，人工智能落地实践已深入到各个行业和技术领域。无论是云计算、大数据、区块链还是物联网，人工智能在推动技术发展和影响该领域前景方面发挥着决定性作用。2019年9月7日，云+社区（腾讯云官方开发者社区）在上海举办了“AI技术原理与实践”技术沙龙。现场的五位腾讯技术专家在现场与开发人员面对面，深入阐释了腾讯云城平台背后的架构设计理念和实践方法，以及OCR、NLP、机器学习、智能语音对话等技术领域。

云智天枢平台的架构设计理念来自腾讯云高级技术专家黄文才，从云智天枢平台的架构设计理念入手，阐述了腾讯云最强人工智能平台技术实践。

[第1003号]

腾讯云高级技术专家Wenzai Yun Zhihu是一个人工智能平台，支持快速访问各种算法、数据和智能设备，并为管理和调度服务和资源提供可视化编排工具。此外，通过持续集成AI服务组件和标准化接口，它使开发人员能够快速构建AI应用程序。总的来说，云智天智平台定位是全栈AI服务平台，与合作伙伴在应用、算法、设备等方面实现双赢，合作伙伴只需实现应用层逻辑即可。

云子天枢平台架构云子天枢平台是一个典型的存储层、逻辑层和访问层三层架构。基础架构位于体系结构的底层，支持整个平台的基本功能，如Docker、K8S和Blue Shield CICD。这是一个存储层，它使用了MySQL，Kafka，Influxdb，Cos/Ceph，ES等组件。中间层可以使用微服务划分为六个主要功能窗口：算法仓库、设备中心、数据中心、AI工作室、应用中心和管理中心。Algorithm仓库：它主要提供自助镜像功能，可将可执行程序、模型文件等快速容器化为算法微服务，目前访问算法的类型涵盖人脸、车辆、语音、文本、语义等。设备中心：主要对接各种型号的设备，如普通摄像头、快照、AI摄像头等，支持设备厂商的自助设备接入功能。数据中心：主要负责数据访问、推送、转换、存储等，包括屏蔽各种结构化和非结构化存储介质的能力。AI Studio：主要实现任务调度、流程和服务编排功能，实现打开平台所有窗口的功能。应用中心：主要是创建应用程序、密钥、订阅管理、视频库等功能。管理中心：账户系统、角色权限、镜像仓库、操作日志等功能。在顶部是网关级别，它分为两部分：API网关和消息网关。API网关采用腾讯云API3.0标准，主要执行身份验证、频率限制、转发等功能。它支持GPRC和HTTP推送功能，监控系统使用Telegraf 、InfluxDB和Grafana，日志系统使用ELK。基于云智能天轴平台AI工作室核心业务窗口架构设计

基于云智能SkyPivot平台的AI工作室架构，将AI工作室构建为服务可编排的流程引擎，其集成组件和开发人员的下对接是整个云智能SkyPivot平台的核心。它由三个主要部分组成：平台对接系统、过程引擎系统和功能服务系统。平台对接系统：负责打开平台上所有窗口的功能。过程引擎系统：我们参考了AWS ASL来定义描述性DAG图规范。实现流程和服务编排功能。TaskSchesvr是一个任务调度器，而taskProcessSvr是一个流程引擎执行器，它分析DAG图并根据编排好的流程自动执行任务。功能服务系统：它是一个Python服务，运行Python代码的一部分。在编排流程服务时，由于调用服务A的输出不一定满足服务B的输入，所以这里主要进行数据转换。通过使用函数服务来转换参数，实现用户逻辑，或者启用参数映射来实现参数转换，可以改善参数映射不能完全呈现服务状态的问题，实现中间状态的转换。流程服务编排引擎通常在业务功能开发过程中编写一些类似的代码逻辑。例如呼叫服务等，服务进行数据处理，处理后同时调用BC服务，回退BC包进行数据处理等，业务中有很多类似的业务逻辑，抽象出来，实现流程和服务编排功能是非常重要的。流程编排功能可实现并行分支、条件分支、合并等操作。服务编排支持直接服务调用，用户不关心网络层调用，只关注纯业务逻辑。功能服务功能服务是为了解决A服务的输出不能满足下游B服务的输入的问题，它的核心优点是通用组件可以累积重用，大大降低了用户的开发成本。算法仓库的主要目的是将平台上的算法整合到一个单一的位置，提供平台统一的算法服务，并可视化图像创建页面，即使是不懂Docker的用户也可以轻松创建。通过发布和托管算法服务，您可以直接调用K8s源API服务器，有效解决算法类型多、管理坞站成本高、映像创建阈值高等问题。设备中心设备中心的功能主要是设备的自助接入功能，目前市场上各厂商之间的产品模式、协议各不相同，难以统一，私有化协议占很大一部分。通过在每个子类中实现微服务，设备中心将其划分为三层：高级服务逻辑（基础映像）、自适应逻辑SDK（so插件）和私有SDK（so插件）同时，它还将实现云边缘混合部署功能，主要解决边缘计算能力、带宽和时延不能满足需求的场景。数据中心的主要功能是实现数据访问、推送、转换和存储，包括本地上传、在线拉、外部推送等功能。在项目实施过程中，屏蔽不同存储介质（包括结构化和非结构化数据）的读写能力。该监控系统是使用开源组件Telegraf + Influxdb + Grafana构建的。它支持多个数据源，强大的开放API可扩展性，单个数据库的独立微服务以及可导入和导出的接口配置，使其非常适合私有部署场景中的应用程序。腾讯云OCR技术的演进腾讯云高级工程师彭碧法从腾讯云OCR技术入手，探讨了OCR背后的功能和原理，并讨论了OCR在工程演进过程中的作用，分享了如何确保服务安全，新功能快速上线。为大家带来“腾讯云字符识别OCR技术的构建与应用”。

腾讯云高级工程师彭碧发

腾讯云的OCR功能是创建一个文本识别工具箱，目前需要丰富的界面功能，可以集成，同时保持灵活性。目前，它专注于公共云领域，加速了大规模复制，然后将其私有化。中间组件产品这部分是腾讯云OCR提供的组件接口，它依赖于引擎的基本组件和各种文本和内容处理功能，将不同的技术结合起来，形成不同的组合产品和解决方案，最终赋予合作伙伴权力。

腾讯云OCR的整个框架设计从上到下分为用户访问层、Web访问层、业务逻辑层、引擎平台层和基础服务层，通过类微服务设计，保证了每个逻辑服务的相互隔离。首先，它分为用户访问层和Web访问层。用户访问层通过API和SDK进行访问。除了域名解析，Web Access层还增加了新的云标准3.0Access，自动生成SDK和相应的支持，如在线调试和文档生成。然后是业务逻辑层，每个业务逻辑都是独立的，每个业务都有自己的配置，彼此不影响。引擎平台层，这里是原子能力最基本的封装，通过统一引擎原子能力的输入参数和错误代码，可以更好地应用于业务逻辑。基本服务层主要包括引擎的基本功能、计费控制、DB、COS等。OCR引擎平台层

引擎平台层可能是整个架构的首要任务，因为它是提高整个架构的运营效率的核心。转换后，统一的引擎访问和引擎自适应都放在项目中，正常逻辑和错误代码在代理下收敛，更改非常方便灵活，只需在发布时发布代码即可。通过收敛每个引擎原子能力的差异，包括错误代码，内部接口的返回将更加友好。将服务级别从3级简化为1级，大大提高了维护效率。腾讯云NLP平台的技术架构来自腾讯云高级研究员徐泽科，他从腾讯云NLP技术和能力矩阵，探讨了NLP背后的算法、原理和架构。

徐泽柯，腾讯云高级研究员

腾讯云AI语义产品矩阵腾讯云知识NLP平台是一个一站式自然语言处理平台，基于腾讯云丰富的语料库和多年的NLP能力积累，结合腾讯云的专业产品和服务。NLP平台融合了深度学习、云服务、人工智能、大数据等技术，全面覆盖了词法分析、句法分析、章节分析、向量技术等基础NLP技术，广泛应用于互联网、政府、金融等行业。

为了保证在线服务的稳定性和效率，整个产品的系统架构采用了微服务+ DevOps的构建方式，每个算法微服务都是一个单独的容器实例。整个产品的系统架构可分为五个层：用户层、API3.0接入层、服务接入层、应用层和数据层。用户层包括计费、控制台管理和SDK/API的使用。API3.0访问层是所有云业务服务都必须访问的，以统一云业务规范，与行业标准相协调，并改善云API的用户体验。Cloud API3.0还可连接内部星云报警系统、哈勃监控系统和CAM签名服务，以确保服务的正常运行，同时减轻部分工作量。服务访问层、应用层和数据层属于服务后端服务。服务访问层主要负责服务访问和路由。应用层包括业务逻辑层和算法逻辑层，业务逻辑层指的是计费、信用、控制台等服务。算法逻辑层是整个系统架构的核心，它反映了NLP产品的价值，需要不断更新。最后一个数据层将负责数据存储、报告等，使用当前腾讯云的主流组件。上述所有业务后端服务都基于微服务架构，与传统的单一服务不同，它们将不同的业务逻辑分解为更小的服务，并通过服务之间的通信调用它们。服务之间的通信使用轻量级通信机制（目前我们的架构支持gRPC和基于HTTP的Restful API），每个服务都是围绕独立的业务逻辑构建的，并且可以独立地部署在生产、测试等环境中。NLP后端服务将使用上面提到的微服务架构，主要基于以下几点考虑：（1）NLP平台覆盖了十多个原子算法服务，微服务架构的使用方便了算法的独立开发和独立部署，可以灵活快速地响应频繁的迭代请求。（2）基于微服务的架构可以松散耦合，而不需要服务之间的统一语言，从而加快合作伙伴在云中的步伐。微服务架构与容器化DevOps平台相结合，可以简化服务的部署和操作。关于AutoNLP

AutoNLP的概念源于AutoML，其目的是在机器学习和数据挖掘过程中自动化数据注释、特征选择、模型选择和模型在线化等过程。AutoNLP指的是NLP任务的流水线。 上图显示了AutoNLP的元素体系结构图，请查看左边的数据部分。较低的IaaS提供GPU到CPU的资源，开发人员可以使用。上面有数据，有数据市场，你不仅可以应用自己的语料库，还可以嵌入腾讯的语料库。数据工厂提供了数据可视化和数据预处理工具。中间框架包含ModelZoo，并为不同领域提供Bert模型。以容器的形式部署AutoNLP确保了灾难恢复、扩展、服务稳定性等，而最终服务在上线后提供了两种调用方法：RPC和Resrful。智能钛机器学习平台TI-ONE是面向开发人员的一站式机器学习平台，涵盖了整个机器学习建模过程的功能，包括数据预处理、特征工程、模型培训、模型推理和一键部署。这些包括传统的机器学习算法，时间序列算法，NLP算法，图形处理算法和计算机视觉。目前已广泛登陆工业和金融领域，腾讯云高级研究员尹迪将为您介绍智能钛机器学习平台在工业领域的具体实践。

腾讯云高级研究员尹迪行业仍然面临着比较多的问题，从用户的角度来看，生产工程师不会做数据分析、数据挖掘、图像处理、对象检测等工作。算法工程师对站点数据不熟悉，流程经验不足，无法进行相应的数据分析和建模。从数据的角度来看，工业工业是数据维度高、因素杂乱、数据类型多、难以识别的，真正的原因往往隐藏在海量数据中，多个因素协同作用。字符数据往往包含非常丰富的数据信息，在一般的工业机器学习建模过程中，字符数据是容易被忽略的类型。从实际的角度来看，往往会出现四个问题：算法的应用不明确，无法分析个性化的案例，人工智能无法有效地改善生产问题，以及如何报告自己的建模方法。

如上图所示，工业解决方案架构中的智能钛机器学习平台分为业务、大数据、AI、应用场景和前端显示五个层次。业务平台，包括物联网数据采集、边缘计算、业务系统和数据存储;大数据平台，包括计算引擎，大数据存储/加速层，大数据分析挖掘和消息访问层; AI平台包括智能钛机器学习训练平台和推理平台，提供数据预处理、特征工程、模型训练、模型推理和部署工作。应用场景包括虚拟测量、高效产量、寿命预测、真实原因分析、缺陷检测、图像分类等。前端显示器包括波拉图、等高线图、散点图等。在这个阶段，一般使用异常数据检测、时间序列数据检测、全功能数据检测、异常图像智能检测等功能。它还包括最佳路径搜索，产量测量和异常分析。异常分析的主要功能是在平台上出现异常后，追踪异常原因。从这五个层面上看，对行业实践又有什么价值呢？它主要包括六个方面：系统自动监控和报警;通过提高工作效率，对分析资料进行系统化管理，将异常发生到解决的时间从6h缩短到1h;提高成品率质量，通过异常因子分析、图像异常检测等方法，准确定位异常信息，早期发现和处理异常，提高成品率;减少人力投入，提高系统自动化程度，数据分析时间从60分钟缩短到5分钟。战略参考，智能地抽出最优路径，最优执行货运路径，10分钟内就能得到。降低故障成本，提高效率，加强异常拦截，及时发现异常，减少异常泄漏。正如我在文章开头提到的，开发人员的努力正在创造一个持续繁荣的国家人工智能生态系统。我们可以从参加研讨会的学生们的热情中看出这一点。Workshop Zero Code使用腾讯TBP构建智能对话机器人腾讯智能对话平台腾讯Bot Platform，聚焦“对话就是服务”的愿景，全面开放腾讯对话系统的核心技术，为大型企业客户、开发者和生态合作伙伴提供开发平台和机器人中间件能力，方便，以低成本实现人机交互体验和高效、多样化的行业赋能。腾讯智能对话平台

腾讯智能对话平台产品功能全景图如上图所示，腾讯智能对话平台全面开放了腾讯智能语音和对话系统技术。语音识别，语音合成，意图识别，实体提取，知识图谱，多轮对话状态跟踪，自然语言生成，服务决策和交付。腾讯云产品技术团队结合智能对话应用的使用场景，抽象出基础对话系统技术，开发多种机器人类型。它可以封装（例如，常用的任务机器人和提问机器人），满足不同的开发需求，并在开发期间通过意图管理、实体管理和问题管理，在不同类型的机器人物种中定义自定义语义模型。除了构建语义模型之外，该平台还为开发人员提供了用于机器人开发的全流程工具，包括服务连接和部署、Web模拟器测试、版本控制和发布、在线数据洞察和操作。同时，该平台还提供了强大的嵌入式对话功能和丰富的嵌入式实体库，并广泛应用于意图识别、实体识别、槽提取、知识问答、对话生成等业务流程，采用了Transformer、BERT、LSTM、VDCNN等行业领先的语义理解模型。该平台满足了不同类型的应用程序开发人员和合作伙伴的需求。对于应用程序开发人员来说，该平台连接多个应用程序通道，一次构建并无处不在，使开发人员能够专注于机器人业务逻辑和服务。对于微信运营商来说，平台和微信开放平台实现了对微信公众号的零码访问。对于传统客户服务和出站呼叫制造商等行业合作伙伴，该平台提供了机器人中间件API，帮助合作伙伴用机器人功能取代人类，实现从传统客户服务向智能客户服务的转变。腾讯智能对话平台将应对对话服务的高频场景，提供行业解决方案，助力行业多元化发展。本次研讨会的主题是利用腾讯的智能对话平台打造智能出行对话助手。在腾讯人工智能技术专家叶刚的讲解和指导下，现场开发人员深入了解了对话系统的核心原理、腾讯智能对话平台的特点和使用方式，最终完成了智能对话机器人的实际开发。练习结束后，现场开发人员的热情没有减弱，几个开发人员聚集在讲师周围，向讲师传达从零到一开发自己的对话助手的喜悦，并详细描述场景，征求他的建议，以改善对话体验。在研讨会上，现场开发人员也对平台体验提出了宝贵的建议。叶先生表示，团队将继续倾听开发人员的意见，并与开发人员互动，并致力于为开发人员提供最佳人机交互产品开发体验。

在这次技术沙龙中，每位讲师通过与现场开发人员的深入互动，获得了宝贵的建议。同样，在讲师的一对一指导下，现场开发人员对腾讯云的AI能力有了更深入的了解。当然，开发人员始终是技术发展的基础，无论是云计算、区块链还是人工智能。腾讯云理解开发者在平台技术发展中的重要性，将积极拥抱开发者，与开发者合作，共同打造人工智能技术更加先进的未来。