刘志杰 程驰 | 涉视觉的人工智能硬件专利分析
作者 | 刘志杰 程驰
柳沈律师事务所
目次
一、引言
二、智能视觉硬件领域专利分析
三、智能视觉硬件领域专利诉讼情况
四、结语
一、引言
人工智能领域的专利申请主要涉及六个子技术领域,即知识处理、语音、人工智能硬件、演化计算、自然语言处理、机器学习、人工智能视觉以及规划和控制。人工智能硬件是用于加速人工智能应用的计算硬件,包括专用集成电路(ASIC)、微处理器、微芯片和传统硬件如中央处理器(CPU)、图形处理器(GPU)以及支持在硬件中应用人工智能的现场可编程门阵列(FPGA)等细分技术方向。[1]其中,涉视觉的人工智能硬件又称计算机视觉,指让计算机以电子化的方式接收和处理图形或影像,以获取所需信息,实现类似甚至超越人类视觉的效果。智能视觉关键任务可分为语义感知、定位追踪和几何属性等技术方向[2]。当前商业化研究成果得到的较为热门的应用包括人脸识别、物体识别与分类、智能监控安防、医疗AI影像等多个赛道。
目前,智能视觉发展迅速,其中安全影像分析成为了智能视觉的主要应用领域,体现在智能安防、智能监控、医疗 AI 影像等各方面。2020年,智能视觉产品的市场规模最大,占据了整个中国人工智能市场的43.4%[3];而在2021年,智能视觉产品的市场占比进一步攀升至49.6%,规模达到了990亿元[4]。资本市场对于智能视觉创业企业的投融资也迎来热潮,截至2022年8月,中国智能视觉领域企业获投数量已达到292家。[5]根据中国机器视觉产业联盟的预测,智能视觉的市场规模还将进一步扩大,到2026年预计将突破543亿。[6]
近年来,随着国家和地方政策对人工智能领域的聚焦,智能视觉产业势头正盛,增量动力强劲。国家知识产权局《关键数字技术专利分类体系(2023)》将计算机视觉列为人工智能六大关键技术之一。《中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要》中将“前沿基础理论突破,专用芯片研发,深度学习框架等开源算法平台构建,学习推理与决策、图像图形、语音视频、自然语言识别处理等领域创新”作为科技前沿领域攻关的核心项目之一。
另一方面,智能视觉的技术基础也在不断突破和演进。智能视觉肇始自20世纪60年代,而直到近十年,大数据的出现和计算机算力的飞速发展才为以非结构化视觉数据为研究对象的智能视觉创造了巨大的发展机遇与挑战。
本文旨在从专利申请和诉讼的角度分析中国智能视觉行业的发展趋势,探究专利布局情况。结合政府政策和市场信息,本文拟从人工智能领域的一个技术路线(即智能视觉硬件技术)出发,通过分析其技术路线、专利申请情况、地域分布以及核心应用领域,尝试探寻中国智能视觉技术和产业发展的趋势和潜力。
二、智能视觉硬件领域专利分析
IncoPat专利平台检索到涉及智能视觉硬件的国内外专利及专利申请共53953条,经简单同族合并后共得到35444个专利族[8]。将该3万余专利族作为分析对象进行考察。根据图1显示的近20年以来全球智能视觉硬件相关专利在各目标国的申请量趋势,可以看出该领域在21世纪初的十年处于起步阶段,全球年申请量不足500件。而在2012年深度学习技术问世后,智能视觉领域迎来快速发展,专利申请也进入增长期,至2016年全球年申请量突破2000件。此后,随着人工智能领域的飞速发展和算法技术的不断迭代,智能视觉产业体量急速增加,2021年全球年申请量接近8000件,且从目前的申请动态来看,智能视觉领域专利申请尚未进入平台期[9]。
通过专利地域分布可以了解分析对象在不同国家技术创新的活跃情况,从而发现主要的技术创新来源国和重要的目标市场。从专利申请目标国分布来看,专利中国申请共计25872件,占比达75%,高于其他国家或地区。这一数据显示出智能视觉技术在中国市场的研发热度较高、专利权人注重在中国进行专利布局,且智能视觉产业应用前景广阔。在全球智能视觉硬件专利申请占据比重较大的其余国家主要为美国(14%)。此外,专利权人也在韩国、印度、欧洲专利局(EPO)、加拿大、日本等地积极寻求专利保护。
智能视觉硬件专利的中国主要申请人中,企业申请量占比为约50%(例如主要包括百度、腾讯、华为等企业),学校及科研单位占比为约25%(例如主要包括浙江大学、中国科学院自动化研究所、清华大学等高校或研究院),可以看出人工智能中的智能视觉技术同时为企业和学校、科研机构所关注。
在外国主要智能视觉硬件相关专利申请人前列 ,既有高通、亚马逊、IBM、英特尔和三星等传统通信与电子行业的老牌优势企业,也出现了康耐视(Cognex)等专攻机器视觉的领先企业,以及安霸(Ambarella)、Enlitic、以及创迈思(TrinamiX)等美国和欧洲聚焦于智能视觉在特定场域应用的创新型新兴企业,体现出具备技术实力的创业团队将行业最新的尖端技术投入产业,为医疗、驾驶、移动电子设备等场景的具体问题提供解决方案的潮流。
从技术路线分析,基于所解决的问题,智能视觉可以按照技术复杂度从低到高分为计算成像学、图像理解、三维视觉、动态视觉和视频编解码五大类别。[10]检索个细分专利技术的申请情况,其总申请量如表1所示。根据表1中列出的数据,可以看出图像理解技术的专利/专利申请数量相对最多,这是由于该技术起步较早,且技术相对更为成熟;而计算成像学、动态视觉和视频编解码等技术相关专利数量占比相对较低,这是因为该些技术起步较晚,目前仍处于发展阶段。
表1 智能视觉分技术路线申请情况
从上述检索到的智能视觉硬件相关专利的IPC分类出发,可以看出近年来的申请热点集中在图像分析(G06T7)、图像模式识别(G06K9)、图像或视频识别(G06V10)以及基于生物学模型的计算机系统(G06N3),这几项技术分支占比总计达到64.58%。在技术路线上主要涉及前述五大技术路线中的图像理解、动态视觉。对图像识别和分析的聚焦可能来源于人工智能产业链中的广泛需求,已在生活中普遍应用的人脸识别、指纹识别、虹膜识别、手势识别、物体识别等技术均需利用图像处理和基于生物特征的图像识别[11],上述技术作为智能视觉硬件的基础部分被应用到各个行业的多样化场景中,包括城市(城市安防、智慧交通)、企业(智慧楼宇、智慧园区)、金融(网点安防、认证识别、智能风控)、制造(工业质检、物流仓储、设备管理)、零售(客流分析、门店销售数据分析、无人售货机)、手机(图像处理SDK、人脸识别)驾驶(自动驾驶)等各大场景。[12]
三、智能视觉硬件领域专利诉讼情况
涉智能视觉硬件的专利诉讼代表案件包括最高人民法院2023年二审的一起涉及图像识别技术的北京某科技有限公司与山西钢铁公司等侵害发明专利权纠纷[13]。该案中,涉案专利为专利号为201910958596.9、名称为“一种收储中的废钢等级分类检测方法”发的明专利(以下简称涉案专利1)和专利号为201910958076.8、名称为“一种建立废钢等级划分神经网络模型方法”发明专利(以下简称涉案专利2)。涉案系统为“人工智能废钢智能定级系统”,被告山西钢铁公司将技术实现路径描述为“人工智能废钢定级平台通过现场摄像头对废钢车辆卸货过程进行实时拍照、逐层密集采样和图片处理,将采集到的各种图片输入定级系统,采用深度学习算法和智能识别技术,对卸货过程进行单层判级和最终整车判级,基于实时识别到的不达标废钢和杂质、异物,计算出整车扣重的预估值,同时给予异物报警提示。”
关于被告是否实施了侵害涉案专利权的行为,最高院认为,被诉侵权技术方案“通过现场摄像头对废钢车辆卸料过程进行实时拍照、逐层密集采样和图片处理”,至少不具备涉案专利1权利要求1中“所述车厢内碎钢料在电磁铁吸盘每一次吸起前散落状态的图像,是在电磁铁吸盘移出车厢后拍摄的图像”技术特征;被诉侵权技术方案“采用图像金字塔结构,结合高层语义信息与低层空间信息,检测不同尺度、不同形态的废钢料型和杂质”,至少不具备涉案专利2权利要求1中“对所述图像进行预处理去除无效水印、提高图像对比度,对图像数据进行图像数据特征提取,对提取的不同等级图像数据特征进行卷积神经网络学习形成具有等级分类输出的等级划分神经网络模型”技术特征,且根据北京某科技公司原审提交的《科学技术成果鉴定证书》,亦能证明被诉侵权技术方案所采用的语义分割模型算法不同于涉案专利2所采用的图像分类识别模型算法。最高院的上述分析显示在对图片处理和分析技术相关专利进行比对时,关注被诉侵权技术方案是否与权利要求的技术方案采用了不同的算法实现方式。
在另一起涉及AI辅助医疗系统的专利侵权案件中[14],涉案专利为名为“中医面诊分析与诊断系统”、专利号为201210147003.9的发明专利。涉案专利的权利要求包括七个模块。说明书显示,该系统通过中医望诊检测装置链接计算机,从模式识别的角度出发,通过对病人面部图像进行分割,直接对面部颜色、光泽、口唇进行定性定量分析,辅助中医诊断。被诉侵权产品名为“中医智能体质辨识镜”,包含有面诊采集页面,舌诊采集页面,面诊分析页面等。受检人使用该设备,面诊分析页面记载面色等信息。被诉侵权产品的设备说明中还显示 ,被告以中医临床样本大数据+病理模型+诊断模型+色彩校正模型为基础,利用现代新技术智能算法+AI人工智能+云计算等技术不断提升中医健康服务水平。
上海知识产权法院认为,首先,从涉案专利授权文本可知,该专利旨在解决背景技术中提到的受光线、温度等外部客观条件影响的技术缺陷。涉案专利实施例中也记载,涉案技术需连接中医望诊检测装置。综上,法院认为,涉案专利的技术方案实际上受“中医望诊检测装置”所形成的拍摄环境所限定,涉案专利权利要求1中的“和中医望诊检测装置相连”属于权利要求中的使用环境特征。根据《最高人民法院关于审理侵犯专利权纠纷案件应用法律若干问题的解释(二)》的规定,被诉侵权技术方案不能适用于权利要求中使用环境特征所限定的使用环境的,人民法院应当认定被诉侵权技术方案未落入专利权的保护范围。本案中,被诉侵权产品人脸图像采集系在开放环境下由受检者自行实施,受涉案专利背景技术提到的光线、温度等外部客观条件影响。被诉侵权产品人脸图像采集并不与“中医望诊检测装置相连”,因此,被诉侵权产品人脸图像采集不受“中医望诊检测装置”所形成的拍摄环境所限定,不具有权利要求1中的“和中医望诊检测装置相连”的技术特征。其次,涉案专利权利要求1包含信息采集模块、图像分割模块、面部颜色分析模块、面部光泽分析模块、口唇分析模块、数据管理与综合分析模块和诊断报告模块七个模块,各个模块系以其实现的功能来界定,同时限定了各个模块间的通讯连接关系以及各个模块的子功能或者说是运行步骤,但均未涉及各模块的具体结构,本领域普通技术人员仅通过阅读权利要求亦无法确定实现上述功能的具体实施方式,故前述模块应认定为功能性特征。说明书中并未涉及实现前述模块功能的算法。本案中,被诉侵权产品的使用过程不存在与前述用户显示界面对应的类似界面,两者亦无法进行算法的比对,甚至亦无法证明被诉侵权产品具有相应模块的子功能或者运行步骤。在此情况下,原告提供的证据不能证明被诉侵权产品具有权利要求1中的七个模块。因此,法院认定被诉侵权产品不具备上述两个技术特征,被诉侵权产品未落入涉案专利保护范围。
由该案可以看出,将嵌入算法的系统或硬件进行专利申请时,若将非必要技术特征(例如使用环境特征)纳入权利要求,可能会导致保护范围过于狭窄。此外,未详细限定图像提取和处理等具体实施方式和相应的算法存在较高被认定为功能性特征的风险,同样导致专利保护范围被限缩。
四、结语
智能视觉硬件在近年来随着底层算法技术的突破持续高速发展,各国企业在本领域内大量布局专利。其中,中国申请人已在全球专利申请中占据了主要部分,体现出智能视觉硬件技术及应用在中国市场收获的关注,也预示这一领域在未来一段时间内将作为热门研发方向。结合2023年以来国家和地方政策在智能制造领域的政策聚焦,可以预测智能视觉硬件行业具有良好的发展和投资前景。从具体的技术路线来看,图像理解技术属于当前该领域较为成熟的技术,其他分支如计算成像学、动态视觉等仍存在较大的发展空间,亟待研发团队激发活力。对比中外主要专利申请人发现,中国主体主要是以百度为代表的互联网企业及高校和科研单位,而外国主体除了通信电子行业的老牌优势企业外,还涌现出大量细分行业创业公司,说明人工智能技术(在本文的场景中为智能视觉硬件技术)在国内外都是创新和科技发展的热点,有着充分的市场前景。
* 感谢实习生侯依杨对本文作出的贡献
注释(上下滑动阅览)
[1] 科睿唯安:《发现人工智能硬件专利布局中的空白,提升市场份额》,第5页。
[2] 艾瑞咨询:《2022年端边云协同的AI视觉产业研究报告》,载“艾瑞咨询”公众号,2023年3月25日。
[3] 卓戴行研:《人工智能之智能视觉篇》,载“卓戴资本”公众号,2022年8月15日。
[4] 同前注1。
[5] 同前注1。
[6] 中国信通院、华为:《AI视觉赋能智造白皮书》,第9页。
[7] 前瞻产业研究院:《预见2024:计算机视觉产业技术趋势展望》,载“前瞻产业研究院”公众号,2024年1月10日。
[8] 此处“专利族”的数据统计口径是指基于IncoPat检索数据进行简单同族合并后的数据。
[9] 因专利申请的公开时间需要18个月,因此2022年后的数据尚不完全。
[10] 同前注7。另一种分类方式参见姚作芳等:《计算机视觉各技术分支专利分析》,载《高科技与产业化》,2020年第4期,第50-51页。该文将计算机视觉技术分解为基于视觉的生物特征识别技术、超越人类视觉能力的感知获取技术、超越人类视觉能力的运动追踪技术、视频在线分析与图像分析理解技术和三维场景重建技术。两分类有重叠,考虑到“生物特征识别”带有应用的性质,以及该文分类确定检索关键词比较困难,故选用了正文的这一技术路线划分方式。
[11] 姚作芳等:《计算机视觉各技术分支专利分析》,载《高科技与产业化》,2020年第4期,第51页。
[12] 同前注7。
[13] 最高人民法院民事判决书,(2023)最高法知民终1432号。
[14] 上海某医疗科技有限公司、和上海某健康科技有限公司侵害发明专利权纠纷,上海知识产权法院(2021)沪73知民初222号。
来源:柳沈律师事务所
编辑:Sharon