UiBot Creator5.3.0 beta2社区版更新内容
当前版本:5.3.0 beta2
一、 整体
l Mage AI新增验证码识别、标准地址、文本分类、配额信息等命令模块。
l Mage AI命令模块新增17个获取识别结果信息命令和4种PDF识别命令。
l Mage AI向导新增通用表格识别和支持PDF文件识别。
l 新增【压缩文件或文件夹】命令,支持将多个文件/文件夹压缩为zip文件。
l 新增【解压zip文件】命令,支持zip文件解压。
l 新增【二维码识别】命令模块,支持QR二维码识别。
l 新增【判断窗口是否存在】命令,支持判断窗口是否存在。
l 优化通用文件命令模块,支持自动识别字符集编码,写入文件时文件不存在会自动创建。
l 新增【IMAP】命令模块,支持以IMAP协议接收和处理邮件,并可根据邮件头(主题、收件人、发件人、抄送人)信息被包含关键字筛选邮件。
二、 新增与修改
1. Mage AI命令新增验证码识别、标准地址、文本分类、配额信息等命令模块。
本次更新版本新增了验证码识别、标准地址、文本分类、配额信息等新Mage AI功能。无需填写Pubkey和Secret,社区版用户通过账号登录后,可以直接配置Mage后使用。
l 验证码识别
使用Mage AI验证码识别通用和指定类型验证码。默认通用引擎GENERAL,如需指定场景识别,在Mage AI配置处切换对应的验证码识别器。
¡ 屏幕验证码识别
使用屏幕截取或选择的目标+范围的图像识别含验证码,返回结果为字符串格式。
¡ 图像验证码识别
使用本地图像识别验证码,返回结果为字符串格式。
l 标准地址
对输入的非标准的地址进行地址补全和标准化地址。可用于物流、快递等需要标准地址的业务场景。
¡ 地址标准化
将地址进行标准化,支持输入多个地址,以\n隔开,以数组格式返回标准化后的地址信息。
¡ 提取地址信息
先遍历循环地址标准化命令返回结果,然后从遍历结果中提取指定类型的地址信息。可提取完整地址、省、市、区县、街道、详细地址、POI名称。
l 文本分类
对指定文本进行分类,需先前往Mage添加训练类型,包含基础分类和智能分类2种训练引擎。
¡ 文本分类
对指定文本进行分类,需提前在Mage后台训练分类模型。返回数组,每个数组元素包含类别与置信度等信息。
¡ 获取排名结果
获取文本分类的排名结果,返回置信度分数大于等于指定阈值和取前几名的分类结果,类型为数组,数组的每个元素即为识别的类别结果。
l 配额信息
获取指定Mage AI能力的剩余配额数。在自动化流程中,可用于提前预判剩余配额额度。
¡ 获取剩余配额
返回当前识别器对应AI引擎的剩余配额。
2. Mage AI命令模块新增17个获取识别结果信息命令和4种PDF识别命令。
本次更新将上个版本的提取信息命令拆分为17个获取识别结果信息命令,方便用户直接通过双击或拖拽的方式直接使用AI的相关操作。其中对上个版本的PDF识别命令拆分到AI能力的模块中,提升使用的便利性。详情如下
l 通用文字识别
¡ PDF文字识别
指定PDF页码转为图片后通过Mage AI通用文字识别,返回结果数组。在识别多页过程中如果其中一页失败则整个识别会失败,且会消耗配额。
¡ 获取全部文本
获取通用文字识别结果中的全部文本。可以设置换行和不换行的结果返回。
¡ 获取段落文本
获取通用文字识别结果中按段落划分的全部文本。
¡ 获取每行文本
获取通用文字识别结果中按行划分的全部文本。
¡ 获取所有文本元素
获取通用文字识别结果中按文本元素划分的全部文本。
l 通用表格识别
¡ PDF表格识别
指定PDF页码转为图片后通过Mage AI通用表格识别,返回结果数组。在识别多页过程中如果其中一页失败则整个识别会返回错误,且会消耗配额
¡ 获取非表格文字
获取表格识别结果中的非表格文字信息。
¡ 获取所有表格
获取表格识别结果中的所有表格信息(不包含非表格文字),返回表格对象的数组。
¡ 获取表格数
获取表格识别结果中的所有表格数(不包含非表格文字数),返回数字。
¡ 获取指定表格
获取表格识别结果中的指定表格信息,返回表格对象,该对象为二维数组。
¡ 获取表格区域
从表格对象中的获取表格的区域信息,返回二维数组。
¡ 获取表格行数
从表格对象中的获取表格的行数,返回数字。表格对象可使用"获取指定表格"命令的返回变量。
¡ 获取表格列数
从表格对象中的获取表格的列数,返回数字。表格对象可使用"获取指定表格"命令的返回变量。
¡ 获取表格行
从表格对象中获取指定表格整行信息,返回一维数组。表格对象可使用"获取指定表格"命令的返回变量。
¡ 获取表格列
从表格对象中获取指定表格整列信息,返回一维数组。表格对象可使用"获取指定表格"命令的返回变量。
¡ 获取表格单元格
从表格对象中获取指定表格单元格信息,返回字符串。表格对象可使用"获取指定表格"命令的返回变量。
¡ 提取表格结果至Excel
将Mage AI"屏幕表格识别"、"图像表格识别"、"PDF表格识别"命令的识别结果直接提取至Excel文件中。其中属性配置支持过滤非表格文本。
n 不过滤非表格文本将会把识别图像上的所有非表格文字和识别的所有表格全部写入Excel中。
n 选择过滤非表格文本,会将图像中识别的多个表格分别按索引顺序写入Excel中的每个Sheet页中。方便继续对每个表格做单独Excel操作。
l 通用多票据识别
¡ PDF多票据识别
指定PDF页码转为图片后通过Mage AI通用多票据识别,返回结果数组。在识别多页过程中如果其中一页失败则整个识别会返回错误,且会消耗配额
¡ 获取票据类型
获取通用多票据识别结果中的票据类型。
需输入票据识别结果,来源:使用遍历"屏幕多票据识别"、"图像多票据识别"、"PDF多票据识别"命令输出到的变量的值。
¡ 获取票据内容
获取通用多票据识别结果中的票据内容。
需输入卡证识别结果,来源与获取卡证类型一样。
l 通用卡证识别
¡ PDF卡证识别
指定PDF页码转为图片后通过Mage AI通用卡证识别,返回结果数组。在识别多页过程中如果其中一页失败则整个识别会返回错误,且会消耗配额。
¡ 获取卡证类型
获取Mage AI通用卡证识别结果中的卡证类型。
需输入卡证识别结果,来源:使用"屏幕卡证识别"、"图像卡证识别"命令输出到的变量。如是"PDF卡证识别"命令输出到的变量,则需要先遍历指定页后,使用遍历的值。
¡ 获取卡证内容
获取Mage AI通用卡证识别结果中的卡证内容。
需输入卡证识别结果,来源与获取卡证类型一样。
3. Mage AI向导新增通用表格识别和支持PDF文件。
本次更新增加了通用表格的向导和图像来源支持PDF指定单页或全部页识别。可对图像的表格和非表格文字进行灵活提取。
l AI模块增加通用表格识别选择。
l 选择图像来源(新增PDF选择)
¡ 选择目标调整
n 初始化默认选择目标,其次才是选择图像。
n 查找目标需支持元素级抓取。支持灵活切换窗口、元素、截取区域。
n 目标是窗口、元素时,以目标的矩形范围为识别标准。默认禁用识别范围输入,默认值为{"height":0,"width":0,"x":0,"y":0}。
n 目标是截取的范围时,是以目标矩形区域+范围为准,默认启用识别范围输入。
n 用户修改识别范围为{"height":0,"width":0,"x":0,"y":0}时,以目标的矩形范围为准。
¡ 选择图像调整
n 图像路径支持输入,除了基本图片格式判断外,还支持@res格式。
n 当拖入或选择本地图像时,同步选中图像路径并在输入框显示地址。
n 支持变量输入。选择变量时,变量输入框默认为空,图像显示区域变为该图像不能预览,且不能校验通过,变量输入框不为空且符合变量格式时,校验可以下一步。
n 当切换图像路径时,如已选择过,则保留图像地址的信息和图像显示信息。
¡ 新增选择PDF
n 支持拖入和选择添加PDF格式的文件。支持预览效果。
n 支持设置PDF打开密码。
n 文件路径支持修改,但仅支持PDF格式的,限制最大10000字。支持输入变量,不会预览。
n 支持选择全部页和指定页,页码范围输入支持输入正整数和按数组格式输入如[1,3,5] 或 [1,[3,7],9],分别表示第1、3、5页或第1页、3到7页、第9页。
l 提取表格信息
¡ 完整提取
n 提取完整信息至Excel,提取图像中所有信息并直接写入至Excel文件中。默认支持 “.xlsx”, “.xls”, “.xlsm”, “.xlsb”, “.csv”格式。
n 提取全部表格至Excel,
n 提取全部表格,提取图像中的全部表格信息(不包含非表格文字)。
¡ 自定义提取
支持提取区域,包含以下几点
n 指定区域,指定表格的部分区域,返回二维数组。
n 完整区域,指定完整表格区域,返回二维数组。
支持提取指定表格的整行信息。
支持提取指定表格的整列信息
支持提取指定表格的单元格信息
支持提取指定表格的非表格文字
n 包含全部或指定序号的文字。
4. 新增【压缩文件或文件夹】命令
UiBot中一直缺失压缩文件或文件夹命令,大部分用户只能通过界面自动化的方式去操作压缩工具,仅少部分用户掌握使用自定义插件,以此来满足压缩文件场景。现在以zip格式为前提,在"文件处理-通用文件"模块下新增"压缩文件或文件夹"命令,并支持"压缩密码"、"压缩级别"可选,正常执行此命令后可生成指定名称且为zip格式的文件,若存在同名文件会直接覆盖。
属性"文件或文件夹"支持字符串和数组格式,即压缩单个文件为字符串格式——被压缩的单个的文件路径;压缩多个文件为数组格式——数组的元素为每个被压缩的文件路径;压缩多个文件和多个文件夹也为数组格式——数组的元素为每个被压缩的文件路径和文件夹路径,但需要自行拼接,可视化中仅支持选择单个或多个文件进行压缩。
注意事项:"压缩至"属性在点击弹出保存文件对话框后,须自行设置文件名后缀为".zip",否则会报出异常信息——"错误的压缩类型"。
5. 新增【解压zip文件】命令
在"文件处理-通用文件"模块下新增"解压zip文件"命令,可对"压缩文件或文件夹"命令生成的压缩(zip)文件进行文件解压,并支持输入密码解压,若解压路径下存在同名文件会被直接覆盖。
6. 新增【判断窗口是否存在】命令
在编写RPA流程时,常见使用"判断元素是否存在"命令,做一些前置条件判断,而元素可能有变化或者经常变化,这样会导致维护更新流程的工作量提高,影响RPA的产出效益。故在"界面操作—窗口"模块下新增"判断窗口是否存在"命令,让前置条件判断更符合实际场景,逻辑更加严谨,有益于RPA流程的健壮性。如下图以WPS工作表为例,可以判断标题为"工作簿1"的窗口是否存在,若存在则会快速返回True,搜寻一定时间后若不存在则返回False。
7. 优化【读取文件】命令
优化"文件处理-通用文件"下的"读取文件"命令,字符集编码属性新增支持"自动识别",且为默认状态,这样让用户不必思考编码转换(分散精力用工具去查看字符集编码),而是更多精力关注在业务处理上,在一定程度上提升易用性。
8. 新增【IMAP】命令模块
常用的电子邮件协议有SMTP、POP3、IMAP4,为补全自动化支持,特新增IMAP模块,以IMAP协议接收和处理(移动、删除)邮件,共计有8个命令,在使用这些命令之前,一定要在目标邮箱服务器中开启IMAP服务以及设置。
l 连接邮箱
以QQ邮箱为例,使用IMAP协议连接邮箱服务器,配置信息:服务器地址为imap.qq.com,端口号为993,SSL加密为是,登录帐号这里若为QQVIP邮箱请填写登录帐号,若为普通邮箱则与邮箱地址一致。
单独选中运行此命令,连接成功后可看到如下图所示类似的输出:
l 获取邮箱文件夹列表
此命令是一条辅助命令,用来从邮件服务器上拉取邮箱文件夹列表信息,从而知晓其他命令中属性"邮箱文件夹"所需要的的值。
"原始报文"选择"是",本命令和"连接邮箱"命令一起选中运行时,可看到如下图所示的输出信息:
"(\\NoSelect \\HasChildren) \"/\" \"其他文件夹\""这块信息有一个特别的提示——NoSelect,代表在移动、接收邮件时,此处的文件夹是不可选的(若故意操作则会抛出异常信息),来看看实际Web界面中是显示的哪些邮箱文件夹:
"我的文件夹"对应原始报文中的"其他文件夹"、"收件箱"对应原始报文中的"INBOX"、"已发送"对应原始报文中的"Sent Messages"、"草稿箱"对应原始报文中的"Drafts"等等,知道这些规律后,后续的IMAP模块命令就知晓"邮箱文件夹"的填写值了。存在规律的原始报文可直接提取出邮箱文件夹列表,如下图所示:
l 获取邮件列表
获取邮件列表时可仅获取未读邮件,且可对未读邮件设置为已读状态,这是区别于POP协议的地方,须与"连接邮箱"命令一同运行。
若"邮箱文件夹"处填写"其他文件夹/test",因为本身此文件下不存在邮件,所以会返回空数组。此命令返回的数组中元素(存在邮件)即为邮件对象,移动邮件、删除邮件、下载邮件中的附件都要依赖它,所以也是需要结合一同运行使用。
l 移动邮件
指定邮箱对象、目标邮箱文件夹、邮件对象后,即可移动邮件,但非"获取邮箱文件夹"命令返回的邮箱文件夹,是不能被成功操作的,且"NoSelect"标记的文件夹也不能。
l 查找邮件
在指定邮箱文件夹里,支持筛查包含邮件头关键字(主题、发送人、收件人、抄送人)信息的邮件,返回包含查找关键字的所有邮件(邮件数量受邮件服务器端设置影响),这也是区别于POP协议的地方。
l 下载附件
根据指定的邮箱对象、邮件对象、存储路径,可下载该邮件中的所有附件,并返回由所有附件文件路径组成的数组,方便后续的命令处理。这里跟POP协议中的"下载附件"用法相同,一样要结合相关命令才可执行。
l 删除邮件
指定邮箱对象、邮件对象,删除对应的邮件,执行后则在邮箱服务器中直接完完全删除了(除非邮件服务器开启了限制客户端删除邮件)。
l 断开邮箱连接
使用完IMAP的所有操作,最后"约定俗成"使用"断开邮箱连接"命令,断开服务器连接。
9. 优化【鼠标点击目标】命令
"鼠标键盘——鼠标"模块下"点击目标"命令,新增"平滑移动"属性,若选择"是",当选择操作类型为"模拟操作"时,鼠标会平滑移动至目标位置后执行点击(后台操作和系统消息不移动),用于兼容特定界面上元素需要鼠标平滑移动过去才可点击的情况;默认选择"否",兼容历史版本且不改变原来的执行效率。
10. 新增【二维码识别】命令模块
QR码(全称为快速响应矩阵图码;英语:Quick Response Code)是二维码的一种,在日常工作的文书、标签以及生活消费中非常常见,即人们口头常说的"扫二维码"就是扫QR码。UiBot为补足此缺失场景,特在"界面操作"模块下新增"二维码识别"模块,并包含"图像QR二维码识别"、“屏幕QR二维码识别”命令,分别用来识别图片、屏幕区域中的QR码信息(支持多个QR码识别),即返回字符串数组。
三、 产品优化
l 离线激活码输入体验优化,规范输入激活码格式。
l 优化关于界面样式,更规范统一。
l 优化整体表单组件的操作体验。
四、 BUG修复
l Outlook :修复了会全部邮件标记为已读的bug
l 编辑器: 修复了重复的关键字导致crash的问题
l Excel:修复了打开工作簿命令大小写敏感的bug
l UiBot浏览器:修复不能正确抓取数据的问题
五、 已知问题
l 使用【执行宏】命令在WPS上操作时,可能遇到WPS提示”未安装VBA支持库,无法运行文档中的宏。“可以查看WPS官方解决方案,点击查看
l imap协议搜狐邮箱一直配不上去/Outlook邮箱官方要求是用TLS协议才能连。
l 二维码识别命令对于部分清晰度不高、有污损或者角度倾斜到一定程度的图片,无法识别。暂时也不能确定亮度、锐利化、对比度三个值最优的取值范围。
l Mage识别命令未支持命令联想。
UiBot Creator 5.3 Beta版更新日志:点击查看