免费淘宝图片处理软件,淘宝图片制作教程）

2022-08-07 15:24:21 浏览数: 关键词: # 免费淘宝图片处理软件 # 淘宝图片制作教程）

免费淘宝图片处理软件,淘宝图片制作教程）

近年来,内容业务在行业蓬勃发展.淘宝也在积极进行内容化转型,今天我们邀请到阿里巴巴淘系技术高级算法专家——王立波（庄恕）,回顾淘宝从图文到短视频直播的发展历程,介绍音视频算法在其中的应用和未来的投入方向包括编解码、视频处理、音频通讯与互动.

文 / 王立波（庄恕）

整理 / LiveVideoStack

很高兴与大家进行交流与分享,首先介绍一下自己,我是来自淘系技术部的王立波,花名庄恕,今天分享的主题是音视频算法在淘宝中的应用.刚接到这个任务时,觉得题目特别大,可以讲的东西特别多,经过考虑我还是决定集中讲3个观点,可以为大家介绍得更详细.

这三个观点分别是：视频压缩有效降低成本（这个观点在业界应该已经被大家所接受）、视频处理提升画质体验（随着阿里云的窄带高清的推广,也逐渐被大家接受）、音频技术是新的生产力（这是淘宝过去1-2年发力探索的方向,希望能够为行业带来新的思考）.

01 业务介绍

首先我简短介绍一下淘宝的内容业务.随着通信技术的发展,互联网内容生态从2G时代的文字,过渡到3G时代的图片,再到4G时代的直播和短视频；对于淘宝来讲,同样也面临“内容化”的全面升级.

淘宝从PC走向移动,从图文走向直播短视频,从传统电商走向内容电商再到发现电商、兴趣电商.在过去的2020年,淘宝直播的GMV突破4000亿,去年双十一一天之内有超过7亿人次观看淘宝直播；2020年底随着点淘,逛逛的推出,短视频成为内容业务发展的新引擎；在这个飞速发展过程中面临巨大的成本压力.

02 视频压缩有效降低成本

2.1 从图片压缩说起

第一个观点,视频压缩有效降低成本.

说起编解码,可能不得不先提图片压缩了,这是一张小小的商品详情图,在直播短视频兴起之前,图片是大家获取信息主要手段,随着用户增长,成本压力越来越大,过去几年中,淘宝图片日均播放量超过千亿次,如果通过降低质量来降低成本会牺牲大家的体验,所以我们希望依靠技术升级来提高压缩效率.

2.1.1 图片压缩标准的演进

大家应该很熟悉图片压缩.图片压缩实际上是一个去除空间冗余的过程,从标准发展上来看,主要经历了JPEG,基于VP8内核的WebP,以及HEVC MSP三代.

这里我对各种格式做了一个简单总结,JPEG是目前使用最广泛的图片压缩标准,从1992年公布至今已经接近三十年,它非常简单高效.10年前左右,Google基于VP8内核发布了WebP格式.WebP在块划分,预测,变化,量化,熵编码方面比JPEG更优,且增加了Deblock功能；HEVC则比WebP更进一步,通过多个工具的升级来提升压缩效率,另一方面,由于Tile划分及Wpp技术的引入,HEVC给Codec工程实现提供很多并行化的手段,这对现代多核CPU来说比较友好.

为了比较三种格式在不同场景数据集下的压缩效率,我们设计图中实验.得出的结论是WebP比JPEG大约提升29%的压缩性能,HEVC对比JPEG大约提升接近50%压缩效率.

2.1.2 淘宝自研APG格式

APG是淘宝自研的图片格式,有三个特点.第一,有非常高的压缩效率,对比JPEG节省50%码率,非常接近HEVC；第二,高效率的移动端解码器,对比Webp减少20%解码时间；第三,支持Alpha通道和动图,动图被广泛使用的是GIF格式,而GIF没有考虑到帧与帧之间的相关性,压缩效率不高,而APG对比GIF节省10倍体积；

除此之外,我们对整个系统的架构方面也进行了大量工作,比如高并发实时响应、CDN的下发策略、存储和计算分离,多内容灾等策略,最终实现了淘宝千亿级的实时图片处理系统,在大大节省业务成本的同时也保障了画质体验.

2.1.3 内容业务进化为视频为主

随着内容业务的进化,视频和直播占据了主要流量.一方面信息表达从空间维度拓展到时间维度,另一方面,分辨率也提升到720P,1080P甚至4K,消费时长也成倍增长,（刚才陈老师有数据,每个人花费在视频的平均时间可能有好几十分钟）.我们也知道,每一代视频压缩标准相比上一代有50%的码率节省,从MPEG4到H.264/AVC到H.265/HEVC,再到去年发布的的H.266/VVC,很自然我们会想到通过升级编码标准来节省视频成本.

2.1.4 HEVC在视频业务落地挑战

首先我们探讨一下HEVC在视频业务落地的挑战.HEVC标准在2013年公布已有8年时间,但直到最近几年才在业务上大规模落地,这里主要有以HM下几个原因：

首先是编码速度,H265的官方模型HM,在普通PC上编码720P视频时只能达到0.1fps,想象一下,压缩一段十分钟的视频需要花费一天甚至几天的时间.业界最好的开源编码器X265,在慢速档也只有6.8fps,距离30fps实时编码的需求有相当大的差距；

其次是编码质量,由于复杂度的原因,X265仅比X264节省18%的码率,远远达不到HEVC相比AVC理论上的上限值（HEVC标准在设计时以50%的码率节省为目标）；

第三是码率控制,业界有许多场景的码率控制方法,比如ABR、CBR、CRF,但现在实时音视频的业务场景非常复杂,无法直接使用这样的码率控制方法；

第四是解码的兼容性和性能,也是大家普遍关心的问题.用户观看环境多种多样,有Android、IOS、Web的H5观看,H265在H5上的支持不太好,限制了它的发展,硬解设备兼容性也不完善,所以在解码兼容性方面也面临着很大的挑战.

2.1.5 S265编码内核优化

S265编码器是2017开始研发的,花费三年多时间使之达到较好的状态.我们主要在编码工具、快速算法、工程优化、码控方法、框架优化方面做了大量的优化工作从而提升压缩效率和编码速度.

下面为大家详细介绍一下速度优化的相关技术.

1、Cu深度预测算法,HEVC的块划分从64划分到8*8,深度有4层,如何预测出CTU的划分深度是具有挑战性的事情.HM为了确保编码性能会对每一层都计算其RDcost,我们这里结合纹理复杂度、时空域相邻块及前处理运动信息,做到比较准确的Cu深度预测.进一步深度预测方面有许多研究,比如一些机器学习,深度学习的方法能够精准预测块的划分层级.

2、自适应的EarlySkip算法和RecursionSkip算法.这两个算法比较类似,EarlySkip的目的是在本层跳过其它模式的计算,而RecursionSkip目的是跳过当前层不再Split.X265也有类似的技术,我们比X265更进一步,做RS时会同时考虑skip和merge模式子块的satd,做ES时,会同时考虑最佳模式的cost大小避免残差过大,我们的结果做到在相同速度条件下对比X265相当程度的节省码率.

3、All Zero Block的检测.如果一个块经过量化后是全零块,就没有必要进行RDO及编码了,但怎样预测一个块是All Zero Block.我们发现一种方法可能适合于一种大小的块,在8*8中比较准确,但放在32*32中不可用,所以要根据块大小及内部纹理强度,更加精确地预测出是否是All Zero Block.

4、Fast Intra Prediction.这个技术有很多人研究,H.265总共有35种预测方式,如何快速找到预测角度,有许多相关论文.我们使用Bayes估计模型,在横向及纵向找到准确方向,再去做细分角度预测,提高角度预测的速度.

5、分像素的搜索.传统的分像素的搜索在整像素最佳点上下左右找4或8个点,相对来说计算量比较大,根据整像素结果通过误差平面估计模型推导出分像素点的位置,从而节省分像素的计算个数.

6、多参考帧的选择.为了提高压缩效率,现在的编码器会选择更多参考帧,比如在一个方向选择3到4个参考帧,我们会根据参考帧的质量,距离来做加权,选择适合的参考帧.在拿到一个比较好的结果后如何提前跳出其它参考帧的遍历？多参考帧是提升压缩质量的一个很好选择,但需要避免计算复杂升高.

7、Distortion的快速估计.在RDO过程中要对误差进行仔细估计,如果用传统下的SATD做的话,效率不高,但如果做完整的RDO计算非常耗时,所以我们有残差的预估模型,从量化后的系数中用模型推导出Distortion的结果避免再做反量化,反变化.还有像Bits估计,RDCost的另一个分量是Bits代价,用一次完整的熵编码会非常耗时,如果用一个分段线性模型能够估算出来Bits来,我们就可以快速做出RDO的计算.

其它的比如Deblock,SAO优化偏一些工程方面手段.

除了快速算法之外,我还对压缩性能做了一些总结,速度不变的前提下,相比于X265,我们有>30%的性能增益.我们的编码器在以下几个方面有性能收益：

1、第一个码率控制.码率控制的目标是把码率分配到更有价值的地方.它分帧级别码控和块级别码控.在帧级别码控中,我们对I帧码控和P帧码控做了精确的预分析,在块级别码控中,我们设计了增强型的Cu-tree算法.

2、分层B帧以及参考结构的优化.分层B帧在实现方面不难,对压缩效率方面有大的帮助.前面介绍了GOP结构的优化,我们会对参考帧的选择会做权衡.

3、大家知道在静止场景下,分层越多压缩效率越高,但在运动场景就不那么有效,所以我们实现了自适应的GOP Size,并自研了Scenecut算法.能够适应不同运动强度、场景切换的需求包括淡入淡出的需求.

4.此外,在Bi-Search,GPB,LTR这几个工具,在开源软件X265是没有的,但对提高预测效率很有帮助；MCTF工具对编码噪声的去除非常有帮助,我们将这几个技术加入到S265之后获得了5%以上的BD-rate收益.

5、2-pass是在求解一个全局最优的Qscale,它在离线转码场景中被用到,允许对视频做更多分析,但在求解过程中,失真度量是MSE,我们对度量函数进行了重新推导,获得5%压缩性能；

6、Dynamic CRF和Pboffset,常规做法是是固定帧级P,B帧的Offset,我们会根据帧的复杂度来调节帧级QP值；

7、AQ和RDO的代价计算通常基于MSE,但如果是针对SSIM指标的话,可以推导SSIM的模型,RD也一样.

8、针对会议场景,我们还实现了IBC工具,对PPT投屏有帮助.并专门设计了对屏幕内容优化的搜索算法,传统的快速算法如菱形搜索、六边形搜索在SCC场景下效率很低,很难找到最优解,但如果用自研的算法搜索就有较好的效率提升.

上述是S265技术的介绍,记得在2016年的时候,金山KS265第一次参加MSU比赛获得了非常好的成绩,后来国内有不少同行参赛也获得了不错的名次.阿里巴巴S265从2017年开始投入研究到2020年首次参加MSU比赛, 我们在比赛中获得了3项第一：1080P 30FPS PNSR指标第一、1080P 1FPS PNSR指标第一、1080P 30FPS主观质量第一.

2.2 场景自适应编码

除了核心编码器之外,在编码器应用方面,我们还自研了一套场景自适应编码方法,分为三个步骤：

1、视频分析：利用机器学习方法做视频切分,并得到高层语义分类,比如动画,体育,秀场,商品介绍等；

2、另一个维度看利用信号分析手段检测出视频的底层特征,比如运动强度,纹理特征,噪声强度,亮度特征等,根据高低维度信息决定编码参数.

3、自适应决策引擎（ADE）：根据语义特征和信号特征以及网络状况,决策出最佳编码参数组合.这个决策过程被建模为一个带约束优化模型；

2.3 S265解码提升覆盖率

一直以来,H265的解码兼容性是大家关心的话题,假如生产端编码出265码流,但播放端不能支持265解码,需要在服务端转码成264格式,这不仅不能减少CDN带宽,反而会增加转码成本.在解码这一侧我们做了很多工作：

1、硬解码适配.对市面上基本所有机型（>1000款）都进行了适配；

2、自研高性能Native H265解码器,在小米5 720P的设备上做测试得到240帧左右的速度,通过很低的功耗实现实时解码.

3、H5的解码.H.265在H5中没有支持,我们基于WebAssembly技术来支持H5的播放.目前可以做到在i7电脑上1080P 30fps的实时解码,CPU消耗在30%以内；

2.4 淘宝编码器落地历程

基于以上的编解码内核和应用方面的探索,我来介绍一下淘宝编码器的落地历程.2017年开始投入S265的研究,经过一年多时间,开始在直播业务的落地；2019年的Q1第一版上线后结果不算太好,大约节省30%码率；2020年Q1第二版上线后节省40%码率；今年的Q1第三版结合窄带高清技术实现了50%码率节省.短视频方面,我们尝试将S265应用到淘宝短视频转码,2019年Q3第一版上线,2020年上线第二版.

基于在S265核心编码器上的积累,我们从2020年Q2开始了S266编解码器的研发工作,并率先在行业内公布了可商用的S266解码器.

解码器方面对比VTM实现单核3.5倍提速,多核16倍提速；在高端的手机（IPhone12、P40）实现4K 30FPS解码,低端手机720P双核实现30FPS解码.720P内存消耗<35m< span=””>和Binary<1m< span=””>,对大型APP来说非常关键,包过大时安装下载会受阻.

我们内部正在做VVC编码器,目标是1FPS Slow档对比X265 Veryslow节省50%码率；30FPS Fast档对比X265 Medium节省40%码率.大家知道VVC比HEVC会更慢,一段1分钟的4k视频用HEVC的HM压缩需要几天,而如果用VVC的VTM则可能需要一个月,时间消耗会非常长.目前我们Slow档已经做到比VTM提升100倍速度但是压缩效率接近.

总结一下,淘宝的S265智能编码方案目标是让视频更清晰,覆盖所有业务场景,包括图片压缩、会议SCC、直播、云转码甚至云游戏.

业务策略上包括场景分类自适应、智能码控、针对不同场景的延时需求,做延时的适配及优化（在非常低的延时下达到接近不限延时的压缩效率）、算力自适应（根据不同的设备自适应调节编码的速度档次）.

编解码内核包括码控及前处理、编码工具集、快速算法,编码框架等优化.

系统平台包括基于ARM平台的（armV7/arm64）及X86实现（SSE/AVX）、目前在考虑基于FPGA、ASIC的实现,还有质量评价系统和训练集群来辅助编码器研发.

03 视频处理提升画质体验

下面介绍视频处理提升画质体验的观点.

3.1 视频处理提升画质

视频失真来源于很多方面：包括过曝失曝、缩放、失焦、频闪、色彩损失、压缩损失、噪声、抖动、帧率下采样.我们有自己的视频增强工具集做对应适配比如去块失真（DeBlk）、超分辨率（偏向端侧的和服务端不同版本的模型）、纹理细节增强、视频去抖（DEI）、色彩增强、暗光增强、时空域去噪.

3.2 淘宝短视频窄带高清转码

淘宝短视频的整个转码迁移到窄带高清技术上,从视频生产链条分为内容编辑、上传（上传要求上传成功率高、速度快,我们有多PASS上传,切分上传、转码、审核（有低质、失真视频需要筛选）、播放（根据播放设备能力做后处理及渲染）.

向大家介绍一下转码服务,它的核心技术是窄带高清和S265,分别有两个视觉处理模型.首先是窄带高清的处理模型包括质量分类,细小纹理去除、脱焦区域弱化（节省码率）、易感知纹理增强（增强视觉体验）、人脸保护（避免过度增强引起体感不好）、马赛克修复、去隔行扫描.S265视觉压缩模型有三个点,人眼感知与失真拐点（BD-rate曲线刚开始较陡,向后较缓,要找到高性价比的点,感觉不出更多的失真又可以达到合适码率）、码率与分辨率甜蜜拐点（不同码率在不同内容上适合于不同分辨率压缩.如果一个非常低的码率300K强行压缩1080P出来都是块主观体验很差,如果压缩540P、360P可以获得更高的视觉体验）、场景分类编码（不同分类场景适合不同编码参数、码率的选择）.

3.3 电竞场景中的美颜

在内容生产中美颜作为一项基础功能,已经被人们广泛接受,但是常规美颜在电商场景中存在一些问题,比如过度美化,商品变色,背景模糊,资源消耗大等等；在PixelAI美颜中,我们使用了Face3D重建来保障形变的自然,使用AI肤色模型来保证美颜不会伤害到背景和商品.

3.4 HDR10端到端系统

随着采集和显示设备的发展,HDR+10Bit逐渐有一些应用,我们觉得HDR10有三项核心技术：第一是动态范围.在低照度、曝光过度场景下帮助我们看清内容；第二是色域空间.支持BT2020提升色彩还原；第三是10bit位深.HDR对我们的商品还原会非常有帮助,因为电商直播和短视频中最核心的是还原商品而不是美化商品.

但HDR是一个端到端的系统,需要考虑到各种设备的兼容,所以我们做了一些适配来提升用户体验,比如普通相机拍出的内容就用普通通道传输解码,而一些高端设备支持HDR10,可以把内容做10Bit压缩,传输,在对端根据播放设备能力,做HDR To SDR、10Bit To 8Bit的转换来保证质量,对于好的手机就可以得到最好的HDR体验,一般手机也能得到基础的HDR体验.图中可以看到HDR技术使照片颜色更接近实物颜色.

04 音频技术提升体验和生产力

第三个观点是视频技术提升体验和生产力.音频在过去几年都伴随视频出现,而在去年Clubhouse的发布,大家觉得音频可以独立玩,这对音频技术来说是一个很好的启发.除此以外,音频的技术还可以辅助我们做内容的生产、审核及各种音频处理,个人认为音频会是后续很重要的生产力.

4.1 业务：用户数和时长

对内容业务来说,最核心的是用户数和时长.对于技术来说,如何提升消费体验,提升主播生产效率,做好平台治理工作是核心工作.在这几个方面音频都可以起到非常重要的作用.

在主播角度,音频技术可以来做口播自动剪辑、

苹果维修哪家好济南

来客提醒（不用一直守在电脑旁边）、开播辅助、字幕和配乐生成.在用户角度,音频的互动可以支持连麦、游戏、猜价格、语音评论.在平台角度,音频可以监管黄暴政、盗播、盗链、检测空镜.

分享几个典型案例.第一,音频技术提高音质体验.这是一个简单的音频传输系统,采集、预处理、AEC/ANS/AGC、编码、网络传输（FEC/NACK技术）、对端（Jitter Buffer/NETEQ）、解码、重采样.要实现高音质体验,我们在每个环节都需要做非常细致的工作：采集中做高保真,双声道处理（Alidenoise、回声抑制、智能美声）,编码中做自适应码率（HE-AAC）,传输过程要保障传输质量QOS（FEC/NACK）,接收中还需要原音频数据（PLC/NETEQ）,播放中应用各种音效技术（3D音效、空间音效、重低音）来提升收听体验.

直播内容中,对音频的适配也非常重要.（陈老师提到一个例子：如果是音乐直播间,用普通模板做音质会很差,所以需要几套针对不同类型直播间的声音模板.）在这样的系统上,我们支持淘宝直播,语音聊天室等业务.

4.2 AliDenoise——让声音更清晰

淘宝自研的AliDenoise技术是一个智能降噪技术,可以使声音更清晰.传统的降噪是根据时域傅里叶变换+维拉增益来做,痛点是对非平稳噪声抑制差,在低信噪比失效,而AliDenoise根据端到端的语音降噪,用数据驱动方式,基于先验信噪比方法做模型训练.还有Cache Buffer的流式处理以及1D卷积+模型小型化的工作,核心优势是降噪能力强、语音保真度高（我们做了一些竞品对比,AliDenoise的主客观指标都超过竞品）、极轻量小模型（1.6M的模型可以在普通手机实现降噪,且CPU消耗只有6%）、延时可控（可根据设备能力做延时调节）.

有三段音频,第一段是街边的场景,是原声；第二段是RTC处理后的效果（汽车走过的声音比较明显）；第三段是AliDenoise处理后的效果,可以听出它对非平稳噪声的抑制很好,且人声保留度高.

街边场景-原声

RTC处理后的效果

AliDenoise处理后的效果

音频效果试听可访问：

第二个例子是端上互动.直播答题是前几年非常火的互动玩法,2020年双十一点淘推出了猜价格活动,答题交互从触屏到语音,需要低延时、高并发、低误识率.如果用服务端ASR做,会需要上千台服务器来支持同时在线10万人.基于这样的痛点,我们采用了自研离线ASR技术,在端上做语音识别.可以做到模型大小13M,内存大小50M,字错误率1.3%,识别延迟<50ms的水平.

第三个案例,语音技术可以辅助短视频的直播编辑生产.在“亲拍”APP中可以做到辅助“逛逛”的内容生产.内容生产中有非常多需求,包括删除无用片段、自动添加字幕,旁白、音乐标签,自动配乐、音频变速,变声,降噪.借助后台一整套技术和曲库（虾米1000万曲库、ASR以及信号处理算法）,我们提供一键导入、一键编辑这样的音频功能比如停顿删除、感知配乐、自动字幕、自动变声.通过音频技术大大提高编辑效率,原先30min的编辑通过可以降到3min,质量也会比较有保证.

4.3 直播短视频音频解决方案——TaoAudio

我们给淘宝业务提供了一套直播短视频音频解决方案——TaoAudio.在业务上支持淘宝直播、点淘、逛逛、亲拍、语音聊天室等需求.在应用方案上有直播看点、直播互动、直播安全、短视频编辑.在算法技术中有三个核心技术是音频处理、音频安全、语音交互.基础设施包括端上推力引擎、云上资源、端侧设备等.

总之音频的核心是良好的音质、很强的互动体验及平台安全,在未来可能还有丰富的音乐体验.

05 淘宝音视频算法的发展

最后和大家分享淘宝音视频算法的发展.

1、下一代APG2要做到比前一代有更高的压缩效率；

2、S266的落地,将S266真实的应用到业务场景中；

3、AR+3D+多视角直播的探索.传统的直播已经固化很多年了,我们希望通过更多技术提高交互和沉浸式体验；

4、下一代窄带高清技术.以更高的质量和更低的成本呈现；

5、端侧ASR技术.前面提到的“猜价格”应用到ASR,还需要进一步提高准确率并降低成本；

6、场景自适应语音增强.传统的语音增强没有考虑到语音环境也没有做更多的自适应（比如在一个嘈杂的环境或是安静的环境分别要用怎样的模型）,加入场景检测机制可以适配收音场景和听音的环境；

7、智能的音乐配乐服务；