热门标签 | HotTags
当前位置:  开发笔记 > IOS > 正文

iOS中图片的解压缩到渲染过程详解

这篇文章主要给大家介绍了关于iOS中图片的解压缩到渲染过程的相关资料,文中通过示例代码介绍的非常详细,对各位iOS开发者们具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧

前言

在移动app开发过程中,图片往往是不可或缺的资源。从磁盘上加载一张图片,到显示到屏幕上,中间经过了一些复杂的过程,其中非常重要的一步就是对图片的解压缩。下面来一起看看详细的介绍吧

一.图像从文件到屏幕过程

通常计算机在显示是CPU与GPU协同合作完成一次渲染.接下来我们了解一下CPU/GPU等在这样一次渲染过程中,具体的分工是什么?

  • CPU: 计算视图frame,图片解码,需要绘制纹理图片通过数据总线交给GPU
  • GPU: 纹理混合,顶点变换与计算,像素点的填充计算,渲染到帧缓冲区。
  • 时钟信号:垂直同步信号V-Sync / 水平同步信号H-Sync。
  • iOS设备双缓冲机制:显示系统通常会引入两个帧缓冲区,双缓冲机制

图片显示到屏幕上是CPU与GPU的协作完成

对应应用来说,图片是最占用手机内存的资源,将一张图片从磁盘中加载出来,并最终显示到屏幕上,中间其实经过了一系列复杂的处理过程。

二.图片加载的工作流程

1、假设我们使用 +imageWithContentsOfFile: 方法从磁盘中加载一张图片,这个时候的图片并没有解压缩;

2、然后将生成的 UIImage 赋值给 UIImageView ;

3、接着一个隐式的 CATransaction 捕获到了 UIImageView 图层树的变化;

4、在主线程的下一个 runloop 到来时,Core Animation 提交了这个隐式的 transaction ,这个过程可能会对图片进行 copy 操作,而受图片是否字节对齐等因素的影响,这个 copy 操作可能会涉及以下部分或全部步骤:

  • 分配内存缓冲区用于管理文件 IO 和解压缩操作;
  • 将文件数据从磁盘读到内存中;
  • 将压缩的图片数据解码成未压缩的位图形式,这是一个非常耗时的 CPU 操作;
  • 最后 Core Animation 中CALayer使用未压缩的位图数据渲染 UIImageView 的图层。
  • CPU计算好图片的Frame,对图片解压之后.就会交给GPU来做图片渲染

5、渲染流程

  • GPU获取获取图片的坐标
  • 将坐标交给顶点着色器(顶点计算)
  • 将图片光栅化(获取图片对应屏幕上的像素点)
  • 片元着色器计算(计算每个像素点的最终显示的颜色值)
  • 从帧缓存区中渲染到屏幕上

我们提到了图片的解压缩是一个非常耗时的 CPU 操作,并且它默认是在主线程中执行的。那么当需要加载的图片比较多时,就会对我们应用的响应性造成严重的影响,尤其是在快速滑动的列表上,这个问题会表现得更加突出。

三.为什么要解压缩图片

既然图片的解压缩需要消耗大量的 CPU 时间,那么我们为什么还要对图片进行解压缩呢?是否可以不经过解压缩,而直接将图片显示到屏幕上呢?答案是否定的。要想弄明白这个问题,我们首先需要知道什么是位图

其实,位图就是一个像素数组,数组中的每个像素就代表着图片中的一个点。我们在应用中经常用到的 JPEG 和 PNG 图片就是位图

大家可以尝试

UIImage *image = [UIImage imageNamed:@"text.png"];
CFDataRef rawData = CGDataProviderCopyData(CGImageGetDataProvider(image.CGImage));

打印rawData,这里就是图片的原始数据.

事实上,不管是 JPEG 还是 PNG 图片,都是一种压缩的位图图形格式。只不过 PNG 图片是无损压缩,并且支持 alpha 通道,而 JPEG 图片则是有损压缩,可以指定 0-100% 的压缩比。值得一提的是,在苹果的 SDK 中专门提供了两个函数用来生成 PNG 和 JPEG 图片:

// return image as PNG. May return nil if image has no CGImageRef or invalid bitmap format
UIKIT_EXTERN NSData * __nullable UIImagePNGRepresentation(UIImage * __nonnull image);

// return image as JPEG. May return nil if image has no CGImageRef or invalid bitmap format. compression is 0(most)..1(least)       
UIKIT_EXTERN NSData * __nullable UIImageJPEGRepresentation(UIImage * __nonnull image, CGFloat compressionQuality);

因此,在将磁盘中的图片渲染到屏幕之前,必须先要得到图片的原始像素数据,才能执行后续的绘制操作,这就是为什么需要对图片解压缩的原因。

四.解压缩原理

既然图片的解压缩不可避免,而我们也不想让它在主线程执行,影响我们应用的响应性,那么是否有比较好的解决方案呢?

我们前面已经提到了,当未解压缩的图片将要渲染到屏幕时,系统会在主线程对图片进行解压缩,而如果图片已经解压缩了,系统就不会再对图片进行解压缩。因此,也就有了业内的解决方案,在子线程提前对图片进行强制解压缩。

而强制解压缩的原理就是对图片进行重新绘制,得到一张新的解压缩后的位图。其中,用到的最核心的函数是 CGBitmapContextCreate :  

CG_EXTERN CGContextRef __nullable CGBitmapContextCreate(void * __nullable data,
 size_t width, size_t height, size_t bitsPerComponent, size_t bytesPerRow,
 CGColorSpaceRef cg_nullable space, uint32_t bitmapInfo)
 CG_AVAILABLE_STARTING(__MAC_10_0, __IPHONE_2_0);
  • data :如果不为 NULL ,那么它应该指向一块大小至少为 bytesPerRow * height 字节的内存;如果 为 NULL ,那么系统就会为我们自动分配和释放所需的内存,所以一般指定 NULL 即可;
  • width 和height :位图的宽度和高度,分别赋值为图片的像素宽度和像素高度即可;
  • bitsPerComponent :像素的每个颜色分量使用的 bit 数,在 RGB 颜色空间下指定 8 即可;
  • bytesPerRow :位图的每一行使用的字节数,大小至少为 width * bytes per pixel 字节。当我们指定 0/NULL 时,系统不仅会为我们自动计算,而且还会进行 cache line alignment 的优化
  • space :就是我们前面提到的颜色空间,一般使用 RGB 即可;
  • bitmapInfo :位图的布局信息.kCGImageAlphaPremultipliedFirst

五.YYImage\SDWebImage开源框架实现

用于解压缩图片的函数 YYCGImageCreateDecodedCopy 存在于 YYImageCoder 类中,核心代码如下

CGImageRef YYCGImageCreateDecodedCopy(CGImageRef imageRef, BOOL decodeForDisplay) {
 ...

 if (decodeForDisplay) { // decode with redraw (may lose some precision)
  CGImageAlphaInfo alphaInfo = CGImageGetAlphaInfo(imageRef) & kCGBitmapAlphaInfoMask;

  BOOL hasAlpha = NO;
  if (alphaInfo == kCGImageAlphaPremultipliedLast ||
   alphaInfo == kCGImageAlphaPremultipliedFirst ||
   alphaInfo == kCGImageAlphaLast ||
   alphaInfo == kCGImageAlphaFirst) {
   hasAlpha = YES;
  }

  // BGRA8888 (premultiplied) or BGRX8888
  // same as UIGraphicsBeginImageContext() and -[UIView drawRect:]
  CGBitmapInfo bitmapInfo = kCGBitmapByteOrder32Host;
  bitmapInfo |= hasAlpha ? kCGImageAlphaPremultipliedFirst : kCGImageAlphaNoneSkipFirst;

  CGContextRef cOntext= CGBitmapContextCreate(NULL, width, height, 8, 0, YYCGColorSpaceGetDeviceRGB(), bitmapInfo);
  if (!context) return NULL;

  CGContextDrawImage(context, CGRectMake(0, 0, width, height), imageRef); // decode
  CGImageRef newImage = CGBitmapContextCreateImage(context);
  CFRelease(context);

  return newImage;
 } else {
  ...
 }
}

它接受一个原始的位图参数 imageRef ,最终返回一个新的解压缩后的位图 newImage ,中间主要经过了以下三个步骤:

  • 使用 CGBitmapContextCreate 函数创建一个位图上下文;
  • 使用 CGContextDrawImage 函数将原始位图绘制到上下文中;
  • 使用 CGBitmapContextCreateImage 函数创建一张新的解压缩后的位图。

事实上,SDWebImage 中对图片的解压缩过程与上述完全一致,只是传递给 CGBitmapContextCreate 函数的部分参数存在细微的差别

性能对比:

  • 在解压PNG图片,SDWebImage>YYImage
  • 在解压JPEG图片,SDWebImage

总结

1、图片文件只有在确认要显示时,CPU才会对齐进行解压缩.因为解压是非常消耗性能的事情.解压过的图片就不会重复解压,会缓存起来.

2、图片渲染到屏幕的过程: 读取文件->计算Frame->图片解码->解码后纹理图片位图数据通过数据总线交给GPU->GPU获取图片Frame->顶点变换计算->光栅化->根据纹理坐标获取每个像素点的颜色值(如果出现透明值需要将每个像素点的颜色*透明度值)->渲染到帧缓存区->渲染到屏幕

3、面试中如果能按照这个逻辑阐述,应该没有大的问题.不过,如果细问到离屏渲染和渲染中的细节处理.就需要掌握OpenGL ES/Metal 这个2个图形处理API. 面试过程可能会遇到不在自己技术能力范围问题,尽量知之为知之不知为不知.

  • https://github.com/SDWebImage/SDWebImage (本地下载)
  • https://github.com/ibireme/YYImage (本地下载)

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。


推荐阅读
  • 在OpenShift上部署基于MongoDB和Node.js的多层应用程序
    本文档详细介绍了如何在OpenShift 4.x环境中部署一个包含MongoDB数据库和Node.js后端及前端的多层应用程序。通过逐步指导,读者可以轻松完成整个部署过程。 ... [详细]
  • 高效重装Windows 10系统指南
    如何快速地为您的电脑重装Windows 10系统?本文将详细介绍从下载系统镜像到安装完成的每一步操作。 ... [详细]
  • Apple Watch心电图功能或将在欧洲地区推出
    据最新消息,苹果公司计划在欧洲地区推出Apple Watch的心电图(ECG)功能。这一功能最早于2018年12月通过iOS 5.1.2系统更新在Apple Watch Series 4上实现,使其具备了医疗级心电图监测能力。该功能能够帮助用户实时监测心脏健康状况,及时发现潜在的心律不齐等问题,进一步提升用户的健康管理体验。 ... [详细]
  • 四、作为您的 VCS 的 GitHub ... [详细]
  • 本文整理了关于Sia去中心化存储平台的重要网址和资源,旨在为研究者和用户提供全面的信息支持。 ... [详细]
  • 如何在Windows上使用Gitee创建远程仓库
    本文详细记录了在Windows系统上使用Gitee创建远程仓库的步骤,帮助解决无法注册GitHub的问题。 ... [详细]
  • PHP-Casbin v3.20.0 已经发布,这是一个使用 PHP 语言开发的轻量级开源访问控制框架,支持多种访问控制模型,包括 ACL、RBAC 和 ABAC。新版本在性能上有了显著的提升。 ... [详细]
  • 本文介绍了在Shader中优化常见数学函数的方法,包括特化和近似计算,以提高渲染性能。这些方法适用于HDR格式和RGBE编码的优化。 ... [详细]
  • IOS Run loop详解
    为什么80%的码农都做不了架构师?转自http:blog.csdn.netztp800201articledetails9240913感谢作者分享Objecti ... [详细]
  • iPhone 11的几大痛点与小聪明:苹果的精明策略分析
    面对一个直截了当的问题:新款iPhone 11没有5G功能,你会购买吗?在这一年里,苹果面临了自初代iPhone发布以来最尴尬的业绩挑战。尽管iPhone在过去十年中持续热销,推动苹果成为全球市值最高的公司之一,但苹果现在正通过大力拓展服务业务来应对这一困境。此外,苹果还采取了一系列精明的策略,如优化成本控制和提升用户体验,以保持其市场竞争力。 ... [详细]
  • iPhone 游戏时手机过热?这些专业技巧帮你轻松解决
    随着夏季的到来,气温升高,许多用户发现手中的智能手机在使用过程中尤其是游戏时会变得异常发热,甚至影响到正常使用体验。为了帮助大家解决这一问题,本文将介绍一些专业的技巧,从硬件和软件两方面入手,有效降低手机温度,确保游戏过程更加流畅和舒适。 ... [详细]
  • Parallels Desktop for Mac 是一款功能强大的虚拟化软件,能够在不重启的情况下实现在同一台电脑上无缝切换和使用 Windows 和 macOS 系统中的各种应用程序。该软件不仅提供了高效稳定的性能,还支持多种高级功能,如拖放文件、共享剪贴板等,极大地提升了用户的生产力和使用体验。 ... [详细]
  • iPhone 6s 在 App Store 更新或下载应用时遇到验证问题的解决方案及专业建议
    近期,许多用户反映在使用iPhone 6s通过App Store更新或下载应用程序时遇到了验证问题,表现为系统频繁提示“需要验证”。该问题不仅限于特定设备,同一Apple ID在iPhone 5和iPhone 6s上均会出现类似情况。为解决这一难题,建议用户首先检查网络连接是否稳定,并尝试重启设备以清除临时缓存。若问题依旧存在,可尝试注销并重新登录Apple ID,或联系官方客服获取进一步技术支持。此外,确保操作系统和App Store均为最新版本也有助于改善这一状况。 ... [详细]
  • 最新消息显示,苹果即将发布的新一代iOS系统可能将集成先进的3D地图功能。这一创新技术由C3 Technologies公司开发,曾在今年3月被TechCrunch报道。用户可以通过该功能获得更加真实和沉浸式的地图体验,包括详细的建筑物模型和街景视图。视频演示展示了其卓越的视觉效果和交互性。 ... [详细]
  • 对于希望在未越狱的iOS设备上修改Hosts文件的苹果用户来说,了解文件的具体位置和操作步骤至关重要。本文将详细介绍如何通过安装最新版本的iTunes来实现这一目标,并提供实用的操作指南,帮助用户轻松完成Hosts文件的编辑。 ... [详细]
author-avatar
白日星445533
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有