TuSDK直播特效 API

一、文件构成

1、包名

iOS 应用的包名是 Bundle Identifier，它定义在 Project Target 中的 Bundle Identifier。

2、秘钥（AppKey）

替换 TuSDK 初始化中的秘钥（AppKey），AppDelegate.m中引入 #import <TuSDK/TuSDK.h>。
进行初始化 [TTLiveMediator setupWithAppKey:@"xxxxxx5d12xxxxxx-04-xxxxxx"];

3、资源文件

提供的压缩包中会有 package_XXXXXX.zip 文件。
解压缩该文件后会有，滤镜、特效资源：other、texture，贴纸资源：sticker 文件。
other 和 texture 这两个是必要文件，sticker有动态贴纸服务才会出现。

4、文件替换操作

替换 AppKey 至 TuSDK init 初始化方法中秘钥（AppKey）。
将解压缩后的文件替换 TuSDK.bundle 文件中的对应文件。
TuSDK.bundle文件介绍：

（1）model 文件，鉴权文件，必须保留。

（2）others 文件夹，包含使用到的滤镜资源文件的索引，进行滤镜资源文件操作是需要进行替换。

（3）stickers 文件夹，包含打包到本地使用的贴纸的资源文件，进行资源文件操作是需要进行替换（无贴纸功能的可删除）。

（4）textures 文件夹，包含打包到本地使用的滤镜的资源文件，进行资源文件操作是需要进行替换。

接入准备

使用美颜 sdk 之前需要拿到功能授权文件，以及与授权文件对应的素材
将我们的库文件和头文件加入项目，并将对 sdk 的一些封装代码拷贝到项目中，这些代码一般存在于 TTBeauty 文件夹下。

七牛推流接入指南

在七牛PLMediaStreamingSession的代理方法中添加如下代码：

// 摄像头采集的数据回调
- (CVPixelBufferRef)mediaStreamingSession:(PLMediaStreamingSession *)session cameraSourceDidGetPixelBuffer:(CVPixelBufferRef)pixelBuffer {
    CVPixelBufferRef ttPixelBuffer = [[TTPipeMediator shareInstance] sendPixelBuffer:pixelBuffer];
    if (ttPixelBuffer) {
        return ttPixelBuffer;
    }
    return pixelBuffer;
}

声网推流接入指南

PUSH方式

开启自定义视频采集

// Swift
// 调用 Agora 的 setExternalVideoSource 方法，告知 SDK 使用自采集的视频数据。
agoraKit.setExternalVideoSource(true, useTexture: true, pushMode: true)

核心处理&渲染代码

func myVideoCapture(_ capture: AgoraCameraSourcePush, didOutputSampleBuffer pixelBuffer: CVPixelBuffer, rotation: Int, timeStamp: CMTime) {

        let ts: Int64 = Int64(timeStamp.seconds * 1000)
        let ttPixelBuffer = TTPipeMediator.shareInstance().send(pixelBuffer, withTimestamp: ts, rotation: Int32(rotation)).takeUnretainedValue()

        let videoFrame = AgoraVideoFrame()
        videoFrame.format = 12
        videoFrame.textureBuf = ttPixelBuffer
        videoFrame.time = timeStamp
        videoFrame.rotation = Int32(rotation)

        // 测试 工程中推荐使用 TUPFPImage 渲染
        self.displayView.image = UIImage(ciImage: CIImage(cvPixelBuffer: ttPixelBuffer))

        //once we have the video frame, we can push to agora sdk
        agoraKit?.pushExternalVideoFrame(videoFrame)
}

MediaIO方式

设置声网为MediaIO方式

agoraKit.setVideoSource(customCamera)

实现 AgoraVideoSourceProtocol 协议 (参考AgoraCameraSourceMediaIO)

func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
        guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer), CVPixelBufferLockBaseAddress(pixelBuffer, .readOnly) == kCVReturnSuccess else {
            return
        }
        defer {
            CVPixelBufferUnlockBaseAddress(pixelBuffer, .readOnly)
        }

        let time = CMSampleBufferGetPresentationTimeStamp(sampleBuffer)
        let rotation = viewOrientation.agoraRotation()
        let ts: Int64 = Int64(time.seconds * 1000)
        let newPixelBuffer = TTPipeMediator.shareInstance().send(pixelBuffer, withTimestamp: ts, rotation: 90).takeUnretainedValue()
        consumer?.consumePixelBuffer(newPixelBuffer, withTimestamp: time, rotation: rotation)
    }

腾讯云直播接入指南

自采集数据

首先需要调用 V2TXLivePusher 的 enableCustomVideoCapture 接口开启自定义采集。

- (void)onVideoSampleBuffer:(CMSampleBufferRef)videoBuffer {
    CVPixelBufferRef newPixelBuffer = [[TTPipeMediator shareInstance] sendVideoSampleBuffer:videoBuffer];
    V2TXLiveVideoFrame *videoFrame = [[V2TXLiveVideoFrame alloc] init];
    videoFrame.bufferType = V2TXLiveBufferTypePixelBuffer;
    videoFrame.pixelFormat = V2TXLivePixelFormatI420;
    videoFrame.pixelBuffer = newPixelBuffer;

    [self.livePusher sendCustomVideoFrame:videoFrame];
}

修改OpenGL纹理

首先需要调用 V2TXLivePusher 的 enableCustomVideoProcess 开启自定义视频处理，才会收到这个回调通知。

- (void)onProcessVideoFrame:(V2TXLiveVideoFrame *)srcFrame dstFrame:(V2TXLiveVideoFrame *)dstFrame {

    if (!_currentContext) {
        _currentContext = [EAGLContext currentContext];
        [TTLiveMediator setupContext:_currentContext];
        [[TTLiveMediator shareInstance] setPixelFormat:TTVideoPixelFormat_Texture2D];
    }
    TUPFPImage *fpImage = [[TTLiveMediator shareInstance] sendVideoTexture2D:srcFrame.textureId width:(int)srcFrame.width height:(int)srcFrame.height];

    dstFrame.bufferType = V2TXLiveBufferTypeTexture;
    dstFrame.pixelFormat = V2TXLivePixelFormatTexture2D;
    dstFrame.textureId = [fpImage getTextureID];

}

即构推流接入指南

在即构的ZGCustomVideoCapturePixelBufferDelegate的代理回调中添加如下方法

- (void)captureDevice:(id<ZGCaptureDevice>)device didCapturedData:(CMSampleBufferRef)data {

    if (self.captureBufferType == ZGCustomVideoCaptureBufferTypeCVPixelBuffer) {

        // BufferType: CVPixelBuffer
        CVPixelBufferRef ttPixelBuffer = [[[TTLiveMediator shareInstance] sendVideoPixelBuffer:CMSampleBufferGetImageBuffer(data)] getCVPixelBuffer];
        if (ttPixelBuffer) {
            // Send pixel buffer to ZEGO SDK
            [[ZegoExpressEngine sharedEngine] sendCustomVideoCapturePixelBuffer:ttPixelBuffer timestamp:CMSampleBufferGetPresentationTimeStamp(data)];
        } else {
            // Send pixel buffer to ZEGO SDK
            [[ZegoExpressEngine sharedEngine] sendCustomVideoCapturePixelBuffer:CMSampleBufferGetImageBuffer(data) timestamp:CMSampleBufferGetPresentationTimeStamp(data)];
        }
    } else if (self.captureBufferType == ZGCustomVideoCaptureBufferTypeEncodedFrame) {

        // BufferType: Encoded frame (H.264)

        // Need to encode frame
        [self.encoder encodeBuffer:data];
    }
}

设置美颜参数

设置美颜参数也是使用 TTPipeMediator中 TTBeautyManager 提供的函数，更多的使用可以参考我们的 demo 里的做法。

FAQ

1、滤镜替换使用的滤镜的代号

替换资源文件后，查看资源文件（TuSDK.bundle/others/lsq_config.json）filterGroups中滤镜的 filerCode（filters/name），替换到项目中对应的位置。
替换滤镜资源后，需要根据新的 filterCode 更改对应滤镜效果缩略图文件的名称。
举例："name":"lsq_filter_VideoFair"，VideoFair 就是该滤镜的filterCode ，在_videoFilters = @[@"VideoFair"];可以进行选择使用滤镜的设置。

2、贴纸替换使用贴纸

替换资源文件后，查看资源文件（TuSDK.bundle/others/lsq_config.json） stickerGroups中贴纸的id、name，新增/替换到项目中customStickerCategories.json对应的位置。
Assets/customStickerCategories.json/categoryName，修改/新增类别名称。
Assets/customStickerCategories.json/categoryName/stickers，对应类别名称下的组员groups。
Assets/customStickerCategories.json/categoryName/stickers/name，修改/新增使用贴纸的名称。
Assets/customStickerCategories.json/categoryName/stickers/id，修改/新增使用贴纸的id。
Assets/customStickerCategories.json/categoryName/stickers/previewImage，修改/新增使用贴纸的缩略图，只需将最后的一串数字改成id值即可。

3、多包名发布

参考多包名发布

涂图