Android音视频【十二】使用OpenSLES和AudioTrack进行播放PCM

【纯干货免费分享】C++音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击 788280672 加群免费领取哦~

播放进度
因为是pcm裸数据，无法像mediaplayer一样提供了API。所以需要自己处理下。可以利用 getPlaybackHeadPosition 方法。
getPlaybackHeadPosition() 的意思是返回以帧为单位表示的播放头位置
getPlaybackRate() 的意思是返回以Hz为单位返回当前播放采样率。
所以当前播放时间可以通过如下方式获取

int currentFrame = mAudioTrack.getPlaybackHeadPosition();
LogUtil.dc(TAG, "currentFrame=" + currentFrame);
int rate = mAudioTrack.getPlaybackRate();
if (rate > 0) {
    float playTime = currentFrame * 1.0f / rate;
    currentPlayTimeMs = (long) (1000 * playTime);
    LogUtil.dc(TAG, "currentPlayTimeMs=" + currentPlayTimeMs);
}

二.OpenSLES方式
OpenSLES:（Open Sound Library for Embedded Systems）.
OpenSLES是跨平台是针对嵌入式系统精心优化的硬件音频加速API。使用OpenSLES进行音频播放的好处是可以不依赖第三方。比如一些音频或者视频播放器中都是用OpenSLES进行播放解码后的pcm的，这样免去了和java层的交互。
使用OpenSLES
在Android中使用OpenSLES首先需要把Android 系统提供的so链接到外面自己的so。在CMakeLists.txt脚本中添加链接库OpenSLES。库的名字可以在 类似如下目录中

/Users/guixiuzhong/Library/Android/sdk/ndk/21.1.6352462/platforms/android-19/arch-x86/usr/lib/libOpenSLES.so

需要去掉lib

target_link_libraries(
                OpenSLES
   // ...省略其它
        )

然后导入头文件即可使用了OpenSLES提供的底层方法了。

#include <SLES/OpenSLES.h>
#include <SLES/OpenSLES_Android.h>

创建OpenSLES
创建&使用的步骤大致分为：

• 创建引擎 获取SLEngineItf
• 创建并设置混音器
• 创建并设置播放器
• 注册播放器回调并写入播放缓冲区队列
• 其它操作播放的方法，比如暂停，音量设置，声道设置

创建引擎 获取SLEngineItf

    SLresult result;
    result = slCreateEngine(&engineObject, 0, 0, 0, 0, 0);
    if (result != SL_RESULT_SUCCESS)
        return;
    result = (*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);
    if (result != SL_RESULT_SUCCESS)
        return;
    result = (*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &engineEngine);
    if (result != SL_RESULT_SUCCESS)
        return;
    if (engineEngine) {
        LOGD("get SLEngineItf success");
    } else {
        LOGE("get SLEngineItf failed");
    }

创建引擎。使用 slCreateEngine 第一个参数是要创建的引擎对象，是一个 SLObjectItf 类型。返回值是 SLresult 类型，如果成功则返回 SL_RESULT_SUCCESS ，其他参数都传0即可。
创建引擎成功后必须先调用Realize方法做初始化 (*slObjectItf)->Realize（） ，实例化成功则返回 SL_RESULT_SUCCESS 。
引擎实例化之后从引擎对象获取接口。

    SLresult (*GetInterface) (
        SLObjectItf self,  //实例化后的引擎对象
        const SLInterfaceID iid, //SL_IID_ENGINE
        void * pInterface  //输出的接口对象指针
    );

一个 SLObjectItf 里面可能包含了多个Interface，获取Interface通过 GetInterface 方法，而 GetInterface 方法的地2个参数 SLInterfaceID 参数来指定到的需要获取Object里面的那个Interface。比如通过指定 SL_IID_ENGINE 的类型来获取 SLEngineItf 。我们可以通过 SLEngineItf 去创建各种Object,例如播放器、录音器、混音器的Object,然后在用这些Object去获取各种Interface去实现各种功能。
创建混音器
如上所说，SLEngineItf可以创建混音器的Object。

• 创建混音器。

const SLInterfaceID mids[1] = {SL_IID_ENVIRONMENTALREVERB};
const SLboolean mreq[1] = {SL_BOOLEAN_FALSE};
result = (*engineEngine)->CreateOutputMix(
engineEngine, //引擎接口
 &outputMixObject,  //输出的混音器
 1, mids, mreq);
if (result != SL_RESULT_SUCCESS) {
    LOGE("CreateOutputMix failed");
    return;
} else {
    LOGD("CreateOutputMix success");
}

实例化混音器。拿到SLObjectItf 类型的实例化的混音器。

result = (*outputMixObject)->Realize(outputMixObject, SL_BOOLEAN_FALSE);
if (result != SL_RESULT_SUCCESS) {
    LOGE("mixer init failed");
} else {
    LOGD("mixer init success");
}

• 实例化混音器后也可以通过混音器的GetInterface方法来调用接口等。

配置音频信息

在创建播放器前需要创建音频的配置信息（比如采样率，声道数，每个采样的位数等）

 //音频格式
    SLDataFormat_PCM pcmFormat = {
            SL_DATAFORMAT_PCM, //播放pcm格式的数据
            2,   //声道数
            static_cast<SLuint32>(getCurrentSampleRateForOpensles(sample_rate)),
            SL_PCMSAMPLEFORMAT_FIXED_16, //位数 16位
            SL_PCMSAMPLEFORMAT_FIXED_16, //和位数一致就行
            SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT, //立体声（前左前右）
            //字节序，小端
            SL_BYTEORDER_LITTLEENDIAN
    };

创建播放器

• 通过 引擎(*engineEngine)->CreateAudioPlayer 方法来创建播放器。

result = (*engineEngine)->CreateAudioPlayer(
engineEngine,  //引擎对象本身
&pcmPlayerObject, //输出的播放器对象，同样是SLObjectItf类型
&slDataSource, //数据的来源
&slDataSink,  //数据的去处,和SLDataSource是相对的
sizeof(ids) / sizeof(SLInterfaceID), //与下面的SLInterfaceID和SLboolean配合使用,用于标记SLInterfaceID数组和SLboolean的大小
ids,//这里需要传入一个数组,指定创建的播放器会包含哪些Interface
req//这里也是一个数组,用来标记每个需要包含的Interface);

获取播放器接口
(*pcmPlayerObject)->GetInterface(slPlayerItf, SL_IID_PLAY, &pcmPlayerPlay); 得到播放器接口 SLPlayItf pcmPlayerPlay 。 pcmPlayerPlay 之后就可以给播放器设置不同的状态比如 SL_PLAYSTATE_PAUSED 进行播放暂停等操作，后文介绍。

    SLresult (*GetInterface) (
        SLObjectItf self, //实例化后的播放器对象
        const SLInterfaceID iid,  //SL_IID_PLAY
        void * pInterface //输出的接口对象指针
    );

获取播放队列接口

     result = (*pcmPlayerObject)->GetInterface(pcmPlayerObject, SL_IID_BUFFERQUEUE, &pcmBufferQueue);

• 给播放队列注册回调函数。

开始播放后会不断的回调这个 pcmBufferCallBack 函数将音频数据压入队列
(*pcmBufferQueue)->RegisterCallback(pcmBufferQueue, pcmBufferCallBack, this);

    // OpenSLES 会自动回调
void pcmBufferCallBack(SLAndroidSimpleBufferQueueItf bf, void *context) {
//    LOGD("pcmBufferCallBack ok");
    Audio *audio = (Audio *) context;
    if (audio != NULL) {
        PcmData *data = audio->dataQueue->getPcmData();
        if (NULL != data) {
            LOGD("Enqueue ok");
            (*audio->pcmBufferQueue)->Enqueue(audio->pcmBufferQueue,
                                              data->getData(),
                                              data->getSize());
}

设置播放状态为播放中

    //设置播放状态
    (*pcmPlayerPlay)->SetPlayState(pcmPlayerPlay, SL_PLAYSTATE_PLAYING);

如果想要暂停播放参数直接设置为SL_PLAYSTATE_PAUSED，若暂停后继续播放设置参数为SL_PLAYSTATE_PLAYING即可。若想要停止播放参数设置为SL_PLAYSTATE_STOPPED即可。

• 开始播放
  需要手动调用一次 (*pcmBufferQueue)->Enqueue，也就是可以直接调用下 pcmBufferCallBack(pcmBufferQueue, this);

OpenSLES的音量控制
首先获取播放器的用于控制音量的接口SLVolumeItf pcmVolumePlay

// 音量
(*pcmPlayerObject)->GetInterface(pcmPlayerObject, SL_IID_VOLUME, &pcmVolumePlay);

然后动态设置

// 声音0是最大声音，-5000就听不见了
// 音量 0 是最大，负值是越来越小。
float v = (1.0f - volume * 1.0f / 100.0f) * -5000;
LOGD("volume %f", v);
(*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (SLmillibel) v);

OpenSLES的声道控制

首先也是获取播放器的用于控制音量的接口SLMuteSoloItf pcmMutePlay

 // 获取声道操作接口
(*pcmPlayerObject)->GetInterface(pcmPlayerObject, SL_IID_MUTESOLO, &pcmMutePlay);

然后动态设置

// 立体声
(*pcmMutePlay)->SetChannelMute(pcmMutePlay, 1, false);
(*pcmMutePlay)->SetChannelMute(pcmMutePlay, 0, false);