技术背景我们在做Android平台RTSP转发模块的时候,有公司提出来这样的技术需求,他们希望拉取外部RTSP摄像头的流,然后提供个轻量级RTSP服务,让内网其他终端过来拉流。 回调上来的数据,可以作为轻量级RTSP服务的数据源(投递编码后数据),推送端,只要启动RTSP服务,然后发布RTSP流即可。 ;rtsp_handle_ = libPublisher.OpenRtspServer(0);if (rtsp_handle_ == 0) {Log.e(TAG, "创建rtsp server实例失败! = 0) {libPublisher.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;Log.e(TAG, "创建rtsp server端口失败! ;} else {libPublisher.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;Log.e(TAG, "启动rtsp server失败!
技术背景今天分享的是外部RTSP或RTMP流,拉取后注入到本地轻量级RTSP服务模块,供内网小并发场景下使用,这里我们叫做内网RTSP网关模块。 内网RTSP网关模块,系内置轻量级RTSP服务模块扩展,完成外部RTSP/RTMP数据拉取并注入到轻量级RTSP服务模块工作,多个内网客户端直接访问内网轻量级RTSP服务获取公网数据,无需部署单独的服务器 内置轻量级RTSP服务模块和内置RTSP网关模块共同点:内置轻量级RTSP服务模块和内置RTSP网关模块,核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务,数据汇聚到内置RTSP服务,对外提供可供拉流的 内置RTSP网关模块,实际上是RTSP/RTMP拉流模块+内置轻量级RTSP服务模块组合出来的。 网关,在小并发的环境下,不需要单独部署RTSP或RTMP服务,配合我们RTSP播放器,延迟毫秒级,优势非常明显,感兴趣的开发者可参考,如果需要测试,可测试看看,不止Android平台,Windows也有类似的实现
一、功能特点 多线程实时播放rtsp视频流。 支持X86和嵌入式linux。 多线程显示图像,不卡主界面。 自动重连网络摄像头。 可设置边框大小即偏移量和边框颜色。 20200112164912.jpg] 三、体验地址 体验地址:https://pan.baidu.com/s/1bbL2ZughZAgfIGrexyN-9g 提取码:zkeh 名称:bin_video_android.zip
好了,今天给大家分享的是rtsp系列专题的第一个开篇:rtsp服务器搭建! rtsp服务器搭建: 今天我们搭建这个rtsp服务器的名称叫做:ZLMediaKit,它是一个基于C++11的高性能运营级流媒体服务框架,类似我之前给大家搭建的rtmp服务器(srs流媒体服务器),当然它两者肯定是有区别的 支持linux、macos、ios、android、windows全平台。 支持画面秒开、极低延时(500毫秒内,最低可达100毫秒)。 提供完善的标准C API,可以作SDK用,或供其他语言调用。 docker postman server www Android benchmark.md build_for_mac.sh conf 测试rtsp服务器: 我们现在来把本地媒体文件推流到这个服务器上,然后再进行拉流播放试试,你可以使用obs或者ffmpeg命令来进行,这里我使用了ffmpeg来进行推流,我电脑本地的媒体文件test.mp4
uos操作系统中使用QT开发RTSP 视频流服务器,以下的实现方式使用的是单播方式,除了单播模式还有多播模式。 可以通过自己开发的rtsp服务器将摄像头的数据时时推送到服务器中,其他用户可以通过访问视频流地址rtsp://127.0.1.1:8554/live,直接访问摄像头播放的内容,也就是通常说的摄像头直播。 本篇文章使用开源框架live555开发一个属于自己的视频流服务器。 安装环境依赖 live555的使用需要较多的环境依赖,一下安装都是编译依赖相关内容。 服务器 RTSPServer* rtspServer = RTSPServer::createNew(*env, port); if (rtspServer == nullptr) { /RTSPServer -i 0 播放视频: 使用播放工具mplayer 安装播放工具: sudo apt install mplayer 播放rtsp地址: mplayer rtsp://127.0.1.1
除了安卓自带摄像头的数据,还有车载RTSP摄像头,由于系统部署在安卓端,我们初步设计的方案,是走轻量级RTSP服务+内网RTSP网关模块+RTSP直播播放模块,不走RTMP,因为RTMP的话,需单独部署 好多开发者可能对轻量级RTSP服务和内置RTSP网关模块分不清楚。 实际上,内网RTSP网关模块,算是内置轻量级RTSP服务模块扩展,实现外部RTSP/RTMP数据拉取并注入到轻量级RTSP服务模块工作,多个内网客户端直接访问内网轻量级RTSP服务获取公网数据,无需部署单独的服务器 内置轻量级RTSP服务模块和内置RTSP网关模块共同点:内置轻量级RTSP服务模块和内置RTSP网关模块,核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务,数据汇聚到内置RTSP服务,对外提供可供拉流的 内置RTSP网关模块,实际上是RTSP/RTMP拉流模块+内置轻量级RTSP服务模块组合出来的。
上一篇我们介绍了RTSP的TEARDOWN指令,用于结束一个RTSP的会话!本篇我们来介绍RTSP GET_PARAMETER! GET Parameter作用 GetParameret用作向服务器获取参数,一般用于获取时间范围。当发送的请求中没有相关请求参数时,则用作保持RTSP连接! RTSP URI表示请求的rtsp地址,RTSP version表示版本号; CSeq表示消息序列号; Authorization表示认证信息; User-Agent表示用户代理; Session表示会话 从抓包文件中看并没有任何参数的信息,所以我们认为这是一个空的 RTSP请求,其作用是保持RTSP连接,类似于ping的作用,类似于RTMP协议中的ping request消息。 RTSP Version表示RTSP的版本号; 状态码表示服务器返回的状态,正常为200; 状态描述为对状态码的描述,如对200状态码的描述为OK; Date为消息发送的日期。
技术实现废话不多说,下图先通过Android平台拉取RTSP流,然后把解码后的yuv或rgb数据回上来,以图层的形式投递到推送端,需要加水印的话,添加文字水印或图片水印(系动态水印)图层,底层做动态叠加后二次编码打包 ,通过启动轻量级RTSP服务,发布RTSP流,生成二次处理后的RTSP新的拉流url,如果需要推送至RTMP,只要调用推送RTMP的接口即可,本地录制,可以设置录制目录等信息,保存二次编码后的MP4文件到本地 = 0) {libPublisher.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;Log.e(TAG, "创建rtsp server端口失败! ;} else {libPublisher.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;Log.e(TAG, "启动rtsp server失败! ;return;}startLayerPostThread();btnRTMPPusher.setText("停止推送");}});总结以上是Android平台拉取RTSP数据,然后添加动态水印后,二次输出到轻量级
实际上,在做Android平台GB28181设备接入模块的时候,我们已经有了非常好的技术积累,比如RTMP推送、轻量级RTSP服务、一对一互动模块、业内几乎最好的RTMP|RTSP低延迟播放器。 Android平台GB28181接入SDK(SmartGBD),主要实现不具备国标音视频能力的 Android终端,通过平台注册接入到现有的GB/T28181—2016(包括后续的GB/T28181—2022 264/HEVC数据,或者本地解析的MP4音视频数据);拉取RTSP或RTMP流并接入至GB28181平台(比如其他IPC的RTSP流,可通过Android平台GB28181接入到国标平台)。 return;}if (gb28181_agent_.isRunning()) {gb28181_agent_.terminateAllPlays(true);// 目前测试下来,发送BYE之后,有些服务器会立即发送 超时时间int rtsp_timeout = 10;libPlayer.SmartPlayerSetRTSPTimeout(player_handle_, rtsp_timeout);//设置RTSP
我们在做Android平台轻量级RTSP服务和内网RTSP网关的时候,遇到过这样的问题,如何同时发布多路RTSP流出去? ()会返回rtsp_handle_,这个句柄对应一个RTSP Service。 ;rtsp_handle_ = libPublisher.OpenRtspServer(0);if (rtsp_handle_ == 0) {Log.e(TAG, "创建rtsp server实例失败! = 0) {libPublisher.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;Log.e(TAG, "创建rtsp server端口失败! (false);}}};如何启动一个服务,发布多个RTSP流(对应不同的数据源和RTSP拉流URL)?
技术背景Android上启动一个轻量级RTSP服务,让Android终端像网络摄像头一样提供个外部可供RTSP拉流的服务,在内网小并发又不希望部署单独流媒体服务的场景下非常适用,在Android终端实现这样的流媒体服务 可以通过集成第三方库或编写自定义的RTSP服务器代码来实现这一功能。今天我们介绍两种方案,一种是GStreamer,另外一种,大牛直播SDK的SmartRtspServer。 对于RTSP服务,你需要创建一个能够捕获媒体(如摄像头视频)、编码它,并通过RTSP服务器发送的管道,GStreamer的特点。 服务器:自研实现轻量级RTSP服务逻辑,支持设置RTSP服务器的参数,如端口号、流名称等。 同时,配置服务器以从摄像头麦克风接收视音频流,并将其封装为RTSP流;启动服务器:启动RTSP服务器,使其开始监听并响应RTSP客户端的请求,发布RTSP流,对外提供RTSP拉流能力;查看RTSP会话数
技术背景为满足内网无纸化/电子教室等内网超低延迟需求,避免让用户配置单独的服务器,大牛直播SDK在推送端发布了轻量级RTSP服务SDK。 :name="android.permission.CAMERA"/><uses-feature android:name="android.hardware.camera.autofocus" />< 清除设置的rtsp server启动rtsp流StartRtspStream启动rtsp流停止rtsp流StopRtspStream停止rtsp流功能支持 [视频格式]H.264/H.265(Android 支持RTSP端口设置;支持RTSP鉴权用户名、密码设置;支持获取当前RTSP服务会话连接数;支持Android 5.1及以上版本。 接口调用详解本文以大牛直播SDK Android平台Camera2Demo为例,启动RTSP服务、发布RTSP流之前,可以先选择视频分辨率、软编还是硬编码,音频是PCMA还是AAC编码等基础设置,其他参数的设置
技术背景好多开发者拿到大牛直播SDK的Android平台RTSP、RTMP播放模块,基本上不看说明,测试后,就直接集成到自己系统了。 不得不说,我们的模块虽然接口很多,功能支持全面,但是上层的demo设计逻辑确实简单,稍微有些Android开发基础的,都可以轻松处理。 :name="android.permission.WRITE_EXTERNAL_STORAGE" ></uses-permission><uses-permission android:name="android.permission.INTERNET " ></uses-permission><uses-permission android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEMS" />< uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />Load相关so:static { System.loadLibrary
技术背景 实际上,我们在2015年做Android平台RTSP、RTMP播放模块的时候,第一版就支持了多实例播放,因为SDK设计比较灵活,做个简单的player实例封装即可实现多实例播放(Android 1 : 0); //设置RTSP超时时间 int rtsp_timeout = 10; lib_player_.SmartPlayerSetRTSPTimeout(handle, rtsp_timeout ); //设置RTSP TCP/UDP模式自动切换 int is_auto_switch_tcp_udp = 1; lib_player_.SmartPlayerSetRTSPAutoSwitchTcpUdp is_auto_switch_tcp_udp); lib_player_.SmartPlayerSaveImageFlag(handle, 1); // It only used when playback RTSP is_need_call) lib_player_.SmartPlayerStopRecorder(get()); return true; } 总结 上面只是简单的播放、录像的演示,除此之外,大牛直播SDK的RTSP
下面就以RTSP协议为例,介绍如何通过EasyPusher-Android向流媒体服务器做RTSP直播推流。 三、手机端通过EasyPusher-Android进行RTSP直播推流 由于EasyPusher仅支持RTSP推流,而SRS不支持RTSP协议,因此服务端只能采用ZLMediaKit。 ***/live/test"; // 注意换成自己的RTSP服务器IP 保存代码后重新编译运行,将App安装到测试手机上,等待EasyPusher-Android启动后,点击屏幕左下角的“推流”按钮,让 EasyPusher-Android对ZLMediaKit的rtsp地址“rtsp://124.70.***. port from pool:33900-33901 [MediaServer] [119311-event poller 0] RtspSession.cpp:819 handleReq_Play | 10
下面就以RTSP协议为例,介绍如何通过EasyPusher-Android向流媒体服务器做RTSP直播推流。 port = Config.getPort(this);String id = Config.getId(this);改为下面的RTSP链接解析代码,目的是正常解析RTSP链接中的服务器IP、端口号和服务名称 ***/live/test"; // 注意换成自己的RTSP服务器IP保存代码后重新编译运行,将App安装到测试手机上,等待EasyPusher-Android启动后,点击屏幕左下角的“推流”按钮,让EasyPusher-Android 观察华为云上的ZLMediaKit日志如下,可见EasyPusher-Android正在向后端的流媒体服务器推送直播流:[MediaServer] [119311-event poller 0] MediaSource.cpp port from pool:33900-33901[MediaServer] [119311-event poller 0] RtspSession.cpp:819 handleReq_Play | 10
摘要本文详细介绍了在 Android 平台上集成 RTSP 和 RTMP 直播播放模块的技术背景、系统要求、准备工作、接口设计、功能支持以及接口调用流程。 权限配置在 AndroidManifest.xml 文件中添加以下权限:<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE " /><uses-permission android:name="android.permission.INTERNET" /><uses-permission android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEMS " /><uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />3. 系统兼容:支持 Android 5.1 及以上版本。 六、接口调用详解1.
背景 最近在项目中着手做Android10和Android11 适配时候,期间遇到了不少的坑。之前有专门写过qq、微信分享的适配。但是此次在针对偏业务侧适配工作的时候还是碰到了一些新的问题。 在Android10 上公共目录下的图片无法通过file:// 格式去访问,提示找不到路径。如glide加载、图片选择库、裁剪框架等等都会收到影响。 但是,这里有个坑: 在Android10上不行,在Android11上又可以!!为什么? 因为Google改回来了,让Android11支持file://格式了。。。。 (wtf? 最后,我还想问两个问题: 1. targetSdk=30,android:requestLegacyExternalStorage="false"运行在Android10的设备上 会咋么样? 因为,Android10的设备还是以Android10的兼容模式运行的。所以要改成true。
Android Uri转File方法,适配android 10以上版本及android 10以下版本 博主在这里就不再做过多的阐述了,直接上代码,复制即用 public static File Uri uri, Context context) { File file = null; if (uri == null) return file; //android10
基于NDK开发Android平台RTSP播放器 最近做了不少android端的开发,有推流、播放、直播、对讲等各种应用,做了RTMP、RTSP、HTTP-FLV、自定义等各种协议,还是有不少收获和心得的 这篇文章里,我打算描述一下我对于开发Android端RTSP播放器的程序框架,和设计思路,有相关需求的,希望能借此扩展下思路。 逻辑思路首先,既然是RTSP播放器,那必然要做RTSP的解析,这部分对我来说已经是非常熟悉了。 除非是整套都是自己做的RTSP服务器和RTSP客户端,否则我一般都是用他们两个,为的是最大程度的兼容第三方RTSP服务器,比如各种网络摄像头、各种设备、以及其他公司自己写的RTSP server等等,具体就不说了 总结一下:连接RTSP服务器,接收数据并进行分析,提取视频和音频数据对编码数据,比如h.264、aac等,进行解码,还原原始数据把原始数据,进行绘制或回调上层,opengl绘制程序框架结构示意图:图片