流媒体协议.之（RTP，RTCP，RTSP，RTMP，HTTP）（一）

    RTP是用于Internet上针对多媒体数据流的一种传输层协议。结合下图看，RTP 协议和 RTP 控制协议 RTCP 一起使用，
    而且它是建立在 UDP 协议上的。RTP 不像http和ftp可完整的下载整个影视文件，它是以固定的数据率在网络上发送数据，
    客户端也是按照这种速度观看影视文件，当影视画面播放过后，就不可以再重复播放，除非重新向服务器端要求数据。
    
    为啥要用udp，做个音视频传输的都知道，网络不稳定时，丢了数据，也没关系，顶多画面花屏，如果用tcp重传，那就卡顿了，一直在发送几秒前的视频，没有实时性了。
    
    
    c

    RTCP即实时传输控制协议，是实时传输协议(RTP)的一个姐妹协议。RTP 协议和 RTP控制协议(RTCP) 一起使用，
    而且它是建立在UDP协议上的。
    
    rtcp是传输控制命令的，rtp是传输数据的。
    
    
    c

    RTSP是用来控制声音或影像的多媒体串流协议，RTSP 提供了一个可扩展框架，使实时数据，如音频与视频的受控、点播成为可能。媒体数据使用rtp，rtcp协议。一般使用udp作为传输层。适合IPTV场景。数据源包括现场数据与存储在剪辑中的数据。该协议目的在于控制多个数据发送连接，为选择发送通道，如UDP、多播UDP与TCP提供途径，并为选择基于RTP上发送机制提供方法传输时所用的网络通讯协定并不在其定义的范围内，服务器端可以自行选择使用TCP或UDP来传送串流内容，比较能容忍网络延迟。rtsp用来建立连接，控制传输的。RTSP以C/S模式工作，它是一个多媒体播放控制协议，主要用来使用户在播放流媒体时可以像操作本地的影碟机一样进行控制，即可以对流媒体进行暂停/继续、后退和前进等控制
    
    
    c

    RTSP 与 RTP 最大的区别在于：RTSP 是一种双向实时数据传输协议，在播放文件非实时流时，它允许客户端向服务器端发送请求，如回放、快进、倒退等操作。当然，RTSP 可基于 RTP 来传送数据，还可以选择 TCP、UDP、组播 UDP 等通道来发送数据，具有很好的扩展性。它时一种类似与http协议的网络应用层协议。RTSP在制定时较多地参考了HTTP/1.1协议，甚至许多描述与HTTP/1.1完全相同。RTSP之所以特意使用与HTTP/1.1类似的语法和操作，在很大程度上是为了兼容现有的Web基础结构，正因如此，HTTP/1.1的扩展机制大都可以直接引入到RTSP中。
    
    
    c

    Macromedia 开发的一套视频直播协议，现在属于 Adobe。和 HLS 一样都可以应用于视频直播，基于TCP不会丢失。区别是 RTMP 基于 flash 无法在 iOS 的浏览器里播放，但是实时性比 HLS 要好。RTMP实时消息传送协议是 Adobe Systems 公司为 Flash 播放器和服务器之间音频、视频和数据传输 开发的开放协议。iOS 代码里面一般常用的是使用 RTMP 推流，可以使用第三方库 librtmp-iOS 进行推流，librtmp 封装了一些核心的 API 供使用者调用。
    RTMP 协议也要客户端和服务器通过“握手”来建立 RTMP Connection，然后在Connection上传输控制信息。RTMP 协议传输时会对数据格式化，而实际传输的时候为了更好地实现多路复用、分包和信息的公平性，发送端会把Message划分为带有 Message ID的Chunk，每个Chunk可能是一个单独的Message，也可能是Message的一部分，在接受端会根据Chunk中包含的data的长度，message id和message的长度把chunk还原成完整的Message，从而实现信息的收发。
    
    
    c

    HTTP的视频协议，主要是在互联网普及之后。在互联网上看视频的需求下形成的。
    最初的HTTP视频协议，没有任何特别之处，就是通用的HTTP文件渐进式下载。本质就是下载视频文件，而利用视频文件本身的特点，就是存在头部信息，和部分视频帧数据，就完全可以解码播放了。显然这种方式需要将视频文件的头部信息放在文件的前面。有些例如faststart工具，就是专门做这个功能的。
    但是最为原始的状态下，视频无法进行快进或者跳转播放到文件尚未被下载到的部分。这个时候对HTTP协议提出了range-request的要求。这个目前几乎所有HTTP的服务器都支持了。range-request，是请求文件的部分数据，指定偏移字节数。在视频客户端解析出视频文件的头部后，就可以判断后续视频相应的帧的位置了。或者根据码率等信息，计算相应的为位置。
    优点：
    HTTP Live Streaming 还有一个巨大优势：自适应码率流播（adaptive streaming）。效果就是客户端会根据网络状况自动选择不同码率的视频流，条件允许的情况下使用高码率，网络繁忙的时候使用低码率，并且自动在二者间随意切换。这对移动设备网络状况不稳定的情况下保障流畅播放非常有帮助。实现方法是服务器端提供多码率视频流，并且在列表文件中注明，播放器根据播放进度和下载速度自动调整。使用起来也非常简单。
    缺点：
    实时性相对较差，直播的时候延迟比较高。
    
    
    c

    HLS是苹果公司(Apple Inc.)实现的基于HTTP的流媒体传输协议，可实现流媒体的直播 和点播 ，主要应用在iOS系统，为iOS设备(如iPhone、iPad)提供音视频直播和点播方案。
    HLS 点播，基本上就是常见的分段HTTP点播，不同在于，它的分段非常小。相对于常见的流媒体直播协议，例如RTMP协议、RTSP 协议、MMS 协议等，HLS 直播最大的不同在于，直播客户端获取到的，并不是一个完整的数据流。
    HLS 协议在服务器端将直播数据流存储为连续的、很短时长的媒体文件(MPEG-TS格式)，而客户端则不断的下载并播放这些小文件，因为服务器端总是会将最新的直播数据生成新的小文件，这样客户端只要不停的按顺序播放从服务器获取到的文件，就实现了直播。由此可见，基本上可以认为，HLS 是以点播的技术方式来实现直播。由于数据通过 HTTP 协议传输，所以完全不用考虑防火墙或者代理的问题，而且分段文件的时长很短，客户端可以很快的选择和切换码率，以适应不同带宽条件下的播放。不过HLS的这种技术特点，决定了它的延迟一般总是会高于普通的流媒体直播协议。
    
    
    c

    web端实现流媒体的协议。google刚推出WebRTC的时候巨头们要么冷眼旁观，要么抵触情绪很大。使用RTP协议传输
    
    
    c

    是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议。
    
    它有三种变种：
    1)工作在TCP之上的明文协议，使用端口1935；
    2)RTMPT封装在HTTP请求之中，可穿越防火墙；
    3)RTMPS类似RTMPT，但使用的是HTTPS连接；
      RTMP协议(Real Time Messaging Protocol)是被Flash用于对象,视频,音频的传输.这个协议建立在TCP协议或者轮询HTTP协议之上.
      RTMP协议就像一个用来装数据包的容器,这些数据既可以是AMF格式的数据,也可以是FLV中的视/音频数据.
      一个单一的连接可以通过不同的通道传输多路网络流.这些通道中的包都是按照固定大小的包传输的.
    
    
    c

    1 RTSP引入了几种新的方法，比如DESCRIBE、PLAY、SETUP 等，并且有不同的协议标识符，RTSP为rtsp 1.0,HTTP为http 1.1；
    
    2 HTTP是无状态的协议，而RTSP为每个会话保持状态；
    
    3 RTSP协议的客户端和服务器端都可以发送Request请求，而在HTTPF协议中，只有客户端能发送Request请求。
    
    4 在RTSP协议中，载荷数据一般是通过带外方式来传送的(除了交织的情况)，及通过RTP协议在不同的通道中来传送载荷数据。而HTTP协议的载荷数据都是通过带内方式传送的，比如请求的网页数据是在回应的消息体中携带的。
    
    5 使用ISO10646(UTF-8) 而不是ISO 8859-1，以配合当前HTML的国际化；
    
    6 RTSP使用URI请求时包含绝对URI。而由于历史原因造成的向后兼容性问题，HTTP/1.1只在请求中包含绝对路径，把主机名放入单独的标题域中；
    
    
    c
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-08-16/7M01ciadN4pVKkRg5sIuzWCLnmtB.png)

   集合控制(Aggregatecontrol ):
    对多个流的同时控制。对音频/视频来讲，客户端仅需发送一条播放或者暂停消息就可同时控制音频流和视频流。
    
    2.   实体(Entity)：
    作为请求或者回应的有效负荷传输的信息。由以实体标题域（entity-header field）形式存在的元信息和以实体主体（entity body）形式存在的内容组成
    
    3.   容器文件（Containerfile）：
    可以容纳多个媒体流的文件。RTSP服务器可以为这些容器文件提供集合控制。
    
    4.   RTSP会话(RTSP session )：
    RTSP交互的全过程。对一个电影的观看过程,会话(session)包括由客户端建立媒体流传输机制(SETUP)，使用播放(PLAY)或录制(RECORD)开始传送流，用停止(TEARDOWN)关闭流。
    
    
    c
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-08-16/4rxJcbwYfEiFeK1AMojIqVkQaWHL.png)

    服务器接收到OPTIONS请求后，将服务器能够提供的消息传给客户端。
    服务器接收到DESCRIBE请求后，将SDP信息传给客户端。
    服务器接收到SETUP请求后，建立RTP套接字，连接客户端RTP端口，等待发送RTP包。
    服务器接收到拉流端PALY请求后，开始发送RTP包。
    服务器接收到PAUSE  请求后，临时停止发送RTP包。使用 PLAY 来重新启动数据交互。
    
    ANNOUNCE：(1)C->S：客户端向服务器端发布URL指定的媒体信息描述；(2) S->C：实时更新对话描述。
    RECORD：请求录制指定范围的媒体数据，请求中可指定录制的起止时间戳；若未指定时间范围，则使用presentation description中的开始和结束时间，这种情况下，如果会话已开始，则立即启动录制操作。
    服务器接收到GET_PARAMETER请求后，将当前时间传递给客户端。
    服务器接收到TEARDOWN请求后，停止发送RTP包，释放资源，停止接收RTSP请求，进入等待客户端连接状态。
    
    
    c
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-08-16/hY5jCrxSKJEN4As2VQdXB9Wpf3el.png)

    ffmpeg -re -i "/test.mp4" -vcodec h264 -acodec aac -f rtsp -rtsp_transport tcp rtsp://127.0.0.1/live/buji1
    
    
    c

    v=0
    o=mhandley 2890844526 2890842807 IN IP4 126.16.64.4
    s=SDP Seminar
    i=A Seminar on the session description protocol
    u=http://www.cs.ucl.ac.uk/staff/M.Handley/sdp.03.ps
    e=mjh@isi.edu (Mark Handley)
    c=IN IP4 224.2.17.12/127
    t=2873397496 2873404696
    a=recvonly
    m=audio 49170 RTP/AVP 0
    m=video 51372 RTP/AVP 31
    m=application 32416 udp wb
    a=orient:portrait
    
    
    c
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-08-16/T5Wamz3iSLFdGDABY049IZrh16xR.png)

    #include <libavformat/avformat.h>
     
    int main(int argc, char *argv[]) {
    AVFormatContext *format_ctx = NULL;
    AVOutputFormat *output_format = NULL;
    AVStream *stream = NULL;
    AVCodecContext *codec_ctx = NULL;
    AVCodec *codec = NULL;
    int ret;
     
    // 注册所有的格式和编解码器
    av_register_all();
     
    // 打开输出文件/接口
    if ((ret = avformat_alloc_output_context2(&format_ctx, NULL, "rtsp", "rtsp://your_rtsp_server/stream")) < 0) {
        fprintf(stderr, "Error allocating output context: %s\n", av_err2str(ret));
        goto end;
    }
     
    output_format = format_ctx->oformat;
     
    // 创建一个新的流
    if (!(stream = avformat_new_stream(format_ctx, NULL))) {
        fprintf(stderr, "Failed allocating stream\n");
        ret = AVERROR_UNKNOWN;
        goto end;
    }
    stream->id = format_ctx->nb_streams-1;
     
    // 找到编码器
    codec_ctx = stream->codec;
    codec_ctx->codec_id = output_format->video_codec;
    codec_ctx->codec_type = AVMEDIA_TYPE_VIDEO;
    codec_ctx->pix_fmt = AV_PIX_FMT_YUV420P; // 或者你需要的其他像素格式
    codec_ctx->width = 640;  // 视频宽度
    codec_ctx->height = 480; // 视频高度
    codec_ctx->time_base = (AVRational){1, 25}; // 时基为25fps
    codec_ctx->bit_rate = 400000; // 设置码率
     
    if ((ret = avio_open(&format_ctx->pb, format_ctx->filename, AVIO_FLAG_WRITE)) < 0) {
        fprintf(stderr, "Could not open output URL '%s'", format_ctx->filename);
        goto end;
    }
     
    // 打开编解码器并设置编解码器参数
    codec = avcodec_find_encoder(codec_ctx->codec_id);
    if (!codec) {
        fprintf(stderr, "Codec not found\n");
        ret = AVERROR_UNKNOWN;
        goto end;
    }
    if ((ret = avcodec_open2(codec_ctx, codec, NULL)) < 0) {
        fprintf(stderr, "Failed to open codec: %s\n", av_err2str(ret));
        goto end;
    }
     
    // 写入文件头
    if ((ret = avformat_write_header(format_ctx, NULL)) < 0) {
        fprintf(stderr, "Error occurred when opening output file: %s\n", av_err2str(ret));
        goto end;
    }
     
    // 编码帧并写入输出
    // ...
     
    end:
    avformat_free_context(format_ctx);
    return ret < 0;
    }
    
    
    c
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-08-16/Gpn8yW7l0wdjDertM1sB9OUcoxP5.png)

    SETUP是请求音视频，这里只有视频并且视频的control是track0，如果还要音频的话就还需要再发起一次SETUP请求，请求音频数据。RTP/AVP表示使用UDP传输音视频数据，cilent_port中记录了客户端的RTP和RTCP数据接收端口，响应中server_port表示服务端的RTP和RTCP数据发送端口，
    规定RTCP端口 = RTP端口 + 1。
    
     此外SETUP响应包中还会包含Session字段，表示当前会话，后面客户端请求都要带上这个Session字段，服务器用Session区分不同的客户端。
    
    
    c

    Transport: RTP/AVP/TCP;interleaved=0-1
    
    
    c

    * magic固定为0x24，
    * channel用来区分音视频等多路流媒体的通道，其中偶数通道为流媒体内容，奇数通道为RTCP
    * len表示数据包的长度减去开始的4个字节，即len字段之后的数据长度
    
    
    c