帮助文档
专业提供香港服务器、香港云服务器、香港高防服务器租用、香港云主机、台湾服务器、美国服务器、美国云服务器vps租用、韩国高防服务器租用、新加坡服务器、日本服务器租用 一站式全球网络解决方案提供商!专业运营维护IDC数据中心,提供高质量的服务器托管,服务器机房租用,服务器机柜租用,IDC机房机柜租用等服务,稳定、安全、高性能的云端计算服务,实时满足您的多样性业务需求。 香港大带宽稳定可靠,高级工程师提供基于服务器硬件、操作系统、网络、应用环境、安全的免费技术支持。
服务器资讯 / 香港服务器租用 / 香港VPS租用 / 香港云服务器 / 美国服务器租用 / 台湾服务器租用 / 日本服务器租用 / 官方公告 / 帮助文档
ESP32-CAM视频传输至公网服务器并转发视频数据流
发布时间:2024-03-06 04:23:10   分类:帮助文档
ESP32-CAM视频传输至公网服务器并转发视频数据流         有关esp32-cam目前大多数文章都是在写如何在内网(同一网络环境下)的视频传输, 即便是传输服务器上, 视频图像也只是显示在服务器中, 无法将视频数据流再转发到客户端. 先介绍一下大致思路, 很简单, esp32-cam把数据流发送到公网服务器, 服务器将数据原样透传给用户的电脑端, esp32-cam使用的c语言, 公网服务器端使用nodejs, 而电脑客户端使用了python                                          esp32-cam ==> 公网服务器 ==> 电脑客户端 所有的传输都是在tcp协议下进行的, 所以小伙伴在公网服务器上开端口时记得选择tcp协议. 首先声明下esp32-cam和电脑客户端的代码都是参考了dsxcode这位博主的代码, 以下这两部分的代码也只做转载. 参考连接: ESP32 CAM与服务器(python)TCP视频传输_dsxcode的博客-博客_esp32 tcp数据传输 上代码, esp32-cam端使用的Arduino c语言编写: #include #include #include "esp_camera.h" #include const char *ssid = "xxxx"; //wifi用户名 const char *password = "xxxx"; //wifi密码 const IPAddress serverIP(xxxx); //你自己的公网服务器ip地址 uint16_t serverPort = xxxx; //服务器端口号(tcp协议) #define maxcache 1430 WiFiClient client; //声明一个客户端对象,用于与服务器进行连接 //CAMERA_MODEL_AI_THINKER类型摄像头的引脚定义 #define PWDN_GPIO_NUM 32 #define RESET_GPIO_NUM -1 #define XCLK_GPIO_NUM 0 #define SIOD_GPIO_NUM 26 #define SIOC_GPIO_NUM 27 #define Y9_GPIO_NUM 35 #define Y8_GPIO_NUM 34 #define Y7_GPIO_NUM 39 #define Y6_GPIO_NUM 36 #define Y5_GPIO_NUM 21 #define Y4_GPIO_NUM 19 #define Y3_GPIO_NUM 18 #define Y2_GPIO_NUM 5 #define VSYNC_GPIO_NUM 25 #define HREF_GPIO_NUM 23 #define PCLK_GPIO_NUM 22 static camera_config_t camera_config = { .pin_pwdn = PWDN_GPIO_NUM, .pin_reset = RESET_GPIO_NUM, .pin_xclk = XCLK_GPIO_NUM, .pin_sscb_sda = SIOD_GPIO_NUM, .pin_sscb_scl = SIOC_GPIO_NUM, .pin_d7 = Y9_GPIO_NUM, .pin_d6 = Y8_GPIO_NUM, .pin_d5 = Y7_GPIO_NUM, .pin_d4 = Y6_GPIO_NUM, .pin_d3 = Y5_GPIO_NUM, .pin_d2 = Y4_GPIO_NUM, .pin_d1 = Y3_GPIO_NUM, .pin_d0 = Y2_GPIO_NUM, .pin_vsync = VSYNC_GPIO_NUM, .pin_href = HREF_GPIO_NUM, .pin_pclk = PCLK_GPIO_NUM, .xclk_freq_hz = 20000000, .ledc_timer = LEDC_TIMER_0, .ledc_channel = LEDC_CHANNEL_0, .pixel_format = PIXFORMAT_JPEG, .frame_size = FRAMESIZE_VGA, .jpeg_quality = 12, .fb_count = 1, }; void wifi_init() { WiFi.mode(WIFI_STA); WiFi.setSleep(false); //关闭STA模式下wifi休眠,提高响应速度 WiFi.begin(ssid, password); while (WiFi.status() != WL_CONNECTED) { delay(500); Serial.print("."); } Serial.println("WiFi Connected!"); Serial.print("IP Address:"); Serial.println(WiFi.localIP()); } esp_err_t camera_init() { //initialize the camera esp_err_t err = esp_camera_init(&camera_config); if (err != ESP_OK) { Serial.println("Camera Init Failed"); return err; } sensor_t * s = esp_camera_sensor_get(); //initial sensors are flipped vertically and colors are a bit saturated if (s->id.PID == OV2640_PID) { // s->set_vflip(s, 1);//flip it back // s->set_brightness(s, 1);//up the blightness just a bit // s->set_contrast(s, 1); } Serial.println("Camera Init OK!"); return ESP_OK; } void setup() { Serial.begin(115200); wifi_init(); camera_init(); } void loop() { Serial.println("Try To Connect TCP Server!"); if (client.connect(serverIP, serverPort)) //尝试访问目标地址 { Serial.println("Connect Tcp Server Success!"); client.println("Frame Begin"); //46 72 61 6D 65 20 42 65 67 69 6E // 0D 0A 代表换行 //向服务器发送数据 while (1){ camera_fb_t * fb = esp_camera_fb_get(); uint8_t * temp = fb->buf; //这个是为了保存一个地址,在摄像头数据发送完毕后需要返回,否则会出现板子发送一段时间后自动重启,不断重复 if (!fb) { Serial.println( "Camera Capture Failed"); } else { //先发送Frame Begin 表示开始发送图片 然后将图片数据分包发送 每次发送1430 余数最后发送 //完毕后发送结束标志 Frame Over 表示一张图片发送完毕 client.print("Frame Begin"); //一张图片的起始标志 // 将图片数据分段发送 int leng = fb->len; int timess = leng/maxcache; int extra = leng%maxcache; for(int j = 0;j< timess;j++) { client.write(fb->buf, maxcache); for(int i =0;i< maxcache;i++) { fb->buf++; } } client.write(fb->buf, extra); client.print("Frame Over"); // 一张图片的结束标志 Serial.print("This Frame Length:"); Serial.print(fb->len); Serial.println(".Succes To Send Image For TCP!"); //return the frame buffer back to the driver for reuse fb->buf = temp; //将当时保存的指针重新返还 esp_camera_fb_return(fb); //这一步在发送完毕后要执行,具体作用还未可知。 } delay(30);//短暂延时 增加数据传输可靠性 } /* while (client.connected() || client.available()) //如果已连接或有收到的未读取的数据 { if (client.available()) //如果有数据可读取 { String line = client.readStringUntil('\n'); //读取数据到换行符 Serial.print("ReceiveData:"); Serial.println(line); client.print("--From ESP32--:Hello Server!"); } } Serial.println("close connect!"); client.stop(); //关闭客户端 */ } else { Serial.println("Connect To Tcp Server Failed!After 10 Seconds Try Again!"); client.stop(); //关闭客户端 } delay(10000); } 客户端代码, Python编写: import socket import threading import time import numpy as np import cv2 begin_data = b'Frame Begin' end_data = b'Frame Over' # 接收数据 # ESP32发送一张照片的流程 # 先发送Frame Begin 表示开始发送图片 然后将图片数据分包发送 每次发送1430 余数最后发送 # 完毕后发送结束标志 Frame Over 表示一张图片发送完毕 # 1430 来自ESP32cam发送的一个包大小为1430 接收到数据 data格式为b'' def handle_sock(sock, addr): temp_data = b'' t1 = int(round(time.time() * 1000)) while True: data = sock.recv(1430) # 如果这一帧数据包的开头是 b'Frame Begin' 则是一张图片的开始 if data[0:len(begin_data)] == begin_data: # 将这一帧数据包的开始标志信息(b'Frame Begin')清除 因为他不属于图片数据 data = data[len(begin_data):len(data)] # 判断这一帧数据流是不是最后一个帧 最后一针数据的结尾时b'Frame Over' while data[-len(end_data):] != end_data: temp_data = temp_data + data # 不是结束的包 将数据添加进temp_data data = sock.recv(1430) # 继续接受数据 直到接受的数据包包含b'Frame Over' 表示是这张图片的最后一针 # 判断为最后一个包 将数据去除 结束标志信息 b'Frame Over' temp_data = temp_data + data[0:(len(data) - len(end_data))] # 将多余的(\r\nFrame Over)去掉 其他放入temp_data # 显示图片 receive_data = np.frombuffer(temp_data, dtype='uint8') # 将获取到的字符流数据转换成1维数组 r_img = cv2.imdecode(receive_data, cv2.IMREAD_COLOR) # 将数组解码成图像 r_img = r_img.reshape(480, 640, 3) t2 = int(round(time.time() * 1000)) fps = 1000 // (t2 - t1) cv2.putText(r_img, "FPS" + str(fps), (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2) cv2.imshow('server_frame', r_img) if cv2.waitKey(1) & 0xFF == ord('q'): break t1 = t2 # print("接收到的数据包大小:" + str(len(temp_data))) # 显示该张照片数据大小 temp_data = b'' # 清空数据 便于下一章照片使用 server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server.connect(("xxxx", xxxx)) server.send('monitor'.encode("utf-8")) # server.bind(('0.0.0.0', 9090)) # server.listen(5) # CONNECTION_LIST = [] # 主线程循环接收客户端连接 handle_sock(server, '') # mac电脑直接在主线程运行 # while True: # sock, addr = server.accept() # CONNECTION_LIST.append(sock) # print('Connect--{}'.format(addr)) # 连接成功后开一个线程用于处理客户端 # handle_sock(server, '') # mac电脑直接在主线程运行 # client_thread = threading.Thread(target=handle_sock, args=(sock, addr)) # client_thread.start() 这里做一下特别说明, 在python代码的最后主线程那里, 由于我是运行在Mac电脑中, 所以不能开新的线程, 否则会报错, 如果你是运行在Windows电脑下, 请把注释打开, 创建新线程来运行. 下面是nodejs写的服务器端代码, 用于视频数据流的透传转发: // 创建tcp连接服务 const net = require('net') const { size } = require('underscore') const HOST = 'xxxx' const PORT = xxxx // 创建udp // const dgram = require("dgram") // const server = dgram.createSocket("udp4") // 统计连接客户端的个数 var count = 0 // 创建slave_server服务 const slave_server = new net.createServer() // slave_server.setEncoding = 'UTF-8' // 保存监视器的socket var s // 获得一个连接,该链接自动关联scoket对象 var tcp_sock = null slave_server.on('connection', sock => { tcp_sock = sock sock.name = ++count console.log(`当前连接客户端数:${count}`) // 接收client发来的信息 sock.on('data', data => { // console.log(`客户端${sock.name}发来一个信息:${data}`) // 判断是否为监视器发来的链接 if (data == 'monitor') { // 则把当前的socket保存起来 s = sock } else { s.write(data) } }) // 为socket添加error事件处理函数 sock.on('error', error => { //监听客户端异常 console.log('error' + error) sock.end() }) // 服务器关闭时触发,如果存在连接,这个事件不会被触发,直到所有的连接关闭 sock.on('close', () => { console.log(`客户端${sock.name}下线了`) count -= 1 }) }) // listen函数开始监听指定端口 slave_server.listen(PORT, () => { console.log(`服务器已启动,运行在:http://xxxx:xxxx`) }) 再次特别说明一下, 先启动服务器端代码, 然后在电脑端运行python端代码, 最后再烧录esp32-cam的代码, 第一次运行时电脑客户端可能报错直接就退出了, 没关系, 重新运行一下电脑客户端的python代码, 就能看到视频图像了. 我在服务器端的逻辑是接收到'monitor'字符串时认为是客户端监视器, 把对应的socket保存一下, 然后当接收到下一个socket连接时, 则默认认为是esp32-cam, 将之前保存的socket取出来, 把视频流数据转发出去, 此种方式只能有一个esp32-cam和一个客户端监视器, 有需要的小伙伴可以自行修改代码.
香港云服务器租用推荐
服务器租用资讯
·广东云服务有限公司怎么样
·广东云服务器怎么样
·广东锐讯网络有限公司怎么样
·广东佛山的蜗牛怎么那么大
·广东单位电话主机号怎么填写
·管家婆 花生壳怎么用
·官网域名过期要怎么办
·官网邮箱一般怎么命名
·官网网站被篡改怎么办
服务器租用推荐
·美国服务器租用
·台湾服务器租用
·香港云服务器租用
·香港裸金属服务器
·香港高防服务器租用
·香港服务器租用特价