多进程并发服务器

思路

①Socket(); 创建监听套接字lfd（首字母大写是因为调用的自封装函数）

②Bind(); 绑定地址结构 Strcut sockaddr_in addr;

③Listen(); 设置监听上限

④

while (1) {
    cfd = Accpet(); //接收客户端连接请求 
    pid = fork();
    if(pid == 0) { //子进程read(cfd)→处理数据→write(cfd)
        close(lfd); //关闭用于建立连接的监听套接字lfd(因为子进程用不到)
        read();
        //具体处理数据
        write();
    } else if(pid > 0) { //父进程作用是持续监听看是否有新客户端请求连接
        close(cfd); //关闭用于与客户端通信的套接字cfd	
        //注册信号捕捉函数:SIGCHLD，在回调函数中完成子进程回收 while(waitpid());	
        contiue;
    }
}

ps：编译时要手动联合编译，即gcc server.c wrap.c -o server -Wall

实现

#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include<unistd.h>
#include<signal.h>
#include<sys/socket.h>
#include<arpa/inet.h>
#include<sys/wait.h>
#include<ctype.h>

#include "wrap.h"

#define SERV_PORT 8000

void catch_child(int signum) { //回收子进程
    while(waitpid(0, NULL, WNOHANG) > 0);
    return ;
}

int main(int argc, char *argv[]) {
    pid_t pid;
    int ret, i, n;
    int listen_fd, connect_fd;
    char buf[BUFSIZ], clit_ip[128];
    socklen_t clit_addr_len;
    struct sockaddr_in serv_addr, clit_addr;

    bzero(&serv_addr, sizeof(serv_addr)); //将服务器地址结构清零
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(SERV_PORT);
    serv_addr.sin_addr.s_addr = htonl(INADDR_ANY);

    listen_fd = Socket(AF_INET, SOCK_STREAM, 0);

    int opt = 1; //设置端口复用
    setsockopt(listen_fd, SOL_SOCKET, SO_REUSEADDR, (void *)&opt, sizeof(opt));

    Bind(listen_fd, (struct sockaddr *)&serv_addr, sizeof(serv_addr));

    Listen(listen_fd, 128);

    clit_addr_len = sizeof(clit_addr);
    while(1) {
        connect_fd = Accept(listen_fd, (struct sockaddr *)&clit_addr, &clit_addr_len); //阻塞监听

        pid = fork(); //先建立连接再fork,避免多个进程同时监听同一个listen_fd

        if(pid < 0) {
            perr_exit("fork error");
        } else if(pid == 0) {
            close(listen_fd);
            break;
        } else { //父进程
            struct sigaction act;
            act.sa_handler = catch_child;
            sigemptyset(&act.sa_mask);
            act.sa_flags = 0;
            //注册信号捕捉函数
            ret = sigaction(SIGCHLD, &act, NULL);
            if(ret != 0) perr_exit("sigaction error");

            close(connect_fd);
            continue;
        }
    }

    if(pid == 0) {
        printf("client: IP = %s PORT = %d\n",
                        inet_ntop(AF_INET, &clit_addr.sin_addr.s_addr, clit_ip, sizeof(clit_ip)),
                        ntohs(clit_addr.sin_port));

        while(1) {
            n = Read(connect_fd, buf, sizeof(buf));
            if(n == 0) { //读到0说明服务器检测到客户端关闭了
                close(connect_fd);
                exit(1);
            }
            for(i = 0; i < sizeof(buf); i++) buf[i] = toupper(buf[i]);
            Write(connect_fd, buf, n);
        }
    }

    return 0;
}

---

多线程并发服务器

思路

①Socket(); 创建监听套接字lfd

②Bind(); 绑定地址结构 Strcut sockaddr_in addr;

③Listen(); 设置监听上限

④

while (1) {		
    cfd = Accept(lfd, );
    pthread_create(&tid, NULL, tfn, (void *)cfd);
    pthread_detach(tid);  //设置线程分离，用于回收子线程
    //pthead_join(tid, void **); //如果要回收子线程的退出状态，就只能用join函数，需要新建一个线程专门用于回收子线程
    //ps：兄弟线程之间可以回收，兄弟进程之间不能回收（因此才借助信号机制）
}

⑤子线程：

void *tfn(void *arg) {
    //close(lfd); //子线程不能关闭监听套接字lfd，因为主线程要使用lfd
    read(cfd);
    //具体处理数据
    write(cfd);
    pthread_exit((void *)10);	
}

ps：编译时要手动联合编译，别忘了链接pthread库，即gcc server.c wrap.c -o server -Wall -pthread

实现

#include<stdio.h>
#include<string.h>
#include<unistd.h>
#include<pthread.h>
#include<sys/socket.h>
#include<arpa/inet.h>
#include<ctype.h>

#include"wrap.h"

#define SERV_PORT 8000
#define MAXLINE 8192

void *do_work(void *arg) { //线程回调函数
    int i, n;
    int connect_fd = *(int *)arg; //如果直接传值,void是64位,int32位,会丢失数据

    char buf[MAXLINE];

    while(1) {
        n = Read(connect_fd, buf, MAXLINE);
        if(n == 0) {
            printf("the client %d closed~\n", connect_fd);
            break;
        }
        for(i = 0; i < n; i++) buf[i] = toupper(buf[i]);
        Write(connect_fd, buf, n);
    }
    Close(connect_fd);

    return (void *)0;
}

int main(int argc, char *argv[]) {
    pthread_t tid;
    int listen_fd;
    int connect_fd[256];
    char clit_ip[128];
    struct sockaddr_in serv_addr, clit_addr;
    socklen_t clit_addr_len;

    bzero(&serv_addr, sizeof(serv_addr));
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(SERV_PORT);
    serv_addr.sin_addr.s_addr = htonl(INADDR_ANY);

    listen_fd = Socket(AF_INET, SOCK_STREAM, 0);

    int opt = 1; //设置端口复用
    setsockopt(listen_fd, SOL_SOCKET, SO_REUSEADDR, (void *)&opt, sizeof(opt));

    Bind(listen_fd, (struct sockaddr *)&serv_addr, sizeof(serv_addr));

    Listen(listen_fd, 128);

    int i = 0;
    clit_addr_len = sizeof(clit_addr);
    while(1) {
        connect_fd[i] = Accept(listen_fd, (struct sockaddr *)&clit_addr, &clit_addr_len); //阻塞监听
        printf("client: IP = %s PORT = %d\n",
                        inet_ntop(AF_INET, &clit_addr.sin_addr.s_addr, clit_ip, sizeof(clit_ip)),
                        ntohs(clit_addr.sin_port));
        //pthread_create创建的线程接收connect_fd的地址，但由于connect_fd在主线程中不断被复用，每次新连接会覆盖这个值
        //导致多个线程可能同时访问同一个connect_fd，因此创建connect_fd数组存不同的通信套接字，使每一个子线程访问不同的
        pthread_create(&tid, NULL, do_work, &connect_fd[i]);
        pthread_detach(tid); //设置线程分离,避免产生僵尸线程
        i++;
    }

    return 0;
}

---

多路I/O转接服务器

原理：借助内核与函数(select、poll、epoll)来同时监听多个客户端连接、数据通信事件，从而避免了阻塞式监听，提高了服务器的性能和响应效率

select

select函数

头文件：#include<sys/select.h>

int select(int nfds, fd_set *readfds, fd_set *writefds,fd_set *exceptfds, struct timeval *timeout);

参数：

• nfds：监听的所有文件描述符中最大的那个文件描述符+1
• readfds：传入传出参数，监听读事件的文件描述符集合
• writefds：传入传出参数，监听写事件的文件描述符集合
• exceptfds：传入传出参数，监听异常事件的文件描述符集合
• timeout：指定超时时间，即调用后等待对应事件满足的最长等待时长
  • NULL：阻塞等待
  • 设置timeval＞0：设置监听超时时长
  • 设置timeval= 0：非阻塞监听，轮询

返回值：

• ＞0：所有监听集合(三个)中满足对应事件的总数
• 0：没有满足监听条件的文件描述符
• -1：errno

文件描述符集合相关函数

①void FD_ZERO(fd_set *set); 将一个文件描述符集合置0（文件描述符集合本质是位图，下标代表文件描述符，值是0或1）

fd_set rset;
FD_ZERO(&rset);

②void FD_SET(int fd, fd_set *set); 将待监听的文件描述符，添加到监听集合中

FD_SET(3, &rset);
FD_SET(5, &rset);

③void FD_CLR(int fd, fd_set *set); 将一个文件描述符从监听集合中移除

FD_CLR（4, &rset）;

④int FD_ISSET(int fd, fd_set *set); 判断一个文件描述符是否在监听集合中

FD_ISSET(4， &rset); //返回值：1代表在，0代表不在

思路

int maxfd = 0; //记录最大的文件描述符
lfd = socket(); //创建监听套接字
maxfd = lfd；
bind(); //绑定地址结构
listen(); //设置监听上限

fd_set rset; //创建读事件监听集合
fd_set allset; //创建监听集合备份，因为rset作为传入传出参数被调用后就改变了
FD_ZERO(&allset); //将监听集合清空
FD_SET(lfd, &allset); //将lfd添加到监听集合中

while(1) {
	rset = allset; //将监听集合备份赋值给读事件监听集合
	ret = select(lfd+1, &rset, NULL, NULL, NULL); //监听文件描述符集合对应事件 
	if(ret > 0) { //有监听的描述符满足对应事件
		if(FD_ISSET(lfd, &rset)) { //说明有新的客户端请求连接
			cfd = accept(); //建立连接，返回用于通信的文件描述符
			if(maxfd < cfd) maxfd = cfd;
			FD_SET(cfd, &allset); //添加到监听通信描述符集合中 
		}
		for(i = lfd + 1; i <= maxfd; i++) {
			FD_ISSET(i, &rset) //有读写事件发生
			read();
			//具体处理事务
			write();
		}	
	}
}

实现

#include<stdio.h>
#include<string.h>
#include<unistd.h>
#include<pthread.h>
#include<sys/socket.h>
#include<arpa/inet.h>
#include<ctype.h>
#include<sys/select.h>

#include"wrap.h"

#define SERV_PORT 8000
#define MAXLINE 8192

int main(int argc, char *argv[]) {
    int listen_fd, connect_fd;
    char buf[BUFSIZ];
    socklen_t clit_addr_len;
    struct sockaddr_in serv_addr, clit_addr;

    bzero(&serv_addr, sizeof(serv_addr)); //将服务器地址结构清零
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(SERV_PORT);
    serv_addr.sin_addr.s_addr = htonl(INADDR_ANY);

    listen_fd = Socket(AF_INET, SOCK_STREAM, 0);

    int opt = 1; //设置端口复用
    setsockopt(listen_fd, SOL_SOCKET, SO_REUSEADDR, (void *)&opt, sizeof(opt));

    Bind(listen_fd, (struct sockaddr *)&serv_addr, sizeof(serv_addr));

    Listen(listen_fd, 128);

    int ret, n, i, j;
    int maxfd = listen_fd; //记录最大的文件描述符（不超过1024）
    fd_set rset, allset; //定义读监听集合和备份集合(因为rset作为传入传出参数被调用后会改变数据)

    FD_ZERO(&allset); //清空监听集合
    FD_SET(listen_fd, &allset);

    while(1) {
        rset = allset; //备份
        ret = select(maxfd + 1, &rset, NULL, NULL, NULL); //使用select监听  
        if(ret < 0) {
            perr_exit("select error");
        }

        if(FD_ISSET(listen_fd, &rset)) { //首先判断listen_fd是否满足监听的读事件，即先处理客户端连接请求
            clit_addr_len = sizeof(clit_addr);
            connect_fd = Accept(listen_fd, (struct sockaddr *)&clit_addr, &clit_addr_len); //与客户端建立连接，非阻塞
            FD_SET(connect_fd, &allset); //将新产生的fd添加到监听集合中
            if(maxfd < connect_fd) maxfd = connect_fd; //更新maxfd

            if(ret == 1) { //说明select只返回了一个需要处理的事件且是建立连接事件，没有c/s传输事件，后续无需执行
                continue;
            }
        }
        //循环判断，效率较低
        for(i = listen_fd + 1; i <= maxfd; i++) { //处理满足读事件的fd，即c/s之间的数据传输
            if(FD_ISSET(i, &rset)) { //找到满足读事件的fd
                n = read(i, buf, sizeof(buf));
                if(n == 0) { //说明客户端已关闭连接
                    Close(i);
                    FD_CLR(i, &allset); //将关闭的fd从监听集合中移除
                } else if(n == -1) {
                    perr_exit("read error");
                }

                for(j = 0; j < n; j++) buf[j] = toupper(buf[j]);
                Write(i, buf, n);
                Write(STDOUT_FILENO, buf, n);
            }
        }
    }

    Close(listen_fd);

    return 0;
}

优缺点

• 优点：支持跨平台 win、linux、macOS、Unix、类Unix、mips
• 缺点：
  • 监听上限受文件描述符数量限制，最大1024
  • 检测到满足条件的fd，只能自己添加业务逻辑，提高了编码难度

poll

函数原型

int poll(struct pollfd *fds, nfds_t nfds, int timeout);

struct pollfd {		
    int fd; 待监听的文件描述符
    short events; 待监听的文件描述符对应的监听事件(取值：POLLIN、POLLOUT、POLLERR)
    short revnets; 传入时赋值0，如果满足对应事件的话，返回非0(和对应的POLLIN、POLLOUT或POLLERR进行&判断)
}

参数：

• fds：监听的文件描述符数组
• nfds：监听数组的实际有效监听个数
• timeout：
  • 0：超时时长，单位毫秒
  • -1：阻塞等待
  • 0：不阻塞

返回值：满足对应监听事件的文件描述符总个数

优缺点：

• 优点：
  • 自带数组结构
  • 可以将监听事件集合和返回事件集合分离
  • 可以拓展监听上限，超出1024限制
• 缺点：
  • 不能跨平台，只支持Linux
  • 无法直接定位到满足监听事件的文件描述符， 编码难度较大

突破1024文件描述符限制

查看：

cat /proc/sys/fs/file-max：当前计算机所能打开的最大文件个数(取决于硬件)

ulimit -a：当前用户下的进程，默认打开文件描述符个数，默认为 1024

修改：
sudo vim /etc/security/limits.conf，写入：

* soft nofile 65536 设置默认值，可以直接借助命令ulimit -n 21000进行修改（注销用户，使其生效）

* hard nofile 100000 设置命令修改的上限

epoll

相关函数

int epoll_create(int size); 创建一棵监听红黑树

• 参数：创建的红黑树的监听节点数量(仅供内核参考)
• 返回值：指向新创建的红黑树根节点的fd，失败返回-1

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); 操作监听红黑树

参数：

• epfd：epoll_create函数的返回值
• op：对该监听红黑树所做的操作
  • EPOLL_CTL_ADD：添加fd到监听红黑树
  • EPOLL_CTL_MOD：修改fd在监听红黑树上的监听事件
  • EPOLL_CTL_DEL：将一个fd从监听红黑树上移除，取消监听(当操作是移除时，最后一个参数可以传NULL)
• fd：待监听的fd
• event：本质是struct epoll_event结构体的地址，该结构体有两个成员变量：events和data
  • events：
    • EPOLLIN
    • EPOLLOUT
    • EPOLLERR
  • data：联合体(共用体)
    • int fd; 对应监听事件的fd
    • void *ptr;
    • uint32_t u32;
    • uint64_t u64;

返回值：

• 成功：0
• 失败：-1，errno

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout); 阻塞监听

参数：

• epfd：epoll_create 函数的返回值
• events：传出参数，是一个数组，记录满足监听条件的那些fd结构体
• maxevents：数组元素的总个数1024
• timeout：超时时间
  • -1：阻塞
  • 0：非阻塞
  • >0：超时时间(毫秒)

返回值：

• > 0：满足监听的总个数(可以用作循环上限)
• 0：没有满足监听事件的fd
• -1：失败，errno

优缺点：

• 优点：
  • 高效
  • 可以突破1024文件描述符限制
• 缺点：不能跨平台，只支持Linux

实现

#include<stdio.h>
#include<string.h>
#include<unistd.h>
#include<pthread.h>
#include<sys/socket.h>
#include<arpa/inet.h>
#include<ctype.h>
#include<sys/epoll.h>

#include"wrap.h"

#define SERV_PORT 8000
#define MAXLINE 8192
#define OPEN_MAX 5000

int main(int argc, char *argv[]) {
    int listen_fd, connect_fd, sock_fd;
    char buf[MAXLINE], str[INET_ADDRSTRLEN];
    struct sockaddr_in serv_addr, clit_addr;
    socklen_t clit_addr_len;
    ssize_t nready, epfd, res;
    int num = 0, n, i;
    struct epoll_event tep, ep[OPEN_MAX]; //tep:epoll_ctl的参数 ep[]:epoll_wait的参数

    bzero(&serv_addr, sizeof(serv_addr)); //将服务器地址结构清零
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(SERV_PORT);
    serv_addr.sin_addr.s_addr = htonl(INADDR_ANY);

    listen_fd = Socket(AF_INET, SOCK_STREAM, 0);

    int opt = 1; //设置端口复用
    setsockopt(listen_fd, SOL_SOCKET, SO_REUSEADDR, (void *)&opt, sizeof(opt));

    Bind(listen_fd, (struct sockaddr *)&serv_addr, sizeof(serv_addr));

    Listen(listen_fd, 128);

    epfd = epoll_create(OPEN_MAX); //创建epoll模型，epfd指向红黑树根节点 
    if(epfd == -1) perr_exit("epoll_create error");

    tep.events = EPOLLIN; //指定listen_fd的监听事件为读
    tep.data.fd = listen_fd;

    res = epoll_ctl(epfd, EPOLL_CTL_ADD, listen_fd, &tep); //将listen_fd以及对应的结构体添加到监听红黑树中
    if(res == -1) perr_exit("epoll_ctl error");

    while(1) {
        //使用epoll监听,ep传出参数是struct epoll_event类型数组,数组名本身就是地址了，因此不用加&
        nready = epoll_wait(epfd, ep, OPEN_MAX, -1); //OPEN_MAX为数组总容量，-1表示永久阻塞监听 
        if(nready == -1) perr_exit("epoll_wait error");

        for(i = 0; i < nready; i++) {
            if(ep[i].data.fd == listen_fd) { //判断满足事件的fd是不是listen_fd，即先处理客户端连接请求
                clit_addr_len = sizeof(clit_addr);
                connect_fd = Accept(listen_fd, (struct sockaddr *)&clit_addr, &clit_addr_len); //与客户端建立连，>    非阻塞
                printf("received from %s at PORT %d\n",
                       inet_ntop(AF_INET, &clit_addr.sin_addr, str, sizeof(str)),
                       ntohs(clit_addr.sin_port));

                tep.events = EPOLLIN | EPOLLET; //边缘触发
                tep.data.fd = connect_fd;
                res = epoll_ctl(epfd, EPOLL_CTL_ADD, connect_fd, &tep); //将新客户端socket添加到epoll中
                if(res == -1) perr_exit("epoll_ctl error");
            } else { //处理客户端请求
                sock_fd = ep[i].data.fd;
                n = Read(sock_fd, buf, sizeof(buf));
                if(n == 0) { //读到0，说明客户端已关闭连接
                    res = epoll_ctl(epfd, EPOLL_CTL_DEL, sock_fd, NULL); //将已经关闭连接的fd从监听红黑树中移除
                    if(res == -1) perr_exit("epoll_ctl error");
                    Close(sock_fd);
                    printf("client[%d] closed connection\n", sock_fd);
                } else if(n < 0) { //出错
                    perr_exit("read n<0 error");
                    res = epoll_ctl(epfd, EPOLL_CTL_DEL, sock_fd, NULL); //将已经关闭连接的fd从监听红黑树中移除
                    Close(sock_fd);
                } else {
                    for(i = 0; i < n; i++) buf[i] = toupper(buf[i]);
                    Write(sock_fd, buf, n);
                    Write(STDOUT_FILENO, buf, n);
                }
            }
        }
    }

    Close(listen_fd);

    return 0;
}

epoll进阶

事件模型

ET模型

边沿触发

缓冲区有剩余未读尽的数据不会导致epoll_wait再次触发，只有新的事件满足才会触发

struct epoll_event event;
event.events = EPOLLIN | EPOLLET; //边沿触发

LT模型

水平触发(默认使用该模式)

缓冲区有剩余未读尽的数据会导致epoll_wait再次触发

struct epoll_event event;
event.events = EPOLLIN; //默认就是水平触发

结论

epoll 的ET模式更高效，但是只支持非阻塞模式(忙轮询)

struct epoll_event event;
event.events = EPOLLIN | EPOLLET;
epoll_ctl(epfd, EPOLL_CTL_ADD, connect_fd， &event);    
//修改套接字为非阻塞模式
int flg = fcntl(connect_fd, F_GETFL);  
flg |= O_NONBLOCK;
fcntl(connect_fd, F_SETFL, flg);

epoll反应堆模型

属于Reactor模型的一种具体实现

epoll反应堆模型 = epoll ET模式 + 非阻塞、忙轮询 + void *ptr

反应堆不仅要监听connect_fd的读事件，还要监听connect_fd的写事件，不能读到直接写(因为实际通信时的网络环境很复杂，比如滑动窗口的存在，因此不能想写就写，既然我们读之前要判断一下，那写事件也理应判断)

自定义函数作用：

• eventset函数：为fd设置不同的回调函数
  • lfd→acceptconn()，建立连接
  • cfd→recvdata()，读数据
  • cfd→senddata()，写数据
• eventadd函数：将一个fd添加到监听红黑树上，并设置监听事件

在网络编程中，recv()函数相当于read()函数(当把最后一个参数flags置0时)，send()函数相当于write()函数

与常规epoll流程对比

原来：socket、bind、listen→epoll_create创建监听红黑树→返回 epfd→epoll_ctl()向树上添加一个监听fd→while(1)→epoll_wait监听→对应监听fd有事件满足→返回监听满足数组→判断返回数组元素→lfd满足→accept→cfd满足→read()→处理数据→write回去

反应堆：socket、bind、listen→epoll_create创建监听红黑树→返回 epfd→epoll_ctl()向树上添加一个监听fd→while(1)→epoll_wait监听→对应监听fd有事件满足→返回监听满足数组→判断返回数组元素→lfd满足→accept→cfd满足→read()→处理数据→cfd从监听红黑树上摘下→events改为EPOLLOUT→EPOLL_CTL_ADD重新放到红黑上监听写事件→等待epoll_wait返回→满足说明cfd可写→write回去→cfd从监听红黑树上摘下→events改为EPOLLIN→EPOLL_CTL_ADD重新放到红黑上监听读事件→epoll_wait继续监听

实现

/*
 *epoll基于非阻塞I/O事件驱动
 */
#include <stdio.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#include <time.h>

#define MAX_EVENTS  1024                                    //监听上限数
#define BUFLEN 4096
#define SERV_PORT   8080

void recvdata(int fd, int events, void *arg);
void senddata(int fd, int events, void *arg);

/* 描述就绪文件描述符相关信息 void *ptr里存的就是该结构体*/

struct myevent_s {
    int fd;                                                 //要监听的文件描述符
    int events;                                             //对应的监听事件
    void *arg;                                              //泛型参数
    void (*call_back)(int fd, int events, void *arg);       //回调函数
    int status;                                             //是否在监听:1->在红黑树上(监听), 0->不在(不监听)
    char buf[BUFLEN];
    int len;
    long last_active;                                       //记录每次加入红黑树 g_efd 的时间值
};

int g_efd;                                                  //全局变量, 保存epoll_create返回的文件描述符
struct myevent_s g_events[MAX_EVENTS+1];                    //自定义结构体类型数组. +1-->listen fd


/*将结构体 myevent_s 成员变量 初始化*/

void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg)
{
    ev->fd = fd;
    ev->call_back = call_back;
    ev->events = 0;
    ev->arg = arg;
    ev->status = 0;
    memset(ev->buf, 0, sizeof(ev->buf));
    ev->len = 0;
    ev->last_active = time(NULL);                       //调用eventset函数的时间

    return;
}

/* 向 epoll监听的红黑树 添加一个 文件描述符 */

//eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]);
void eventadd(int efd, int events, struct myevent_s *ev)
{
    struct epoll_event epv = {0, {0}};
    int op;
    epv.data.ptr = ev;
    epv.events = ev->events = events;       //EPOLLIN 或 EPOLLOUT

    if (ev->status == 0) {                                          //已经在红黑树 g_efd 里
        op = EPOLL_CTL_ADD;                 //将其加入红黑树 g_efd, 并将status置1
        ev->status = 1;
    }

    if (epoll_ctl(efd, op, ev->fd, &epv) < 0)                       //实际添加/修改
        printf("event add failed [fd=%d], events[%d]\n", ev->fd, events);
    else
        printf("event add OK [fd=%d], op=%d, events[%0X]\n", ev->fd, op, events);

    return ;
}

/* 从epoll 监听的 红黑树中删除一个 文件描述符*/

void eventdel(int efd, struct myevent_s *ev)
{
    struct epoll_event epv = {0, {0}};

    if (ev->status != 1)                                        //不在红黑树上
        return ;

    //epv.data.ptr = ev;
    epv.data.ptr = NULL;
    ev->status = 0;                                             //修改状态
    epoll_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv);                //从红黑树 efd 上将 ev->fd 摘除

    return ;
}

/* 当有文件描述符就绪, epoll返回, 调用该函数与客户端建立链接 */
/* 为cfd的*ptr赋值自定义结构体，设置回调函数recvdata() 默认先读 */
void acceptconn(int lfd, int events, void *arg)
{
    struct sockaddr_in cin;
    socklen_t len = sizeof(cin);
    int cfd, i;

    if ((cfd = accept(lfd, (struct sockaddr *)&cin, &len)) == -1) {
        if (errno != EAGAIN && errno != EINTR) {
            /* 暂时不做出错处理 */
        }
        printf("%s: accept, %s\n", __func__, strerror(errno));
        return ;
    }

    do {
        for (i = 0; i < MAX_EVENTS; i++)                                //从全局数组g_events中找一个空闲元素
            if (g_events[i].status == 0)                                //类似于select中找值为-1的元素
                break;                                                  //跳出 for

        if (i == MAX_EVENTS) {
            printf("%s: max connect limit[%d]\n", __func__, MAX_EVENTS);
            break;                                                      //跳出do while(0) 不执行后续代码
        }

        int flag = 0;
        if ((flag = fcntl(cfd, F_SETFL, O_NONBLOCK)) < 0) {             //将cfd也设置为非阻塞
            printf("%s: fcntl nonblocking failed, %s\n", __func__, strerror(errno));
            break;
        }

        /* 给cfd设置一个 myevent_s 结构体, 回调函数 设置为 recvdata */
        eventset(&g_events[i], cfd, recvdata, &g_events[i]);   
        eventadd(g_efd, EPOLLIN, &g_events[i]);                         //将cfd添加到红黑树g_efd中,监听读事件

    } while(0);

    printf("new connect [%s:%d][time:%ld], pos[%d]\n", 
            inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i);
    return ;
}

/* 读数据 并把该fd的回调函数改为senddata() */
void recvdata(int fd, int events, void *arg)
{
    struct myevent_s *ev = (struct myevent_s *)arg;
    int len;

    len = recv(fd, ev->buf, sizeof(ev->buf), 0);            //读文件描述符, 数据存入myevent_s成员buf中

    eventdel(g_efd, ev);        //将该节点从红黑树上摘除

    if (len > 0) {

        ev->len = len;
        ev->buf[len] = '\0';                                //手动添加字符串结束标记
        printf("C[%d]:%s\n", fd, ev->buf);

        eventset(ev, fd, senddata, ev);                     //设置该 fd 对应的回调函数为 senddata
        eventadd(g_efd, EPOLLOUT, ev);                      //将fd加入红黑树g_efd中,监听其写事件

    } else if (len == 0) {
        close(ev->fd);
        /* ev-g_events 地址相减得到偏移元素位置 */
        printf("[fd=%d] pos[%ld], closed\n", fd, ev-g_events);
    } else {
        close(ev->fd);
        printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno));
    }

    return;
}

/* 写数据 并把该fd的回调函数改为recvdata() 如此循环 */
void senddata(int fd, int events, void *arg)
{
    struct myevent_s *ev = (struct myevent_s *)arg;
    int len;

    len = send(fd, ev->buf, ev->len, 0);                    //直接将数据 回写给客户端。未作处理

    eventdel(g_efd, ev);                                //从红黑树g_efd中移除

    if (len > 0) {

        printf("send[fd=%d], [%d]%s\n", fd, len, ev->buf);
        eventset(ev, fd, recvdata, ev);                     //将该fd的 回调函数改为 recvdata
        eventadd(g_efd, EPOLLIN, ev);                       //从新添加到红黑树上， 设为监听读事件

    } else {
        close(ev->fd);                                      //关闭链接
        printf("send[fd=%d] error %s\n", fd, strerror(errno));
    }

    return ;
}

/*创建 socket, 初始化lfd 为lfd的*ptr赋值自定义结构体，设置回调函数acceptconn()*/

void initlistensocket(int efd, short port)
{
    struct sockaddr_in sin;

    int lfd = socket(AF_INET, SOCK_STREAM, 0);
    fcntl(lfd, F_SETFL, O_NONBLOCK);                                            //将socket设为非阻塞

	memset(&sin, 0, sizeof(sin));                                               //bzero(&sin, sizeof(sin))
	sin.sin_family = AF_INET;
	sin.sin_addr.s_addr = INADDR_ANY;
	sin.sin_port = htons(port);

	bind(lfd, (struct sockaddr *)&sin, sizeof(sin));

	listen(lfd, 20);

    /* void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg);  */
    eventset(&g_events[MAX_EVENTS], lfd, acceptconn, &g_events[MAX_EVENTS]);

    /* void eventadd(int efd, int events, struct myevent_s *ev) */
    eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]);

    return ;
}

int main(int argc, char *argv[])
{
    unsigned short port = SERV_PORT;

    if (argc == 2)
        port = atoi(argv[1]);                           //使用用户指定端口.如未指定,用默认端口

    g_efd = epoll_create(MAX_EVENTS+1);                 //创建红黑树,返回给全局 g_efd 
    if (g_efd <= 0)
        printf("create efd in %s err %s\n", __func__, strerror(errno));

    initlistensocket(g_efd, port);                      //初始化监听socket

    struct epoll_event events[MAX_EVENTS+1];            //保存已经满足就绪事件的文件描述符数组 
	printf("server running:port[%d]\n", port);

    int checkpos = 0, i;
    while (1) {
        /* 超时验证，每次测试100个链接，不测试listenfd 当客户端60秒内没有和服务器通信，则关闭此客户端链接 */

        long now = time(NULL);                          //当前时间
        for (i = 0; i < 100; i++, checkpos++) {         //一次循环检测100个。 使用checkpos控制检测对象
            if (checkpos == MAX_EVENTS)
                checkpos = 0;
            if (g_events[checkpos].status != 1)         //不在红黑树 g_efd 上
                continue;

            long duration = now - g_events[checkpos].last_active;       //客户端不活跃的世间

            if (duration >= 60) {
                close(g_events[checkpos].fd);                           //关闭与该客户端链接
                printf("[fd=%d] timeout\n", g_events[checkpos].fd);
                eventdel(g_efd, &g_events[checkpos]);                   //将该客户端 从红黑树 g_efd移除
            }
        }

        /*监听红黑树g_efd, 将满足的事件的文件描述符加至events数组中, 1秒没有事件满足, 返回 0*/
        int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000);
        if (nfd < 0) {
            printf("epoll_wait error, exit\n");
            break;
        }

        for (i = 0; i < nfd; i++) {
            /*使用自定义结构体myevent_s类型指针, 接收 联合体data的void *ptr成员*/
            struct myevent_s *ev = (struct myevent_s *)events[i].data.ptr;  

            if ((events[i].events & EPOLLIN) && (ev->events & EPOLLIN)) {           //读就绪事件
                ev->call_back(ev->fd, events[i].events, ev->arg);
                //lfd  EPOLLIN  
            }
            if ((events[i].events & EPOLLOUT) && (ev->events & EPOLLOUT)) {         //写就绪事件
                ev->call_back(ev->fd, events[i].events, ev->arg);
            }
        }
    }

    /* 退出前释放所有资源 */
    return 0;
}