2016년 출판된 가메출판사의 Advanced! 리눅스 시스템 네트워크 프로그래밍(김선영 저)을 공부 목적으로 정리한 것입니다.
Ch 2 파일처리
1 파일처리
1.1 저수준 및 고수준 파일 처리
저수준 파일 처리:
파일기술자라는 번호를 사용하여 입출력하는 방식
소켓이나 디바이스들을 핸들링할 때 사용하는 인터페이스는 모두 저수준 파일 처리와 같은 방식 사용
POSIX 공유 메모리의 IPC 관련 함수와 유사함
pread, pwrite를 통해 원자적 실행 보장
고수준 파일 처리:
FILE 구조체를 사용하여 입출력하는 방식
C언어 표준이며 추상화된 FILE 구조체를 사용(모든 운영체제에 포팅)
라이브러리 레벨의 버퍼링 존재
원자적 실행:
pread와 pwrite의 경우 파일의 커서 위치가 아닌 절대적인 오프셋 주소를 사용하기 때문에 스레드에서 사용해도 안전함(파일 출력이 섞이지 않음)
파이프에 입출력할 떄는 read, write를 PIPE_BUF 이내의 길이로 입출력하는 경우 원자성 보장됨
UNIX 계열에서 PIPE_BUF는 일반적으로 큰 값을 지원
1.2 형식화된 출력 기능
dprintf – 형식화된 출력을 하기 위해 snprintf와 write 함수를 함께 사용해야 했던 것을 보완함
len = snprintf(buf, sizeof(buf), “counter : %d”, i); write(fd, buf, len);
=> dprintf(fd, “counter: %d”, i);
(형식화된 입력은 아직 지원되지 않음)
2 저수준 파일 처리의 사용
open – 저수준 파일 처리의 핵심인 파일기술자를 얻는 함수
2.1 Synchronized I/O로 열기
현대 OS는 상대적으로 느린 디바이스들(디스크, 네트워크)에 대해서 좀더 빠른 디바이스(메모리)에 캐시하고 이후 실제적 기록을 하여 동기화함(우선순위 높은 작업부터 처리 => 응답성 ↑
몇몇 경우 실제 디바이스에 즉각적으로 기록된 내용이 반영되어야 함 => 동기화 기능 필요
동기화를 시키는 방법
1) 수동 – 동기화 필요 시점에 fsync와 fdatasync 함수 호출
2) 입출력이 발생 시(I/O 관련 함수 호출될 시) – open 함수 호출 시 O_SYNC(파일 내용과 메타 데이터 모두 동기화)나 O_DSYNC(메타 데이터 제외/파일 내용만) 옵션 플래그 설정 / O_RSYNC는 읽기 작업 동기화 추가
2.2 Non-blocking과 Asynchronous I/O
생략
2.3 close-on-exec로 열기
open 호출 시 O_CLOEXEC 플래그를 지정
=> exec 계열 함수 때문에 다른 프로세스 이미지로 교체될 시 자동으로 해당 파일기술자를 닫도록 함
2.4 파일 닫기
힙 메모리 사용 후 free를 해주듯, 파일도 닫지 않으면 자원 누수 발생
파일을 열고 닫을 때 파일 관련 정보를 읽고 버퍼를 할당하는 과정이 숨겨져 있기 때문에, 특정 파일에 계속 I/O가 발생할 땐 열어 두고 쓰는 것이 효율적
최대 열 수 있는 파일의 개수에 제한 존재(소켓이나 파이프 같은 통신용 디바이스 포함/max open files 설정은 ulimit -n 명령으로 확인)
=> 한두 번 쓰는 파일의 경우 쓰고 난 뒤 닫아주는 것이 좋음
2.5 파일 사용 패턴 조언
posix_fadvise - 열린 파일기술자를 앞으로 순차적으로 읽을 것인지 아니면 랜덤하게 접근할 것인 것 혹은 한 번만 쓰고 다시 쓰지 않을 지 알려주는 기능
순차적으로 접근 시, 현재 읽은 데이터의 다음 데이터를 프리패칭해서 미리 가져오도록 함 => 레이턴시↓
한 번만 사용 시, 해당 파일을 읽을 때 사용한 메모리 퇴출 => 메모리 효율적 사용 가능
3 고수준 파일 처리의 사용
C언어 표준 / 운영체제 레벨의 작업은 몰라도 쉽게 이해 가능 / 다양한 포매팅, 버퍼링 제공
저수준 파일 처리에 비해 비효율적 / 원자적 실행 힘듦
유닉스 표준 ⊃ C언어 표준
3.1 FILE 구조체와 버퍼링
구조체 내부 구조는 임플리먼테이션별로 다름
파일 스트림 - FILE 구조체를 통해 얻어지는 파일 I/O 매개물 / 가상화된 흐름 표현 => 사용자는 데이터가 어디에 어떻게 있는지 상관할 필요X
버퍼링을 제어하기 위한 함수 – fflush(수동으로 버퍼를 비우는 작업을 하므로 강제로 출력하게 됨) / setvbuf(버퍼링을 제어하는 방법, 기본은 완전 버퍼링)
버퍼링이 너무 길 시 반응속도나 버퍼 공간의 비효율적인 사용을 하게 됨
Fork나 exec 계열 또는 posix_spawn 함수를 사용하는 경우, fflush를 실행하여 버퍼를 비우는 행위 필요 – 기존에 버퍼링된 데이터의 순서가 역전되거나 파괴될 수 있기 때문
3.2 바이너리 데이터 입출력
fwrite, fread와 같은 함수를 사용하여 바이너리 데이터 사용
구조체를 사용하면 팩화된 경우나 주소 경계가 정렬되어 패딩이 발생하는 경우가 생길 수 있음 - 읽거나 쓸 때 정확한 위치 경계를 잡는 것이 중요 / 정적 캐스팅으로 데이터를 읽어오거나 사용할 때 매우 중요한 문제를 일으킬 수 있음
4 저수준과 고수준 파일 처리의 혼용
하나의 파일기술자를 복제하거나 파일기술자로부터 고수준 파일 처리 구조체를 생성하면, 실제로는 모두 한 개의 파일을 보고 있고 같은 채널에서 복사했기 때문에 fd0의 현재 오프셋 위치를 이동하면 공유된 모든 형태가 같이 변경된다. – linked channels
같은 파일을 여러 번 열 때는 linked channels가 아닌 independent channels로 열림
BUT independent channels이여도 하나의 파일에 여러 프로세스나 스레드가 입출력하면 순서 역전 문제 발생 가능 – 운영체제의 스케줄링 영향을 받음
=> 하나의 파일에 복수의 채널을 만드는 것을 지양해야 함
5 Padding/Pack과 XDR
CPU는 메모리 접근 시 특정 바이트의 배수로 정렬된 주소로 접근하면 더 효율적으로 작동
정렬되지 않은 주소에 접근하면 BUS ERROR 일으키며 프로세스를 종료 시키기도 함
=> 대부분의 임플리먼테이션은 구조체와 같이 다양한 크기의 멤버 변수가 모이는 경우 멤버 변수의 시작하는 주소를 특정한 짝수 바이트의 배수로 주소 경계를 맞춤 – XDR(External Data Representation) 규칙
5.1 XDR, RFC 1832
XDR의 목적 – 서로 다른 아키텍처 간에 데이터 교환 시 버스 오류 같은 현실적 문제나 성능 저하를 최소화하기 위해 정의된 데이터 표현 방식 => 언어 중립적인 프로토콜
32bit나 64bit의 주소 경계 권장
5.2 묵시적인 패딩과 명시적인 패딩
Implicit padding – 임플리멘테이션들이 정렬된 주소 경계를 만들기 위해 구조체에 정렬 패딩을 넣어준 것으로 숨겨져 있음
=> 혼란을 일으킬 수 있으니 Explicit padding으로 수정하는 것이 좋음(직접 패딩을 포함해 코드 작성)
패딩 포함 28바이트인 구조체와 32바이트인 구조체가 있을 때, 28바이트 구조체가 메모리를 절약할 수 있으나 캐시 라인의 크기에 정렬시켜 성능 향상을 꾀할 수도 있음
Implicit padding은 구조체 내에 2바이트 멤버가 있으면 2바이트 경계, 4나 8바이트 멤버가 있다면 4바이트 경계로 패딩을 넣는다.
5.3 팩화 구조체
Implicit padding을 제외한 모든 구조체의 멤버를 붙이는 경우. 하드웨어 레벨 프로그래밍에서 주로 사용됨
- gcc 컴파일 시 –pack-struct 사용
- Source code 내의 특정 struct에 __attribute__((packed)) 지시자 사용
Cf. 정렬 기준 지정할 때도 __attribute__((align(#)) 지시자 사용 가능
6 대용량 파일 지원(LFS-Large File Summit/Support)
일반적으로 파일을 다루는 함수들은 32bit 머신의 어드레싱 공간 제한인 2GB영역 까지만 지원함
=> 대용량 파일을 다루기 위해선 LFS에 대해 알아야함(64bit 시스템은 해당 없음)
LFS를 사용하기 위한 조건
1) 파일 시스템 포맷의 LFS 지원 여부
2) 라이브러리(glibc)의 LFS 지원 여부
두 가지 조건이 만족할 시, 두 가지 방식으로 64bit LFS 사용 가능 – 32 bit 파일 시스템과 호환성 때문
6.1 32bit와 64bit 파일 관련 함수를 따로 사용하기
기존의 open, read, write, lseek 등의 파일 관련 함수는 그대로 32bit의 한계를 가지도록 두고 새로운 open64, read64, write64, lseek64와 같은 64bit 버전의 함수를 따로 쓰는 방식
#define _LARGEFILE_SOURCE / #define _LARGEFILE64_SOURCE
OR
gcc …(생략) -D_LARGEFILE_SOURCE -D_LARGEFILE64_SOURCE …(생략)
6.2 32bit 함수를 64bit로 모두 변환하기
가장 간단함
_FILE_OFFSET_BITS=64 매크로를 통해 자동으로 open64로 확장 됨
#define _LARGEFILE_SOURCE / #define _FILE_OFFSET_BITS 64
gcc …(생략) -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64 …(생략)
'Study > 리눅스 시스템 네트워크 프로그래밍' 카테고리의 다른 글
| 프로세스 / 리눅스 시스템 네트워크 프로그래밍 (0) | 2018.09.27 |
|---|
