1. S3 접두사 설정
키 접두사는 (객체 이름 앞)의 전체 경로를 사용(버킷 이름 포함)할 가 될 수 있는 문자열이다.
접두사의 길이는 객체 키 이름의 최대 길이(1,024바이트)까지 지정할 수 있다.
접두사를 디렉터리와 유사한 방식으로 데이터를 구성하는 방법으로 생각할 수 있다.
그러나 접두사는 디렉터리(폴더)가 아니다.
폴더의 경우 "/" 문자는 다음 하위 폴더 또는 객체 이름을 나타낸다.
접두사의 경우 “/”는 단지 또 하나의 문자에 불과하므로 “/”는 파티션 배치를 나타내지 않는다.
접두사로 검색하면 지정된 접두사로 시작하는 키로만 결과가 제한된다.
구분 기호를 사용하면 목록 작업이 공통 접두사를 공유하는 모든 키를 단일 요약 목록 결과로 롤업한다.
그래서 계층 구조의 포함된 모든 수준을 연결하고 각 수준을 구분 기호로 구분하여 키 이름을 구성하게 된다.
2. 수명주기 설정
1. AWS Management Console을 사용하여 S3 콘솔로 이동합니다.
2. 해당하는 버킷을 선택하고, 속성으로 이동한 다음 수명주기 설정을 클릭합니다.
3. 수명주기 구성 추가 또는 편집을 선택합니다.
4. 프리픽스 필드에 "BucketName/Project/WordFiles/123.txt"와 같은 경로를 입력합니다.
5. 이후 설정할 수명 주기 정책을 선택하고 적용합니다.
3. 실제 접두사 설정 예시
1. 기존
ProjectName/20220923/File확장자명(pdf, jpg...)/123.jpg
근데, 관리해야하는 프로젝트 수가 늘어나고 업무가 분업화되면서 S3이미지를 효율적으로 관리할 필요성이 있었다.
특히 사업이 해외에도 진출하면서 이미지 데이터를 더 세분해서 저장될 필요성도 대두되었다.
2. 생성이미지 구별
ProjectName/2022/09/23/File확장자명(pdf, jpg...)/123.jpg
S3 객체가 저장되고 조회를 할때, 이는 불편함을 느낄 수 있다.
왜냐하면 내림차순으로 조회가 안되기 때문에 최신 사진을 조회하기 어렵기 때문이다.
생성된 날짜를 보다 조회하기 쉽게 하기 위해 년월일 -> 년/월/일로 나누어 조금 더 세분화했다.
3. 생성이미지 구별
병원들과 연계하면서 손사진을 몇천장 얻기는 했지만 AI 개발자분께서 이것만으로는 턱없이 부족하다고 하셨다.
AI를 학습시키기 위해 손 사진이 많이 필요하면서 이미지가 Stable Diffusion인 딥러닝모델을 이용해 이미지를 만들기 시작하셨는데,
이를 S3에 저장하니까 실제 손사진과 생성한 손사진이 뒤섞여서 저장되어버려 이를 구분해서 저장해야했다.
만든 사진은 아무래도 질병이 있게 특화해서 만든거라 실제 손과 거리감이 있어서 구분이 필요했기 때문이다.
original과 generate 라는 접두사를 붙여서 생성유무로 실제 손인지 만든 손 이미지인지 구별했다.
근데 생각해보니 생성된 이미지는 project 이름으로 구별될 필요가 없었다.
프로젝트를 통해서 만들어서 저장한게 아니라 회사내에서 만들고 이를 회사내에서 관리하기만 하면 되기 때문에
이는 ProjectName 이거나 generate이거나로 구별하기로 했다.
AS-IS
ProjectName/생성유무/2022/09/23/File확장자명(pdf, jpg...)/123.jpg
TO-BE
ProjectName or 생성유무/2022/09/23/File확장자명(pdf, jpg...)/123.jpg
4. 리전구별
ProjectName/리전명/2022/09/23/File확장자명(pdf, jpg...)/123.jpg
리전명은 미국이나 태국리전 그리고 한국리전 이 3개의 나라별로 이미지를 저장해야했다.
그 이유는 나라마다 손이나 손톱의 모양, 색 등이 조금씩 달라서 구분해서 저장하는것이 그 나라에 특화한 영양소 분석이나 질병 분석이
집중적으로 할 수 있겠다고 생각해서였다. 그래서 그에 따라 리전명을 접두사로 추가했다.
'AWS > S3' 카테고리의 다른 글
| AWS S3 object 1000개 이상일 때, 조회하는 방법 (0) | 2023.03.06 |
|---|
1. S3 접두사 설정
키 접두사는 (객체 이름 앞)의 전체 경로를 사용(버킷 이름 포함)할 가 될 수 있는 문자열이다.
접두사의 길이는 객체 키 이름의 최대 길이(1,024바이트)까지 지정할 수 있다.
접두사를 디렉터리와 유사한 방식으로 데이터를 구성하는 방법으로 생각할 수 있다.
그러나 접두사는 디렉터리(폴더)가 아니다.
폴더의 경우 "/" 문자는 다음 하위 폴더 또는 객체 이름을 나타낸다.
접두사의 경우 “/”는 단지 또 하나의 문자에 불과하므로 “/”는 파티션 배치를 나타내지 않는다.
접두사로 검색하면 지정된 접두사로 시작하는 키로만 결과가 제한된다.
구분 기호를 사용하면 목록 작업이 공통 접두사를 공유하는 모든 키를 단일 요약 목록 결과로 롤업한다.
그래서 계층 구조의 포함된 모든 수준을 연결하고 각 수준을 구분 기호로 구분하여 키 이름을 구성하게 된다.
2. 수명주기 설정
1. AWS Management Console을 사용하여 S3 콘솔로 이동합니다.
2. 해당하는 버킷을 선택하고, 속성으로 이동한 다음 수명주기 설정을 클릭합니다.
3. 수명주기 구성 추가 또는 편집을 선택합니다.
4. 프리픽스 필드에 "BucketName/Project/WordFiles/123.txt"와 같은 경로를 입력합니다.
5. 이후 설정할 수명 주기 정책을 선택하고 적용합니다.
3. 실제 접두사 설정 예시
1. 기존
ProjectName/20220923/File확장자명(pdf, jpg...)/123.jpg
근데, 관리해야하는 프로젝트 수가 늘어나고 업무가 분업화되면서 S3이미지를 효율적으로 관리할 필요성이 있었다.
특히 사업이 해외에도 진출하면서 이미지 데이터를 더 세분해서 저장될 필요성도 대두되었다.
2. 생성이미지 구별
ProjectName/2022/09/23/File확장자명(pdf, jpg...)/123.jpg
S3 객체가 저장되고 조회를 할때, 이는 불편함을 느낄 수 있다.
왜냐하면 내림차순으로 조회가 안되기 때문에 최신 사진을 조회하기 어렵기 때문이다.
생성된 날짜를 보다 조회하기 쉽게 하기 위해 년월일 -> 년/월/일로 나누어 조금 더 세분화했다.
3. 생성이미지 구별
병원들과 연계하면서 손사진을 몇천장 얻기는 했지만 AI 개발자분께서 이것만으로는 턱없이 부족하다고 하셨다.
AI를 학습시키기 위해 손 사진이 많이 필요하면서 이미지가 Stable Diffusion인 딥러닝모델을 이용해 이미지를 만들기 시작하셨는데,
이를 S3에 저장하니까 실제 손사진과 생성한 손사진이 뒤섞여서 저장되어버려 이를 구분해서 저장해야했다.
만든 사진은 아무래도 질병이 있게 특화해서 만든거라 실제 손과 거리감이 있어서 구분이 필요했기 때문이다.
original과 generate 라는 접두사를 붙여서 생성유무로 실제 손인지 만든 손 이미지인지 구별했다.
근데 생각해보니 생성된 이미지는 project 이름으로 구별될 필요가 없었다.
프로젝트를 통해서 만들어서 저장한게 아니라 회사내에서 만들고 이를 회사내에서 관리하기만 하면 되기 때문에
이는 ProjectName 이거나 generate이거나로 구별하기로 했다.
AS-IS
ProjectName/생성유무/2022/09/23/File확장자명(pdf, jpg...)/123.jpg
TO-BE
ProjectName or 생성유무/2022/09/23/File확장자명(pdf, jpg...)/123.jpg
4. 리전구별
ProjectName/리전명/2022/09/23/File확장자명(pdf, jpg...)/123.jpg
리전명은 미국이나 태국리전 그리고 한국리전 이 3개의 나라별로 이미지를 저장해야했다.
그 이유는 나라마다 손이나 손톱의 모양, 색 등이 조금씩 달라서 구분해서 저장하는것이 그 나라에 특화한 영양소 분석이나 질병 분석이
집중적으로 할 수 있겠다고 생각해서였다. 그래서 그에 따라 리전명을 접두사로 추가했다.
'AWS > S3' 카테고리의 다른 글
| AWS S3 object 1000개 이상일 때, 조회하는 방법 (0) | 2023.03.06 |
|---|
