Subscribe to Primrose
<100 subscribers
Share Dialog
Share Dialog
빠른 오픈 소스 인 메모리 키 값 데이터 구조 스토어
Key - Value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터 베이스 관리 시스템이다.
데이터베이스, 캐시, 메세지 브로커로 사용되며 인메모리 데이터 구조를 가진 저장소이다.
db.engines.com에서 Key-value store중에 가장 순위가 높다
보통 데이터베이스는 하드 디스크나 SSD에 저장한다.
하지만 Redis는 메모리(RAM)에 저장해서 디스크 스캐닝이 필요없어 매우 빠르다.
캐싱도 가능하기 때문에 실시간 채팅에 적합하며 세션 공유를 위해 세션 클러스터링에도 활용된다.
캐시 서버는 Look aside cache 패턴과 Write Back 패턴이 존재한다.
1. 클라이언트가 데이터를 요청
웹서버는 데이터가 존재하는지 Cache 서버에 먼저 확인
Cache 서버에 데이터가 있으면 DB에 데이터를 조회하지 않고 Cache 서버에 있는 결과값을 클라이언트에게 바로 반환 (Cache Hit)
Cache 서버에 데이터가 없으면 DB에 데이터를 조회하여 Cache 서버에 저장하고 결과값을 클라이언트에게 반환 (Cache Miss)
웹서버는 모든 데이터를 Cache 서버에 저장
Cache 서버에 특정 시간 동안 데이터가 저장됨
Cache 서버에 있는 데이터를 DB에 저장
DB에 저장된 Cache 서버의 데이터를 삭제
insert 쿼리를 한 번씩 500번 날리는 것보다 insert 쿼리 500개를 붙여서 한 번에 날리는 것이 더 효율적이라는 원리다.
이 방식은 들어오는 데이터들이 저장되기 전에 메모리 공간에 머무르는데 이때 서버에 장애가 발생하여 다운된다면 데이터가 손실될 수 있다는 단점이 있다.
그러나 이 때, RAM은 휘발성이라 컴퓨터가 꺼지면 정보가 다 날아가버린다는 약점이 있다.
이를 막기위한 백업 과정이 다음 두 가지로 나뉜다.
Snapshot : 특정 지점을 설정하고 디스크에 백업.
AOF : 명령(쿼리)들을 저장해두고, 서버가 셧다운되면 재실행해서 다시 만들어 놓는 것.
Redis의 경우 Key-value구조이기 때문에 쿼리를 사용할 필요가 없다. 대신 Redis 명령어를 사용한다.
지원하는 자료구조는 String, Sets, Lists, Sorted Sets, Hashes 자료구조가 있다.
또한 레디스는 Single Threaded이다. 따라서 한 번에 하나의 명령만 처리할 수 있다.
그렇기 때문에 동기적으로 명령들이 처리가 되는데, get, set 명령어의 경우 초당 처리속도가 10만개를 넘어가기 때문에 의미는 없다.
서버에 장애가 발생했을 경우 그에 대한 운영 플랜이 반드시 필요하다.
인메모리 저장방식이기 때문에 데이터 유실이 발생할 수 있는데, 이것을 어떻게 효과적으로 방지할 것인지?
또한, 당연한 얘기지만, 메모리 관리가 매우 중요하다.
그리고 싱글 스레드의 특성상 한 번에 하나의 명령만을 처리하기 때문에, 처리하는데 시간이 오래 걸릴 수 있는 요청은 최대한 피하는 것이 좋겠다.
빠른 오픈 소스 인 메모리 키 값 데이터 구조 스토어
Key - Value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터 베이스 관리 시스템이다.
데이터베이스, 캐시, 메세지 브로커로 사용되며 인메모리 데이터 구조를 가진 저장소이다.
db.engines.com에서 Key-value store중에 가장 순위가 높다
보통 데이터베이스는 하드 디스크나 SSD에 저장한다.
하지만 Redis는 메모리(RAM)에 저장해서 디스크 스캐닝이 필요없어 매우 빠르다.
캐싱도 가능하기 때문에 실시간 채팅에 적합하며 세션 공유를 위해 세션 클러스터링에도 활용된다.
캐시 서버는 Look aside cache 패턴과 Write Back 패턴이 존재한다.
1. 클라이언트가 데이터를 요청
웹서버는 데이터가 존재하는지 Cache 서버에 먼저 확인
Cache 서버에 데이터가 있으면 DB에 데이터를 조회하지 않고 Cache 서버에 있는 결과값을 클라이언트에게 바로 반환 (Cache Hit)
Cache 서버에 데이터가 없으면 DB에 데이터를 조회하여 Cache 서버에 저장하고 결과값을 클라이언트에게 반환 (Cache Miss)
웹서버는 모든 데이터를 Cache 서버에 저장
Cache 서버에 특정 시간 동안 데이터가 저장됨
Cache 서버에 있는 데이터를 DB에 저장
DB에 저장된 Cache 서버의 데이터를 삭제
insert 쿼리를 한 번씩 500번 날리는 것보다 insert 쿼리 500개를 붙여서 한 번에 날리는 것이 더 효율적이라는 원리다.
이 방식은 들어오는 데이터들이 저장되기 전에 메모리 공간에 머무르는데 이때 서버에 장애가 발생하여 다운된다면 데이터가 손실될 수 있다는 단점이 있다.
그러나 이 때, RAM은 휘발성이라 컴퓨터가 꺼지면 정보가 다 날아가버린다는 약점이 있다.
이를 막기위한 백업 과정이 다음 두 가지로 나뉜다.
Snapshot : 특정 지점을 설정하고 디스크에 백업.
AOF : 명령(쿼리)들을 저장해두고, 서버가 셧다운되면 재실행해서 다시 만들어 놓는 것.
Redis의 경우 Key-value구조이기 때문에 쿼리를 사용할 필요가 없다. 대신 Redis 명령어를 사용한다.
지원하는 자료구조는 String, Sets, Lists, Sorted Sets, Hashes 자료구조가 있다.
또한 레디스는 Single Threaded이다. 따라서 한 번에 하나의 명령만 처리할 수 있다.
그렇기 때문에 동기적으로 명령들이 처리가 되는데, get, set 명령어의 경우 초당 처리속도가 10만개를 넘어가기 때문에 의미는 없다.
서버에 장애가 발생했을 경우 그에 대한 운영 플랜이 반드시 필요하다.
인메모리 저장방식이기 때문에 데이터 유실이 발생할 수 있는데, 이것을 어떻게 효과적으로 방지할 것인지?
또한, 당연한 얘기지만, 메모리 관리가 매우 중요하다.
그리고 싱글 스레드의 특성상 한 번에 하나의 명령만을 처리하기 때문에, 처리하는데 시간이 오래 걸릴 수 있는 요청은 최대한 피하는 것이 좋겠다.
PrimroseUvicorn & Gunicorn
Uvicorn and GunicornUvicorn and Gunicorn are important concepts when developing applications in Python. However, there are many concepts to be aware of in order to fully understand Uvicorn and Gunicorn. The following is a brief summary of the necessary concepts, and the details will be dealt with separately later.Necessary ConceptsStarletteStarlette is a Web application server that can run asynchronously. Starlette runs on top of Uvicorn.FastAPIFastAPI provides many features on top of Starlet...
PrimroseGas optimization in Solidity, Ethereum
I’m sorry but my English is terrible. I hope you understand that generously.Recently, I was developing a toy project named Blind Market. It’s a simple P2P trading application using smart contract. I was making a contract using Solidity, and the trade stage proceeded in the order of pending, shipping, and done. The problem was appeared in done phase. The problem was that when I tried to close the transaction by paying the price raised by the seller in msg.value, the following error occurred.Pe...
PrimroseP2WPKH
P2WPKHP2WPKH란 비트코인 내에서 가장 일반적인 스크립트 형식으로 비트코인 프로토콜에 대한 지불 거래 유형이다. 주소는 1로 시작하는데, 세그윗을 지원하는 새로운 주소 3 또는 bc1로 시작하는 주소보다 훨씬 비싸다. https://mirror.xyz/0xA1d9f681B25C14C1eE7B87f1CF102E73cA3ad4d9/egjhNVklgy_LgZmcTXXAOTBa6ePBqO3Ja9ZSoDIad-8 즉, 비트코인 주소가 1로 시작하면 P2PKH 주소를 사용하고 있는 것이다. 공개키의 간단한 해시이며, 이 해시를 주소로 사용하는 것이다. 이것은 원래 비트코인 주소 형식이었으며 오늘까지도 충실히 작동한다. 레거시 주소는 세그윗과 호환되지 않지만, 여전히 문제없이 P2PKH 주소에서 세그윗 주소로 BTC를 보낼 수 있다. 그러나 레거시 주소 트랜잭션이 더 크기 때문에 P2PKH 주소에서 전송하는 평균 속도는 세그윗 주소에서 전송할 때보다 더 높은 요금이 발생할 수 있다....
PrimroseUvicorn & Gunicorn
Uvicorn and GunicornUvicorn and Gunicorn are important concepts when developing applications in Python. However, there are many concepts to be aware of in order to fully understand Uvicorn and Gunicorn. The following is a brief summary of the necessary concepts, and the details will be dealt with separately later.Necessary ConceptsStarletteStarlette is a Web application server that can run asynchronously. Starlette runs on top of Uvicorn.FastAPIFastAPI provides many features on top of Starlet...
PrimroseGas optimization in Solidity, Ethereum
I’m sorry but my English is terrible. I hope you understand that generously.Recently, I was developing a toy project named Blind Market. It’s a simple P2P trading application using smart contract. I was making a contract using Solidity, and the trade stage proceeded in the order of pending, shipping, and done. The problem was appeared in done phase. The problem was that when I tried to close the transaction by paying the price raised by the seller in msg.value, the following error occurred.Pe...
PrimroseP2WPKH
P2WPKHP2WPKH란 비트코인 내에서 가장 일반적인 스크립트 형식으로 비트코인 프로토콜에 대한 지불 거래 유형이다. 주소는 1로 시작하는데, 세그윗을 지원하는 새로운 주소 3 또는 bc1로 시작하는 주소보다 훨씬 비싸다. https://mirror.xyz/0xA1d9f681B25C14C1eE7B87f1CF102E73cA3ad4d9/egjhNVklgy_LgZmcTXXAOTBa6ePBqO3Ja9ZSoDIad-8 즉, 비트코인 주소가 1로 시작하면 P2PKH 주소를 사용하고 있는 것이다. 공개키의 간단한 해시이며, 이 해시를 주소로 사용하는 것이다. 이것은 원래 비트코인 주소 형식이었으며 오늘까지도 충실히 작동한다. 레거시 주소는 세그윗과 호환되지 않지만, 여전히 문제없이 P2PKH 주소에서 세그윗 주소로 BTC를 보낼 수 있다. 그러나 레거시 주소 트랜잭션이 더 크기 때문에 P2PKH 주소에서 전송하는 평균 속도는 세그윗 주소에서 전송할 때보다 더 높은 요금이 발생할 수 있다....
No comments yet