뉴스

Jim Handy, 2023년 10월 13일 

링크: https://thessdguy.com/flexible-data-placement-means-better-ssds/?utm_campaign=shareaholic&utm_medium 

지난 2023년 8월 Flash Memory Summit에서 가장 주목할만한 기조 연설 중 하나는 SSD 컨트롤러 제조업체인 FADU Technology와 거대 소셜 미디어인 Meta(Facebook)가 발표한 것이었습니다. 이 두 회사는 "Flexible Data Placement"라는 새로운 SSD 관리 방법을 제안하고 있습니다. SSD Guy는 이 두 회사의 연구 결과가 매우 놀랍고 함께 공유되어야 한다고 생각합니다.  

Meta의 Ross Stenfort는 2019년부터 Meta와 Microsoft(Azure)가 OCP(오픈 컴퓨팅 프로젝트)용 데이터 센터 SSD 사양을 개발하기 위해 협력해왔던 타임라인들을 보여주었습니다. 수차례의 반복을 거쳐 사양은 ​​여러 가지 중요한 과정을 거쳤습니다. 올해 후반에 출시될 Datacenter NVMe SSD 버전 2.5로 이어지는 업데이트는 FDP(Flexible Data Placement)를 포함하는 최초의 표준입니다. (a link to Version 2.0 of the specification.)

FADU는 Flash Memory Summit 부스에서 FDP를 지원하는 최초의 SSD 컨트롤러라고 소개하며 시연을 했습니다.  

Flexible Data Placement(FDP)

 FDP를 통해 호스트 서버는 SSD 내 데이터의 저장 위치를 더 효과적으로 제어할 수 있습니다.  이는 Write amplification(WAF: 쓰기 증폭)을 줄여 성능을 향상시키기 위함 입니다. Meta가 공유한 벤치마크는 이에 대한 확실한 결과를 보여주고 있습니다. 

첫 번째 벤치마크 차트에서 Stenfort는 3개의 SSD의 WAF을 시간의 함수로 표시했습니다. (Meta의 차트는 차트의 가로 축에 실제 시간을 표시하지 않았지만, 이 게시물 뒷부분의 다른 차트를 보았을 때 전체 차트가 아마도 24시간을 의미하는 것으로 보입니다.)

WAF가 1.0이라는 것은 각 서버 쓰기가 SSD 내부 NAND 플래시 칩에 한번의 쓰기로 이루어진다는 것을 의미합니다. 쓰기 작업을 많이 하면 SSD의 플래시 수명에 영향을 주기 때문에, 쓰기 횟수를 가능한 한 최소화하는 것이 좋습니다. WAF가 1보다 크다는 것은 SSD의 내부 관리(예: 폐블록 수거)를 위해 호스트 서버에서 요청한 쓰기 외에 추가 NAND 쓰기 트래픽을 생성한다는 의미입니다. FDP는 SSD의 WAF를 획기적으로 줄이기 위해 제안되었습니다.

차트의 파란색 선은 64KB 무작위 쓰기를 반복하여 수행하였을때 일반적인 SSD의 상태를 보여주는 것입니다. 이러한 워크로드를 더욱 오래 수행하게 되면, SSD의 WAF가 점근적으로 증가하여 3을 살짝 넘어가게 되는 것을 볼 수 있습니다. 각각의 호스트 쓰기는 SSD에 3번의 내부 NAND 플래시 쓰기를 수반하게 되므로 플래시 칩의 수명은 1/3로 줄어들게 됩니다. 

이 문제에 대한 가장 일반적인 접근 방식은 SSD 내부에 더 많은 NAND 플래시를 추가하고 추가 플래시를 사용자에게 보이지 않게 만드는 것입니다. 이를 오버프로비저닝이라고 하며, 이 방법은 SSD의 가격을 상승시키는 요인 중 하나입니다. 가격을 올리지 않고도 SSD의 WAF를 줄일 수 있는 방법이 있을까요? ( overprovisioning )

SSD Guy는 워크로드를 좀 더 SSD 친화적으로 변환하여 WAF를 개선하는 영리한 방법도 가능하다고 말했습니다. 이는 소프트웨어를 수정하여 워크로드를 여러개의 스트림으로 전환하고 더 빠른 데이터 구조를 사용함으로써 구현될 수 있습니다. 위 그림의 노란색선으로 표시된 것으로 8개의 Serial Writer들을 통한 로그구조 접근방식이라  할 수 있습니다. 이 경우 WAF는 더 일찍 빠르게 상승하지만 2.2~2.3 수준에 도달한 후 그대로 유지됩니다.  파란색 선이 도달하는 3.0 보다 훨씬 나은 결과입니다. 

잘 안보일 수도 있겠지만, 차트 하단에  1.0 WAF 선을 따라 이어지는 빨간색 선이 있습니다. 이는 동일한 로그 구조의 8개 Writer 접근 방식이지만, FDP를 적용한 WAF결과입니다. FDP를 적용함으로써 SSD는 훨씬 적은 회수로 추가쓰기를 하고, 현저히 적은 오버프로비저닝을 하면서도 훌륭한 성능을 제공할 수 있습니다. 동시에 호스트 서버로 하여금 칩의 수명을 거의 끝까지 활용할 수 있게 합니다.

이렇게 되면 마모 수명에는 좋고, SSD 가격도 저렴하게 유지될 것 같은데, 성능에는 어떤 의미가 있을까요?

성능 또한 개선된다. 

Stenfort는 다음 차트에서 동일한 테스트를 수행하였을 때 쓰기 Throughput(처리량)을 보여줍니다. 예상할 수 있듯이 표준 SSD의 파란색 선은 가장 나쁜 장기적 성능 지표를 나타내는데, 3,000MB/s 이상에서 점차적으로 1,000MB/s에 접근하면서 나빠지는 것을 볼 수 있습니다. 이는 모든 호스트 쓰기가 3개의 내부 NAND 쓰기를 수행하게 되므로, SSD는 원래 속도의 1/3까지 느려질 수 있다는 것을 의미합니다.   

소프트웨어를 이용한 WAF개선 방식인 노란색 선의 경우 파란색 선보다 더 일찍 떨어지지만, 장기적으로는 더 빠른 쓰기 성능을 제공할 수 있습니다.  이 경우 성능 수치는 1,500-2,000MB/s 사이에서 무작위로 튀어오르는 것을 확인할 수 있습니다. 두 경우 모두 비교군보다 훨씬 더 많은 노이즈들이 표시되고 있는데 이는 데이터를 측정하는 방식에서 비롯된 것일 수 있습니다.

마지막으로 빨간색 선의 경우, FDP와 관련된 추가 처리로 인해 다른 두 선들에 비해 시작 대역폭 부분이 살짝 나쁠 수 있지만, 차트 전체 기간 동안 3,000MB/s로 성능이 매우 견고하게 유지됩니다. 대역폭이 가장 중요한 지표인 시스템에서 이는 하나의 FDP SSD가 세 개의 SSD의 작업을 수행할 수 있음을 의미하며 이는 매우 현저한 비용 절감으로 나타날 수 있습니다. 

Stenfort는 대역폭만 좋아지는 것이 아니라, QOS(서비스 품질)와 전력 소비 또한 향상된다고 언급했습니다. WAF가 높아짐으로 인해 종종 지연이 발생하고, 이는 QOS 문제가 될 수 있기 때문에 매우 중요합니다. 성능이 저하된다는 것은 SSD가 동일한 작업량을 수행하는 데 더 많은 전력을 소비하게 된다는 것을 의미합니다. 또한 위 노란선의 노이즈는 QOS 문제로 이어질 수도 있습니다. 

FADU의 발표내용

Stenfort의 프레젠테이션이 끝난 후 FADU의 CEO이자 창립자인 이지효대표가 회사의 미션(저전력)에 대해 설명하고 FADU의 새로운 FDP 컨트롤러를 소개했습니다. 이 대표는 Stenfort와 매우 유사한 벤치마크 차트를 보여주고 있지만 조금은 다른 차트였고,  여전히 매우 인상적인 개선 사항을 보여주었습니다. FADU의 차트는 다음과 같습니다.  

이 대표는 지금 보여주는 차트결과가 FADU가 행사 기간 동안 플래시 메모리 서밋 전시장에서 시연했던 FDP SSD에서 나온 것이라고 설명했습니다.  

FDP가 광범위하게 사용될 것인가?

여기에서 독자들은 FDP가 SSD 시장에서 광범위하게 적용될지 궁금할텐데요. 대규모 데이터 센터에는 보편적으로 사용될 수 있겠지만, 다른 시장에서는 그렇지 않을 수 있습니다. 이유는 다음과 같습니다:

시스템에서 FDP를 활용하려면 응용 프로그램들이 FDP가 무엇인지, 어떻게 사용하는지 인지해야 합니다.  폐쇄형 시스템에서는 이를 관리하는 것이 어렵지 않고, 하이퍼스케일 데이터 센터에서는 애플리케이션을 자주 업그레이드하여 하드웨어 변경 사항에 맞게 조정합니다. 경영진은 "소프트웨어를 변경하는 데 100만 달러를 지출하면, 하드웨어 비용을 300만 달러까지 줄일 수 있다" 라고 본다면 결정을 쉽게 내릴 수 있습니다. 

반면, 기성 소프트웨어의 경우에는 다를 수 있습니다. 소프트웨어 회사가 코드를 업데이트하는 데 100만 달러를 지출해야 할까요? 이 경우에는 확실한 결과가 보장되지 않거나 새로운 버그가 발생할 가능성도 있다는 것을 고려해야 합니다. 그렇기 때문에 FDP와 같은 신기술이 널리 사용되기까지는 10년 이상이 걸리기도 합니다. 

SSD Guy는 적어도 Meta와 Microsoft와 같은 하이퍼스케일 업체의 경우 FDP를 빠르게 채택할 것으로 예상하지만, 다른 일반 시장에서는 이 기술이 느리게 확산될 수 있다고 전망했습니다. 

A video of the keynote can be found HERE.

About Us

FADU Technology는 초대형 기업 및 클라우드 데이터 센터에 놓인 급증하는 데이터 저장 수요를 충족시키기 위한 선진 플래시 스토리지 기술을 개발하는 팹리스 기업입니다. FADU의 혁신적인 SSD 솔루션은 업계 표준 명세를 기반으로 하며, FADU의 독자적인 플래시 메모리 컨트롤러 아키텍처로 설계되었고, 여러 업계 NAND 공급업체와 호환됩니다. 또한 FADU의 스토리지 디자인은 플래시 기반 스토리지의 모든 측면을 다루며, 매우 낮은 전력, 압도적인 성능, 풍부한 기능, 견고한 신뢰성 및 우수한 QOS를 제공합니다. 우리는 과거에 사용되던 다른 솔루션들은 실시간, 클라우드 기반, 그리고 연결된 애플리케이션을 지원하기 위한 성능과 전력 요구 사항을 충족시키지 못한다고 믿습니다. 이러한 숨겨진 니즈를 제공하기 위해, FADU의 글로벌 팀은 숙련된 스토리지 아키텍트, ASIC 전문가 및 SSD 엔지니어로 구성되어 업계를 선도하고 있습니다.