Ask HN: How to handle 50GB of transaction data each day? (200GB during peak)

Ett team som utvecklar en reklamplattform står inför stora utmaningar med att hantera dagliga transaktionsdata på 50 GB, med toppar på 200 GB. Den nuvarande infrastrukturen, som baseras på TXT-filer och två MySQL-shards, är begränsande och skalas inte effektivt, särskilt för flexibla rapporter och dataanalys. Teamet saknar erfarenhet av att hantera sådana datavolymer och har stött på problem med höga kostnader för AWS IOPS vid försök att implementera MongoDB och MapReduce för en veckas data (350 GB). De söker råd och vägledning om lämpliga databaser eller helt nya strategier för att effektivt och kostnadseffektivt hantera den växande datamängden.