Pesadillas de deduplicación: qué usar cuando TAR ralentiza tus copias

Si alguna vez has intentado volcar cantidades masivas de datos de copia de seguridad similares en un sistema de deduplicación, como una cabina Cohesity, seguramente habrás chocado con las limitaciones de las herramientas de archivado tradicionales. Durante años, TAR ha sido el formato por excelencia para empaquetar archivos antes de enviarlos al almacenamiento. Sin embargo, cuando la deduplicación entra en juego, en especial en cabinas que comprimen y cifran tras la ingesta, los problemas se multiplican a gran velocidad.

Un usuario en un conocido foro de almacenamiento expuso hace poco su caso con claridad. Está intentando realizar copias de seguridad de miles de archivos binarios de sistema y aplicaciones (SAP, Oracle, HANA, cargas de gran peso) mediante TAR, pero la deduplicación no rinde como esperaba. Los archivos no se comprimen en origen para permitir que la deduplicación funcione, y se transfieren a Cohesity a través de NFS. El problema añadido es que copiar los archivos uno por uno resulta desesperadamente lento, pasando de 10 minutos a unas 5 horas.

Esto abrió el debate: ¿existe algún formato de archivado mejor que TAR cuando la deduplicación forma parte del plan?

El conflicto entre deduplicación y formato de archivo

En primer lugar, conviene señalar que TAR no es intrínsecamente malo para la deduplicación. Como recordaron varios participantes, TAR no es más que un contenedor que agrupa archivos en formato raw acompañados de cabeceras. El conflicto aparece al comprimir esos archivos TAR. La compresión enmascara los patrones de datos subyacentes que los motores de deduplicación utilizan para detectar redundancias, y lo mismo ocurre con el cifrado. Por tanto, si empaquetas con TAR y comprimes con gzip (.tgz), básicamente estás alimentando el motor de deduplicación con basura desde su perspectiva.

El usuario del caso evitó esa trampa, sin compresión ni cifrado antes de la ingesta. Aun así, la eficacia de la deduplicación no fue el único obstáculo; el rendimiento también se resintió. Los archivos pequeños ralentizan el flujo de ingesta de Cohesity sobre NFS, lo que no resulta extraño. La mayoría de los sistemas de almacenamiento, sobre todo los optimizados para operaciones de E/S secuenciales de gran tamaño, sufren cuando se les bombardea con millones de operaciones sobre archivos diminutos.

Esto deja un dilema complicado. No puedes copiar los archivos de forma individual por lentitud, y TAR funciona pero degrada la deduplicación con el tiempo al desplazar la posición del contenido. ¿Qué otras opciones existen?

Por qué la deduplicación sufre con archivos TAR variables

Cada vez que haces una pequeña modificación en un directorio y vuelves a generar el TAR, la estructura entera del archivo .tar resultante se desplaza. Dado que TAR no es más que un flujo continuo de archivos concatenados, las posiciones relativas de los archivos sin cambios varían. Para un motor de deduplicación a nivel de bloques, un simple desplazamiento de 1 byte puede traducirse en un bloque totalmente nuevo que debe almacenar, sin ganancia alguna por deduplicación.

Algunos participantes citaron un estudio de 2011 que advertía con precisión sobre este problema: TAR no favorece la deduplicación porque cualquier modificación se propaga por todo el archivo. Otros discreparon, señalando que las plataformas modernas de deduplicación emplean algoritmos de fragmentación más avanzados (como bloques de longitud variable o ventanas deslizantes) capaces de detectar redundancias incluso dentro de archivos TAR desplazados.

La realidad probablemente se sitúa en un punto intermedio. Si tu estrategia de copia de seguridad se basa en actualizar con frecuencia archivos de gran volumen, estás comprando todas las papeletas para sufrir dolores de cabeza con la deduplicación.

Entonces, ¿cuál es la alternativa?

No existe una solución mágica. Sin embargo, ciertas estrategias pueden ayudarte en función de lo que priorices: granularidad de restauración, ahorro por deduplicación o rendimiento de transferencia.

1. Utiliza herramientas de archivado alineadas por bloques

Herramientas como DAR (Disk ARchive) o Bacula permiten dividir o segmentar las copias de seguridad de forma más compatible con la deduplicación. Resultan algo más complejas que el tradicional TAR, pero conservan el contexto de los archivos individuales mientras agrupan los datos para facilitar el trabajo a los motores de deduplicación.

2. Divide los archivos según el tipo de contenido

Si manejas muchos archivos pequeños que apenas cambian (como binarios del sistema operativo), agrúpalos juntos. Cuanto más homogéneo sea el contenido de un TAR, mejor suele comportarse la deduplicación, sobre todo si los archivos se actualizan con frecuencias parecidas.

3. Diseña tu propio formato compatible con deduplicación

Un participante sugirió que TAR sigue siendo válido si controlas el software de backup y este comprende cómo opera la deduplicación en destino. Es un factor determinante. Si tu herramienta de copia identifica los bloques modificados, los alinea con bloques conocidos en la tabla de deduplicación y los empaqueta según ese criterio, puedes optimizar el proceso. No obstante, pocos equipos cuentan con ese lujo.

4. Evita la compresión o el cifrado previos

Conviene insistir en esto: si comprimes o cifras antes de enviar los datos al destino de deduplicación, estás arruinando cualquier beneficio de espacio. Sistemas como Cohesity gestionan la compresión y el cifrado tras completar la deduplicación, que es el orden adecuado. No te adelantes.

«Usa simplemente el agente» no siempre es la solución

Varias personas intervinieron recomendando el agente de Cohesity y tareas programadas. En teoría tiene lógica, ya que el agente procesa bloques modificados, gestiona el contexto de deduplicación y resuelve las restauraciones de forma limpia. En la práctica cotidiana, las cosas rara vez son tan sencillas.

En este caso concreto, los usuarios responsables de los sistemas copiados deben poder restaurar por sí mismos, pero carecen de acceso a la interfaz web de Cohesity. Por ello, el equipo optó por un enfoque automatizable mediante scripts, almacenando archivos TAR en disco y restaurando desde la consola. Es una solución simple y rápida, sin depender de permisos en la interfaz gráfica.

Y ese detalle importa. Puedes tener la arquitectura de almacenamiento más pulida del mundo, pero si tu proceso de restauración es lento o queda bloqueado tras la aprobación de un administrador, los usuarios se rebelarán.

Una advertencia desde las trincheras

Un administrador de almacenamiento lo dijo sin rodeos: la deduplicación suena atractiva, pero rara vez ofrece ahorros gigantescos en la empresa. Había comprobado que la compresión aporta mucho más ahorro que la deduplicación, e incluso desaconsejó confiar ciegamente en ella por los posibles problemas con la base de datos de bloques, especialmente si el sistema de almacenamiento sufre una avería grave.

Es una opinión basada en la experiencia, y no conviene descartarla como simple desconfianza. Si estás diseñando una estrategia basada en el ahorro por deduplicación, más te vale entender con exactitud qué tipo de archivos respaldas, con qué frecuencia cambian y cómo opera el motor de deduplicación. De lo contrario, estarás persiguiendo un beneficio puramente teórico.

Entonces, ¿qué deberías hacer?

TAR no es el enemigo, pero tampoco un formato milagroso para copias de seguridad con deduplicación. Evita la compresión y el cifrado antes de la ingesta y deja que tu cabina de almacenamiento se encargue de ello. Comprueba distintas estrategias, ya que varios administradores han obtenido buenos resultados dividiendo los TAR, usando archivadores segmentados o ajustando la deduplicación en la propia cabina. Y no te obsesiones con la deduplicación: si la compresión te ahorra un 50% y la deduplicación un 3%, ya sabes dónde está el ahorro real.

Quizá también haya llegado el momento de replantear tu formato de archivo si los tiempos de restauración y los porcentajes de deduplicación te causan problemas. Las herramientas están disponibles. Solo tienes que elegir la que resuelva tus dificultades reales en lugar de guiarte por la inercia de la costumbre.