Cómo se diseñó el estudio, cómo se midió cada variable, cómo se procesaron los datos y cómo se obtuvo cada figura y cada estadístico del Capítulo IV.
Esta página reconstruye el camino completo que va del planteamiento del problema a las cifras del Capítulo IV. Está escrita para un revisor técnico: cada definición operativa, cada fórmula y cada decisión analítica se presenta con el archivo y la función del repositorio donde se implementa, y todos los valores numéricos que aparecen abajo se recalculan desde los datos al generar la página.
En las aplicaciones Fintech del sector bancario, la evidencia digital de un incidente —logs, registros transaccionales, marcas de tiempo— suele generarse como subproducto de la operación y no como un entregable verificado. Cuando ocurre un incidente, la investigación forense descubre a posteriori que faltan eventos, que los registros no tienen los campos necesarios o que no hay forma de probar que no fueron alterados.
La propuesta del trabajo es tratar la preparación forense (Forensic Readiness) como un atributo de calidad del software: incorporar controles forenses al proceso de Quality Assurance, de modo que la capacidad de producir evidencia se pruebe antes de liberar, igual que cualquier otro requisito.
La hipótesis general se descompone en tres específicas, cada una asociada a un atributo de la evidencia y medida por un subconjunto de los KPIs:
| Hipótesis | Atributo de la evidencia | KPIs que la miden | Escenarios de validación |
|---|---|---|---|
| HE1 | Completitud y consistencia de los logs | KPI1, KPI2 | SC-01, SC-02, SC-03, SC-04 |
| HE2 | Integridad verificable y preservación preventiva | KPI3, KPI4 | SC-05, SC-06, SC-07 |
| HE3 | Trazabilidad transaccional y rapidez de recuperación | KPI5, KPI6, KPI7 | SC-08, SC-09, SC-10 |
Diseño cuasi-experimental de medidas repetidas pretest–postest sobre un mismo sistema. La unidad de análisis es el escenario de incidente (n = 10). Cada escenario se ejecutó dos veces sobre la aplicación Fintech del laboratorio (Forensic Readiness Lab): primero sin los controles del modelo (pretest) y luego con ellos (postest). Como el sistema, los datos de prueba y el guion del incidente son los mismos en ambas corridas, cada escenario funciona como su propio control y la diferencia observada se atribuye a los controles incorporados.
Sistema base, sin controles forenses en el ciclo de QA.
Mismo sistema con los controles del modelo implementados.
Reporte de KPIs, volcado de base de datos, log de consola y resumen de ejecución. 4 × 2 fases × 10 escenarios = 80.
Los escenarios cubren las cuatro dimensiones de la variable dependiente y reproducen incidentes típicos del sector: ataques de autenticación, compromiso de sesión, fraude transaccional, fraude de identidad, inyección, amenaza interna y degradación de la infraestructura forense. SC-01 es un control negativo: una operación legítima, que permite verificar que el modelo también deja evidencia completa cuando no hay incidente.
| ID | Escenario | Incidente simulado | Componente bajo prueba | Dimensión VD | HE |
|---|---|---|---|---|---|
| SC-01 | Línea base operativa: login exitoso + transferencia legítima | Control negativo — operación legítima (no incidente) | auth.service, accounts.service, transfers.service, auditMiddleware | Generación | HE1 |
| SC-02 | Fuerza bruta y bloqueo de cuenta | Acceso no autorizado / ataque de autenticación | auth.service — lockout; users.failedAttempts, users.lockedUntil | Generación | HE1 |
| SC-03 | JWT manipulado — compromiso de sesión | Compromiso de sesión / acceso no autorizado mediante token adulterado | middleware/auth.ts — validación JWT; forensic/audit-trail.ts | Integridad | HE1 |
| SC-04 | Fraude — transferencia a cuenta en blacklist | Fraude transaccional — intento de transferencia a cuenta en lista negra | transfers.service.ts — bloqueo por isBlacklisted; admin.router.ts | Trazabilidad | HE1 |
| SC-05 | Evasión de límite por operaciones divididas (split) | Fraude transaccional / evasión de control / manipulación de límites | transfers.service.ts — agregación diaria contra dailyLimit | Trazabilidad | HE2 |
| SC-06 | Account takeover — toma de cuenta | Toma de cuenta / suplantación de identidad / compromiso de sesión | auth.service.ts, profile.router.ts, transfers.service.ts | Preservación | HE2 |
| SC-07 | Fraude de identidad sintética — KYC | Fraude de identidad / suplantación en proceso KYC | loans.service.ts — KYC, score de riesgo, validación DPI/dirección | Generación | HE2 |
| SC-08 | SQL injection — intento bloqueado | Abuso de API / alteración de registros (intento no exitoso) | middleware/sql-injection.ts — 5 patrones regex; HTTP 400 | Generación | HE3 |
| SC-09 | Insider threat — alteración de log | Alteración de registros (insider threat / abuso de privilegio) | forensic/hash-chain.ts; backend/scripts/verify-hash-chain.ts | Integridad | HE3 |
| SC-10 | Drift NTP — degradación de correlación temporal | Degradación de infraestructura forense / anomalía temporal | forensic/time-sync.ts, time_sync_log, auditMiddleware | Trazabilidad | HE3 |
Se mide con el Instrumento 1, una lista de verificación de diez ítems que se aplica a cada escenario en cada fase, a partir de la evidencia generada en esa corrida. Cada ítem se valora en una escala ordinal de cuatro puntos sin punto neutral:
| Valor | Categoría | Criterio |
|---|---|---|
| 0 | Inexistente | El control no existe en el sistema. |
| 1 | Existe, no funcional | Hay algo implementado, pero no produce evidencia utilizable. |
| 2 | Funcional con esfuerzo | Produce evidencia, pero recuperarla o interpretarla requiere trabajo manual. |
| 3 | Funcional y aprovechable | Produce evidencia utilizable directamente en una investigación. |
vi_totales.csv| Ítem | Qué verifica la lista de verificación | Media pretest | Media postest |
|---|---|---|---|
| I1 | Casos de prueba validan registro de eventos críticos | 0.0 | 3.0 |
| I2 | Trazabilidad E2E navegable y verificable | 0.0 | 3.0 |
| I3 | Validación de campos detecta omisiones y bloquea | 0.0 | 3.0 |
| I4 | Controles de auditoría capturan acciones sensibles | 0.0 | 3.0 |
| I5 | Verificación de integridad hash funcional | 0.0 | 3.0 |
| I6 | Sincronización temporal precisa y confiable | 1.0 | 3.0 |
| I7 | Persistencia conforme a política de retención | 0.0 | 3.0 |
| I8 | Criterios forenses en pruebas no funcionales | 0.0 | 3.0 |
| I9 | Criterios forenses en DoD condicionan aceptación | 1.0 | 3.0 |
| I10 | Documentación permite reproducción exacta | 2.0 | 3.0 |
Resultado: el puntaje fue 4/30 en los 10 escenarios del pretest (nivel Bajo) y 30/30 en los 10 del postest (nivel Alto). Los puntos del pretest provienen de los mismos ítems en todos los escenarios (I6 = 1, I9 = 1, I10 = 2), aspectos que el sistema base ya cubría parcialmente.
Se mide con el Instrumento 2: siete indicadores que el
laboratorio calcula automáticamente en cada corrida y deja en un
kpi_report_*.json. Cada fila de kpis_long.csv conserva el
numerador, el denominador, la ruta del reporte de origen y su hash SHA-256, de modo que
cualquier valor se puede rastrear hasta el archivo que lo produjo.
| KPI | Indicador | Qué mide | Cálculo | Ejemplo real: SC-09 postest | HE |
|---|---|---|---|---|---|
| KPI1 | % eventos críticos registrados | Eventos críticos del escenario que quedaron registrados en la bitácora de auditoría | eventos críticos registrados ÷ eventos críticos generados × 100 | 9 ÷ 9 = 100.00 % | HE1 |
| KPI2 | % logs con campos obligatorios completos | Registros de log que contienen todos los campos obligatorios definidos por el modelo | registros con campos completos ÷ registros generados × 100 | 9 ÷ 9 = 100.00 % | HE1 |
| KPI3 | % registros con hash verificable | Registros cuyo hash SHA-256 se verifica contra la cadena de integridad | registros con hash verificable ÷ registros evaluados × 100 | 8 ÷ 9 = 88.89 % | HE2 |
| KPI4 | % conservación conforme a política de retención | Registros conservados conforme a la política de retención | registros conservados conforme ÷ registros sujetos a la política × 100 | 9 ÷ 9 = 100.00 % | HE2 |
| KPI5 | % correlación end-to-end exitosa | Flujos transaccionales que se pueden correlacionar de extremo a extremo | flujos correlacionados ÷ flujos evaluados × 100 | 1 ÷ 1 = 100.00 % | HE3 |
| KPI6 | % capacidad de reconstrucción completa | Incidentes cuya secuencia de hechos se puede reconstruir por completo a partir de la evidencia | incidentes reconstruidos ÷ incidentes evaluados × 100 | 1 ÷ 1 = 100.00 % | HE3 |
| KPI7 | Tiempo promedio de recuperación de evidencia | Tiempo promedio para recuperar la evidencia del incidente | milisegundos (no porcentual: queda fuera del IQCED) | 356 ms | HE3 |
La columna de ejemplo usa SC-09 porque es el único escenario donde un KPI postest no llega a 100 %: en la simulación de amenaza interna se altera un registro de log, y la cadena de hashes lo detecta (8 de 9 registros verificables). Es el comportamiento esperado del control, no una falla.
Para contrastar la hipótesis general se necesita una sola medida por escenario y fase. El IQCED es la media aritmética de los seis KPIs porcentuales, con igual peso:
indice_global.csvLa regla N/A → 0 parte de un criterio probatorio: si el sistema no tiene la infraestructura para medir un atributo forense, ese atributo no existe a efectos de una investigación. En el pretest KPI4 y KPI5 son N/A, y KPI2, KPI3, KPI6 se registran como 0 ÷ 0. Solo KPI1 tiene denominador real en el pretest (10, 10, 8, 12, 10, 14, 10, 8, 9, 10 eventos críticos según el escenario), con numerador 0 en todos los casos.
KPI7 se reporta descriptivamente: en el postest el tiempo de recuperación tuvo una media de 485 ms y una mediana de 438 ms (rango 356–781 ms), por debajo del umbral de referencia de 1000 ms. En el pretest no había mecanismo de recuperación que cronometrar.
El Instrumento 3 es un cuestionario de quince ítems en escala Likert de cuatro puntos, sin punto neutral (1 = totalmente en desacuerdo, 4 = totalmente de acuerdo), aplicado mediante Microsoft Forms a 12 profesionales de QA, desarrollo, ciberseguridad, análisis y negocio. Los ítems se agrupan en tres dimensiones de cinco: A (pertinencia y coherencia), B (aplicabilidad técnica) y C (suficiencia y viabilidad). Su función en el diseño es complementar la evidencia de laboratorio con el juicio de quienes operan sistemas reales.
El export de Forms se procesa en src/extract.py: los encabezados se
resuelven a los códigos A1–C5 comparando texto normalizado (Forms trunca los
enunciados largos), las respuestas textuales se convierten a 1–4 y el proceso se
detiene con error si algún ítem o respuesta no se puede mapear. El repositorio versiona
solo una copia anonimizada.
src/transform.py · alfa_cronbach()Supera el umbral de 0.70 fijado en la §3.5 del marco metodológico.
Las tres subescalas son consistentes por separado, no solo en conjunto.
Solo al quitar B4 (0.913) o C4 (0.910) el α sube, y como máximo 0.007: una ganancia marginal que no justifica descartar ningún ítem.
El procesamiento sigue un esquema ETL (extract, transform, load) con dos etapas de verificación intercaladas. Ningún número pasa de una etapa a otra transcrito a mano.
El laboratorio corre los 10 escenarios en pretest y postest. Cada corrida calcula sus KPIs y deja cuatro archivos de evidencia.
04_evidencias/<fase>/escenario_scNN/Un script del laboratorio lee los reportes y la lista de verificación, y produce los CSV en formato largo y ancho, junto con dos manifiestos: el SHA-256 de cada archivo de evidencia y el de cada CSV exportado.
exportar_para_etl.py (repositorio del laboratorio) ·
Salida: input/exports_etl/Antes de usar los datos se recalcula el SHA-256 de cada CSV contra su manifiesto y se comprueban conteos, cobertura de identificadores, rangos y cruces entre archivos. Si alguna comprobación falla, el script termina con código 1.
scripts/verificar_paquete.pyCarga de los siete CSV (UTF-8 con BOM) y del cuestionario de expertos, con validación de columnas y de dominio de las respuestas.
src/extract.pyAgregación de la VI por ítem y fase, medias de KPI por fase, prueba de normalidad, contraste de hipótesis, tamaños de efecto y alfa de Cronbach.
src/transform.py · pandas, NumPy, SciPyGeneración de las figuras del capítulo en PNG a 150 dpi y de un Excel con todas las tablas intermedias y los resultados de inferencia.
src/plots.py, src/load.py ·
Salida: output/graficas/, output/consolidado.xlsxCada cifra impresa en el Capítulo IV se registra tal como aparece en el documento y se compara contra su recálculo desde los CSV.
El sitio se genera desde los mismos datos y vuelve a correr la auditoría; la salida literal de los scripts de verificación queda en Evidencia.
scripts/generar_sitio.pyEl contraste de la hipótesis general compara los 10 pares IQCED pretest–postest.
La elección entre una prueba paramétrica y una no paramétrica no se fijó de antemano:
la decide la normalidad de las diferencias, según la regla implementada en
src/transform.py · estadistica_inferencial().
W = 0.366, p = 1.0e-07. Se rechaza la normalidad. El rechazo se debe a la falta de variabilidad (9 de 10 diferencias son idénticas), no a asimetría.
Al rechazarse la normalidad se descarta la t pareada. W = 0, p = 0.001953 (distribución exacta, bilateral). Se rechaza H0.
10 de 10 diferencias son positivas y ninguna negativa: es el valor máximo posible del indicador.
El valor p es el mínimo que el diseño permite. Con n = 10 y todas las diferencias del mismo signo, la distribución exacta de Wilcoxon da p = 2 / 210 = 0.001953. Ningún resultado con diez pares puede ser más significativo. El p indica que la mejora es consistente en todos los escenarios; la magnitud de la mejora la dan los descriptivos: diferencia media de 99.81 puntos sobre 100, con desviación estándar de 0.59.
La d de Cohen no se usa para interpretar. Se calcula como referencia (d = 170.6), pero al dividir por una desviación estándar casi nula el valor se dispara y pierde significado. Por eso el capítulo reporta como tamaño de efecto la correlación rank-biserial, coherente con la prueba de Wilcoxon.
Efecto techo. El postest tiene media 99.81 y nueve escenarios en 100. El análisis lo detecta y lo declara: la escala no puede registrar mejoras por encima de ese nivel, por lo que los resultados describen que el modelo lleva la calidad de la evidencia al máximo medible, no cuánto podría superarlo.
Todas las figuras se generan con matplotlib y seaborn desde
src/plots.py. Ninguna se edita después de generada. Los colores son
constantes en todo el capítulo: pretest #7FB3D5, postest
#1F4E78. En la página Figuras cada imagen
lleva su ficha técnica con los valores exactos que representa.
| Figura | Fuente | Transformación | Codificación visual | Función |
|---|---|---|---|---|
| 2 a 11 | vi_long.csv, vi_totales.csv, kpis_long.csv, indice_global.csv, metadata_escenarios.csv | Se filtran las filas del escenario. Panel A: valor 0–3 de cada ítem I1–I10 por fase; la suma y el nivel se leen de vi_totales.csv. Panel B: valor de KPI1–KPI6 por fase con N/A dibujado como 0 (misma regla que el IQCED); el IQCED del título se lee de indice_global.csv. Título, dimensión e hipótesis vienen de metadata_escenarios.csv. | Barras agrupadas pretest/postest. Línea de referencia en 2 en el panel A. | plot_escenario_panel() |
| 12 a 14 | input/anonimizado/instrumento_3.csv | Por cada ítem de la dimensión se cuentan las respuestas en cada nivel 1–4 y se convierten a porcentaje de la fila (12 respuestas = 100 %). La media del título es la media de las 60 respuestas de la dimensión. | Barras horizontales apiladas al 100 %, escala divergente de rojo (1) a azul (4). Se rotulan los segmentos ≥ 5 %. | plot_cuestionario_dimension_apilada() |
| Tablas 4–8 | Los mismos CSV | Se reconstruyen en scripts/generar_sitio.py al generar este sitio y se comparan cifra por cifra contra el documento en la auditoría. | Tabla HTML | pagina_tablas() |
Se declaran aquí las decisiones que un revisor podría cuestionar, junto con lo que se hizo para acotarlas.
La conclusión no depende de esta regla. Si en lugar de contar los N/A como cero se excluyen del promedio, el IQCED pretest máximo sigue siendo 0.00. Y si se usa solo KPI1, el único indicador con denominador real en el pretest, el resultado es el mismo: 0 eventos críticos registrados (0) en los 10 escenarios.
Pretest en 0 y postest en 100 en nueve de diez escenarios. Esto limita lo que la estadística inferencial puede aportar más allá de confirmar la consistencia del cambio, y es la razón por la que se privilegia la lectura descriptiva y el tamaño de efecto no paramétrico.
La VI vale 4/30 en todos los escenarios del pretest y 30/30 en todos los del postest. La asociación entre VI y VD descansa por lo tanto en dos niveles de implementación, no en diez valores independientes; no se estima una relación dosis–respuesta.
El modelo fue implementado y evaluado por la misma persona investigadora, sin segundo evaluador independiente, lo que impide estimar concordancia entre observadores en el Instrumento 1. Está declarado como limitación en el Cap. I, p. 15. Lo mitigan dos cosas: los KPIs (Instrumento 2) los calcula el sistema, no el evaluador, y cada uno queda encadenado por hash a su evidencia.
Los escenarios se ejecutaron en una aplicación de laboratorio con incidentes simulados, no en un sistema bancario en producción. La valoración del panel experto (Instrumento 3) aporta evidencia sobre la aplicabilidad en entornos reales, pero la generalización a producción requiere validación adicional.
Las observaciones abiertas sobre la redacción del documento se listan, sin omitir ninguna, al final de la página Auditoría.
Python 3.12 con dependencias ancladas: pandas==2.2.3 · numpy==2.1.3 · openpyxl==3.1.5 · matplotlib==3.9.2 · seaborn==0.13.2 · scipy==1.14.1.
pip install -r requirements.txt python scripts/verificar_paquete.py # integridad SHA-256 y consistencia del paquete python main.py # figuras, Excel consolidado y reporte python scripts/auditar_capitulo4.py # cada cifra del documento contra su recálculo python scripts/generar_sitio.py # este sitio
verificar_paquete.py y auditar_capitulo4.py terminan con
código de salida 1 si alguna comprobación falla, de modo que la verificación se puede
automatizar sin leer la salida.