Modelos de Lenguaje Específicos del Dominio Académico 2026: SciBERT, BioBERT, LegalBERT

La selección de los modelos lenguaje específicos dominio académico adecuados para cada tipo de investigación doctoral es una decisión metodológica de primer orden que muchos doctorandos subestiman. En 2026, el ecosistema de modelos de lenguaje basados en transformers ha proliferado hasta incluir decenas de variantes especializadas para distintas disciplinas, idiomas y tipos de tareas. Utilizar un modelo de propósito general cuando existe un modelo específicamente entrenado para el dominio de la investigación puede traducirse en diferencias de rendimiento de hasta el 20-30 % en métricas de precisión y recall para tareas críticas como la extracción de entidades biomédicas, la clasificación de textos jurídicos o la detección de relaciones conceptuales en literatura científica.

Este artículo ofrece un análisis técnico riguroso de los modelos de lenguaje específicos de dominio más relevantes para la investigación académica —SciBERT, BioBERT, LegalBERT y sus variantes— comparando su arquitectura, corpus de preentrenamiento, métricas de rendimiento en benchmarks académicos y casos de uso en tesis doctorales. También discute criterios prácticos para seleccionar el modelo más adecuado según la disciplina, la lengua del corpus y los recursos computacionales disponibles. Herramientas académicas como Tesify integran capacidades de NLP que aprovechan estos modelos especializados para tareas de asistencia a la investigación doctoral.

Arquitectura BERT y preentrenamiento de dominio

BERT (Bidirectional Encoder Representations from Transformers), publicado por Google en 2018 (Devlin et al., 2019), revolucionó el procesamiento del lenguaje natural al introducir un mecanismo de preentrenamiento bidireccional que captura dependencias contextuales en ambas direcciones del texto simultáneamente. Su arquitectura se basa en el mecanismo de atención multi-cabeza (multi-head self-attention) del transformer original (Vaswani et al., 2017), con versiones base (12 capas, 110M parámetros) y large (24 capas, 340M parámetros).

El preentrenamiento de dominio (domain-adaptive pretraining) consiste en continuar el preentrenamiento de un modelo BERT general sobre un corpus específico del dominio. Esto actualiza los pesos del modelo para que las representaciones vectoriales (embeddings) de los tokens reflejen las distribuciones estadísticas del lenguaje en ese dominio, incluyendo terminología especializada, colocaciones técnicas y estructuras sintácticas características. Alternativamente, el preentrenamiento from scratch sobre un corpus de dominio puro (como en el caso original de SciBERT) produce representaciones más especializadas a costa de mayor coste computacional.

SciBERT: el modelo para ciencia general

SciBERT (Beltagy et al., 2019) fue desarrollado por el Allen Institute for Artificial Intelligence (AI2) y entrenado desde cero sobre un corpus de 1,14 millones de artículos científicos de Semantic Scholar, con un total de 3.100 millones de tokens. El corpus cubre biología (75 %), ciencias de la computación (25 %) y otras disciplinas científicas. Su vocabulario (SCIVOCAB) fue construido específicamente a partir del corpus científico mediante el algoritmo WordPiece, lo que le permite representar eficientemente la terminología técnica sin dividirla en subpalabras sin sentido.

Rendimiento de SciBERT

En el benchmark de clasificación de textos científicos WoS-46985, SciBERT alcanza una accuracy del 87 % y F1 macro de 0,86, superando a BERT-base en 5 puntos porcentuales. Para reconocimiento de entidades biomédicas en el corpus BC5CDR (enfermedad y producto químico), SciBERT supera a BERT-base en 3,5 puntos de F1. En extracción de relaciones semánticas en textos científicos, la ventaja de SciBERT es de 7-12 puntos de F1 sobre modelos de propósito general.

Casos de uso en tesis doctorales

• Clasificación automática de artículos por disciplina o subdisciplina
• Extracción de metodologías, datasets y hallazgos clave de la literatura científica
• Análisis de la evolución conceptual de un campo mediante embeddings de términos técnicos
• Detección de relaciones entre conceptos en revisiones bibliográficas
• Generación de resúmenes estructurados de artículos científicos

BioBERT: procesamiento de texto biomédico

BioBERT (Lee et al., 2020) es un modelo BERT entrenado inicialmente con los pesos de BERT-base y luego preentrenado de forma continua sobre PubMed abstracts (4.500 millones de tokens) y PMC full texts (13.500 millones de tokens). Esta estrategia de preentrenamiento adaptativo al dominio es más eficiente computacionalmente que el entrenamiento from scratch, y produce mejoras de rendimiento consistentes en las tres tareas biomédicas principales: NER, extracción de relaciones y preguntas-respuestas biomédicas.

Rendimiento de BioBERT

En el benchmark estándar de NER biomédico JNLPBA (entidades de proteínas, ARN, ADN, tipos de célula y líneas celulares), BioBERT alcanza un F1 de 0,772, frente al 0,739 de BERT-base (+3,3 puntos). En preguntas-respuestas biomédicas (BioASQ), BioBERT supera el estado del arte anterior en todos los tipos de preguntas. Para extracción de relaciones entre enfermedad y gen (DDI-ChemProt), la ventaja de BioBERT sobre BERT-base es de 5-8 puntos de F1.

Casos de uso en tesis doctorales en ciencias de la salud

• Extracción automática de datos de ensayos clínicos para revisiones sistemáticas y meta-análisis
• Identificación de efectos adversos y relaciones fármaco-enfermedad en registros de salud
• Construcción de grafos de conocimiento biomédico a partir de la literatura
• Clasificación de notas clínicas y codificación de diagnósticos CIE-10

LegalBERT: análisis de texto jurídico

LegalBERT (Chalkidis et al., 2020) fue preentrenado sobre un corpus de 12 gigabytes de texto jurídico en inglés procedente de legislación europea (EUR-Lex), contratos comerciales (EDGAR), precedentes judiciales estadounidenses (CaseLaw Access Project) y escritos del Parlamento Europeo. El modelo está disponible en variantes entrenadas from scratch y con preentrenamiento adaptativo sobre BERT-base.

Rendimiento de LegalBERT

En el benchmark de clasificación de legislación europea (EUR-LEX classification), LegalBERT supera a BERT-base en 7 puntos de F1 micro y 9 puntos de F1 macro. Para la tarea de detección de cláusulas contractuales abusivas (ECHR task), la ventaja es de 6-11 puntos según la categoría de infracción analizada. El estudio de LegalBert-pt (Polo et al., 2023) para el dominio jurídico portugués-brasileño confirma que las ventajas del preentrenamiento de dominio son consistentes en lenguas distintas al inglés.

Casos de uso en tesis doctorales en derecho y ciencias políticas

• Clasificación automática de resoluciones judiciales por tipo y área del derecho
• Extracción de obligaciones, derechos y sanciones de textos normativos
• Análisis de la evolución de la jurisprudencia del TJUE o el Tribunal Constitucional
• Detección de inconsistencias entre normas o entre normas y jurisprudencia
• Análisis discursivo de debates parlamentarios

Para la aplicación de estos modelos en el análisis discursivo de corpus académicos, véase el artículo sobre análisis discursivo asistido por IA en tesis doctorales.

Otras variantes relevantes por dominio

Comparativa de rendimiento en benchmarks académicos

La comparación objetiva entre modelos requiere evaluar su rendimiento en benchmarks establecidos por la comunidad científica. Los más relevantes para el contexto académico son:

• SciEval: Benchmark de evaluación de conocimiento científico en química, física y biología. Los modelos especializados superan a GPT-4 de propósito general en 8-15 puntos porcentuales en las subdisciplinas para las que fueron entrenados.
• BEIR (Biomedical Evidence Retrieval): Evalúa la capacidad de recuperación de evidencia biomédica. BioBERT supera a BERT-base en 12 puntos de nDCG@10.
• LexGLUE: Benchmark legal multilingüe con 7 tareas de clasificación y predicción. LegalBERT y sus variantes dominan todas las categorías frente a modelos generalistas.
• SCIERC: Extracción de entidades y relaciones en texto científico. SciBERT obtiene F1 de 0,672 en extracción de relaciones, frente a 0,609 de BERT-base.

Un dato clave del Stanford HAI AI Index Report 2024 es que, a pesar del avance de los LLM de propósito general (GPT-4, Claude, Gemini), los modelos especializados de tamaño mediano (100-400M parámetros) siguen siendo competitivos o superiores en tareas de dominio específico, con la ventaja adicional de ser ejecutables localmente, lo que elimina preocupaciones de privacidad de datos relevantes bajo el RGPD y el EU AI Act.

Criterios de selección para tesis doctorales

La selección del modelo de lenguaje más adecuado para una tesis doctoral debe considerar los siguientes factores:

Disciplina y tipo de texto

El criterio principal es la cercanía entre el corpus de preentrenamiento del modelo y el tipo de texto que se va a analizar. Para texto biomédico en inglés, BioBERT o PubMedBERT son las opciones por defecto. Para texto jurídico, LegalBERT. Para texto científico general, SciBERT. Para corpus en español, BETO es el punto de partida, con posibilidad de fine-tuning adicional si el dominio lo requiere.

Tarea de NLP

La arquitectura del modelo debe ser adecuada para la tarea: los modelos encoder-only (BERT y variantes) son óptimos para clasificación, NER y extracción de relaciones; los modelos encoder-decoder (T5, BART) son más adecuados para generación de texto, resumen y traducción; los modelos decoder-only (GPT) son más apropiados para generación y diálogo.

Recursos computacionales

Los modelos BERT-base (110M parámetros) pueden ejecutarse en una GPU de gama media (8 GB VRAM) o incluso en CPU para inferencia simple. Para fine-tuning, se recomienda al menos una GPU de 16 GB. Los LLM de gran escala (7B+ parámetros) requieren infraestructura de computación en la nube, con coste variable según el proveedor.

Privacidad de los datos

Cuando el corpus contiene datos sensibles (historias clínicas, datos personales de participantes), el uso de modelos ejecutables localmente es preferible al uso de APIs de modelos propietarios en la nube, ya que elimina el riesgo de procesamiento de datos fuera del territorio UE. Esta consideración es directamente relevante bajo el RGPD y el EU AI Act. Para una discusión completa, véase privacidad de datos en tesis con IA: RGPD y AI Act 2026.

Implementación práctica en investigación doctoral

La implementación de modelos de lenguaje especializados en una tesis doctoral sigue habitualmente uno de estos tres caminos:

Uso de modelos preentrenados directamente (zero-shot / few-shot)

Se utiliza el modelo especializado directamente para la tarea, sin entrenamiento adicional. Es la opción más rápida y adecuada cuando la tarea es genérica dentro del dominio (p. ej., extracción de entidades estándar en texto biomédico con BioBERT). Los resultados pueden ser suficientemente buenos para análisis exploratorios, aunque no siempre alcanzan el rendimiento óptimo.

Fine-tuning supervisado

Se ajustan los pesos del modelo preentrenado con un conjunto de datos de entrenamiento etiquetados específico de la tesis (p. ej., resoluciones del Tribunal Supremo español para una tesis en derecho administrativo con LegalBERT adaptado al español). El fine-tuning requiere entre 100 y 10.000 ejemplos etiquetados según la complejidad de la tarea y puede realizarse en pocas horas en una GPU moderna.

Uso a través de APIs o plataformas de investigación

Plataformas como HuggingFace Hub proporcionan acceso a cientos de modelos especializados preentrenados y fine-tuned mediante APIs estandarizadas, eliminando la necesidad de gestionar infraestructura. Muchos de estos modelos están disponibles de forma gratuita para uso académico. La integración con herramientas como Tesify permite incorporar capacidades de NLP especializado en el flujo de trabajo de la tesis sin necesidad de programación extensiva.

Limitaciones y consideraciones éticas

Los modelos de lenguaje especializados de dominio presentan limitaciones específicas que el investigador debe conocer y documentar:

• Distribución temporal del corpus: SciBERT fue entrenado sobre datos hasta 2019; BioBERT hasta fechas similares. Los términos y conceptos emergentes en sus disciplinas después de ese corte pueden estar pobremente representados.
• Sesgo de idioma: La mayoría de los modelos están preentrenados en inglés. Su aplicación a corpus en español, portugués u otras lenguas requiere modelos multilingüe (mBERT, XLM-RoBERTa) o modelos específicos del idioma (BETO, RoBERTa-es).
• Sesgo de dominio de publicación: SciBERT tiene un sesgo hacia biología y computación. Su rendimiento en humanidades digitales, ciencias sociales o arte puede ser inferior al de modelos entrenados sobre corpus de esas disciplinas.
• Interpretabilidad: Los modelos basados en transformers son «cajas negras» en el sentido de que sus predicciones son difíciles de explicar en términos lingüísticos intuitivos. Las técnicas de XAI (SHAP, LIME, attention visualization) pueden añadir algo de interpretabilidad, pero con limitaciones. Esta cuestión es directamente relevante para el cumplimiento del EU AI Act en sistemas de toma de decisiones basados en estos modelos.

Para el análisis de los sesgos inherentes en los modelos de IA y sus implicaciones metodológicas, véase sesgos de la IA generativa e implicaciones para la tesis. Para la aplicación de estos modelos en análisis estadístico inferencial, véase IA y análisis estadístico inferencial en tesis doctorales.

Preguntas frecuentes

Referencias

• Beltagy, I., Lo, K., & Cohan, A. (2019). SciBERT: A pretrained language model for scientific text. Proceedings of EMNLP-IJCNLP 2019, 3615–3620. https://arxiv.org/abs/1903.10676
• Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: A pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. https://doi.org/10.1093/bioinformatics/btz682
• Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., & Androutsopoulos, I. (2020). LEGAL-BERT: The muppets straight out of law school. Findings of EMNLP 2020, 2898–2904. https://arxiv.org/abs/2010.02559
• Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.
• Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don’t stop pretraining: Adapt language models to domains and tasks. Proceedings of ACL 2020, 8342–8360.
• Polo, F. M., Benassi, L. F., Severo, A., dos Santos, F. C., & Henriques, M. (2023). LegalBert-pt: A pretrained language model for the Brazilian Portuguese legal domain. ResearchGate. https://doi.org/10.13140/RG.2.2.27181.10727
• Stanford HAI. (2024). AI index report 2024. Stanford University Human-Centered AI Institute. https://aiindex.stanford.edu/report/
• OECD. (2023). OECD framework for the classification of AI systems. OECD Publishing. https://doi.org/10.1787/cb6d9eca-en
• Parlamento Europeo y Consejo de la UE. (2024). Reglamento (UE) 2024/1689 (AI Act). Diario Oficial de la Unión Europea.
• UNESCO. (2023). Guidance for generative AI in education and research. UNESCO.