Reconocimiento de Entidades Biomédicas usando un Modelo de Lenguaje Pequeño
DOI:
https://doi.org/10.32870/recibe.v14i3.448Palabras clave:
Modelo de Lenguaje Pequeño, Modelo de Estado de Espacios Selectivos, Reconocimiento de Entidades Nombradas BiomédicasResumen
Esta investigación propone el desarrollo de un Modelo de Lenguaje Pequeño (SLM) computacionalmente eficiente para el Reconocimiento de Entidades Nombradas (NER) en Biomedicina. Mediante el ajuste fino de un SLM preentrenado de dominio general (basado en Modelos de Espacio de Estados Selectivos, SSM) en textos biomédicos especializados, buscamos lograr un rendimiento comparable al de modelos más grandes. Nuestro enfoque aborda las limitaciones de los modelos basados en Transformers, como BioBERT (más de 110 millones de parámetros), combinando el procesamiento de secuencias en tiempo lineal con técnicas de adaptación del dominio biomédico.Citas
Brown et al., (2020). Language Models are Few-Shot Learners (No. arXiv:2005.14165). arXiv. https://doi.org/10.48550/arXiv.2005.14165
Gu, A., & Dao, T. (2024). Mamba: Linear-Time Sequence Modeling with Selective State Spaces (No. arXiv:2312.00752). arXiv. https://doi.org/10.48550/arXiv.2312.00752
Huang et al., (2020). ClinicalBERT: Modeling Clinical Notes and Predicting Hospital Readmission (No. arXiv:1904.05342). arXiv. https://doi.org/10.48550/arXiv.1904.05342
Lee et al., (2020). BioBERT: A pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. https://doi.org/10.1093/bioinformatics/btz682
Marengo et al., (2024). Benchmarking LLMs and SLMs for patient reported outcomes. https://doi.org/10.48550/ARXIV.2412.16291
Yoshimura et al., (2024). MambaPEFT: Exploring Parameter-Efficient Fine-Tuning for Mamba (No. arXiv:2411.03855). arXiv. https://doi.org/10.48550/arXiv.2411.03855
