Los recursos de UNC Supercómputo muchas veces son habilitantes para que alumnas y alumnos den un salto en la cursada. Esta vez la materia electiva «Minería de Texto» de FaMAF-UNC se benefició de la arquitectura AMD Aldebarán con sus 64 GiB de memoria.
Costó bastante trabajo hacer funcionar una MI210 de enfriamiento pasivo en un chasis de workstation, pero impresión 3D mediante, las mangueras de alimentación adecuadas y algún par de ventiladores de repuesto de Serafín, el CPA de CONICET, Alejandro Silva, salió con este pequeño monstruo de 300W funcionando sin que levantara temperatura dentro del nodo de cómputo interactivo.
Siendo la GPU más potente que tenemos y con mayor cantidad de RAM, siempre la ofrecemos a usuarias/os de LLMs, ya que muchas veces las NVIDIA A30 de solo 24 GiB de RAM se quedan cortas hasta para hacer inferencia en modelos grandes y cuantizados a 4 bits.
Durante la cursada de «Minería de Texto» durante el segundo cuatrimestre de 2024, dictada por la Dra. Laura Alonso Alemany en FaMAF, sus estudiantes tuvieron cuenta en el server con la MI210 y a través de micromamba, PyTorch y el driver ROCm, pudieron llevar sus experimentos un nivel más arriba.
Juan Cruz Oviedo estuvo trabajando en un «Proyecto Adaptación de Textos para Aprendizaje de Inglés como Lengua Extranjera». Juan Cruz comenta:
Empecé el proyecto ejecutando Llama-3.1-8B y Orca 2 7B en Google Colab, en un principio me funcionaba para poder hacer clasificación de textos pero con algunas dificultades, ya que se llenaba la RAM de la GPU y tenía que reiniciar todo el proceso y entonces empecé a usar la MI210. En la GPU se cargaron los modelos llegando a un uso máximo de aproximadamente 18 GiB para hacer adaptaciones de textos. Para los experimentos de clasificación se usó alrededor de 117 minutos de calculo con el modelo Llama (mas ejecuciones fallidas y errores). Usé alrededor de 50hs de cómputo y muchísima más RAM de lo que me permitía Colab.
Juan Bratti nos decía:
A mi la MI210 me permitió usar modelos de lenguaje de Meta para poder terminar el proyecto final de Minería de Texto. Con mi grupo usamos principalmente el modelo de Llama-3.1-8B para procesar reviews de productos y generar un resumen de los mismos. Sin esta GPU no podríamos haber hecho el proyecto porque ni mi computadora ni la de mis compañeros del grupo podía correrlo. Es más, una vez intenté correrlo con mi compu y se me apagó. También la usamos para probar distintas configuraciones del proyecto de forma iterativa, algo que tampoco era posible hacerlo sin la MI210. Esto nos sirvió para evaluar el funcionamiento del proyecto y testear varias hipótesis que teníamos sobre la factibilidad y optimización de lo que queríamos hacer. En definitiva, además de ayudarnos a terminar el proyecto y tener una demo de que funcionaba, también nos sirvió para hacer un montón de experimentos.
Andrés Sadir también uso la GPU y nos comentaba:
Como primer contacto con los recursos de UNC Supercómputo, fue relativamente sencillo su uso y un gran ahorro de tiempo en las pruebas que realicé. Había probado en mi desktop con una GPU modesta y el tiempo de las tareas mas pesadas era de alrededor de media hora, con la MI210 tardó menos de dos minutos.
Una de las misiones de UNC Supercómputo es la de atender las necesidades de cómputo donde la PC no alcanza. Éste fué otro ejemplo más donde cumplimos nuestra misión. Si querés ir más allá, contactanos, tenemos cómputo, memoria y almacenamiento para tu proyecto de formación o de investigación.
Nicolás Wolovick
Director de UNC Supecómputo
