Processant ...

Nvidia ha publicat un model “Multi Modal” que combina models de llenguatge natural i models experts en imatge mèdica, de manera que es podria preguntar en llenguatge natural sobre un tumor, i el sistema escolliria el model expert per a resoldre la pregunta. https://developer.nvidia.com/blog/celebrating-open-science-and-enterprise-ai-innovation-on-monais-5th-anniversary/ Aquesta innovació és molt important perquè explora la combinació de diferents tecnologies IA amb l’objectiu de assistir en la tasca d’analitzar imatges mèdiques, utilitzant models ja existents, i per tant, sense haver d’entrenar ni dissenyar un model nou. Per a què un model pugui usar-se en un entorn real, una de les coses que és essencial és poder garantir la Qualitat, és a dir, que el model no només funciona com s’espera, sinó que segueix funcionant com s’espera. L’objectiu del projecte és realitzar una prova de concepte d’utilitzar l’eina “Evidently AI” per a l’Observació de la Qualitat d’aquest model. La dificultat és que en realitat és “multi-modal”, i tant s’ha d’observar la part del LLM, com dels models experts en imatge mèdica. Es pot limitar la prova de concepte a un grup concret de models experts. Es proposa implementar-ho utilitzant la api de la demo https://vila-m3-demo.monai.ngc.nvidia.com/?view=api i la versió free del evidently cloud ( evidentlyai.com). En cas que es necessiti més flexibilitat, llavors es poden utilitzar els contenidors de m3, i la versió opensource de evindtlyai. Pels contenidors fa falta tenir una GPU, en cas que no es disposés d’una, es podria utilitzar una màquina virtual en un Cloud (AWS, Azure, Gcloud). El projecte no és complicat, sinó que requereix d’aprendre coses noves i entendre com encaixar-les. Bonus points: Comunicar els resultats al projecte Desenvolupar un panell de Grafana Observar també la seguretat (p.e. amb giskard)