En el marco de la política de evaluación de la calidad de la educación, comienza en el país la aplicación de los exámenes de calidad de la educación superior –ECAES– orientados desde el concepto de competencias. Dicha estrategia reconoce su limitación para concluir, por si misma, acerca de la calidad de la educación superior. Porlo tanto, los usos posibles de los resultados no pueden ni abstraerse de tal consideración ni ser concluyentes para operar en contra o a favor de los sujetos e instituciones evaluados. Al desentrañar los sentidos de la evaluación masiva, para anticipar los posibles efectos de su uso, se reconoce que estos están en relación, más que con los propósitos desde los cuales se propone la prueba, con el instrumento y el modelo de análisis aplicado. La construcción del instrumento de prueba y del modelo de análisis reflejan la postura desde la cual se concibe el accionar educativo y evaluativo. De allí que problematizar sobre dichas posturas permita acercarse a la comprensión de los efectos de dichos supuestos.In the frame of evaluation policies on education quality, the application of quality tests to college education, –ECAES– based on the concept of competence, has already started in Colombia. Such a strategy recognizes its own limitation to draw conclusions about college education by itself. Therefore, the possible uses of its results must neither ignore the previous remark, nor be conclusive in operating against or in favor of individuals or institutions evaluated. After understanding the meanings of massive evaluation and, in order to anticipate possible effects of its application, it is acknowledged that these effects are related both to the instrument and the model of analysis applied, more that to the objectives prescribed for the test. Both the construction of the test as a tool, and the model of analysis, show the stance adopted to conceive educative and evaluative actions. For that reason, to question such perspectives allows to get close to the understanding of the effects of those assumptions.