Buenas,
para saber qué pasa pon una captura del mensaje que te salga.
Pero por lo que dices, seguramente sea un problema de "TDR"... es una "problema" que realmente es de la GPU en conjunción con Windows 10 (¿tienes W10?). Desde W10 o Vista, no me acuerdo, el SO tiene unos parámetros que hacen que en caso de "cuelque" de la GPU no tengas que reiniciar el sistema, reiniciando el controlador de pantalla. Se supone que "No depende de la GPU", pero le pasó mucho a las 9xx, sobre todo tras ciertas actualizaciones de controlador.
EDITADO: Sobre el
TDR ("Timeout detection and recovery") está este artículo breve y buscando por "TDR" puedes encontrar más parámetro y cómo funciona... pero ya te digo que alguna vez siguen pasando. La otra "solución" era "downcloquear" la gráfica, es decir, "caparla"... ¿Tu gráfica tiene valores base o es una con OC de fábrica, le has aumentado los relojes manualmente?
¿Esto te ha pasado tras actualizar controladores de la gráfica? Los controladores de NVIDIA desde hace un año (si no más) no aportan nada a las 9xx, son soportadas, nada más. Si ningún juego te exige cierta versión del controlador: no actualices tarjetas "antiguas" (sí, lo sé... pero para Nvidia las 9xx son antiguas y ya no dan soporte en cuanto a añadir cosas nuevas o crear para ellas nada, sólo pas 10xx).
El problema es que realmente en algún momento Windows no recibe respuesta del controlador de la GPU (por defecto 2 segundos) y decide que algo ha fallado y reinicia el controlador. A veces simplemente se reinicia y sigues en el juego, otras veces se sale al escritorio y sale el mensaje de "... el controlador no responde y se ha reiniciado..." y otras directamente tienes que reiniciar la máquina porque no responde.
Mira a ver exactamente qué te pasa, pero lo único que lo arregla... es bajar la calidad o la carga. Aunque no veas temperaturas altas, altos consumos de potencia, o demás valores, e incluso teniendo en cuenta que debería la GPU ajustarse en esos casos y dejar de meter el boost, no lo hace y sin problemas "aparentes" falla. Si es esto, se pueden modificar los valores de tiempo para que el SO interprete que la controladora no responde, hay un problema y tiene que reiniciarla, así como otros valores que rigen esto (incluso desactivarlo). Tengo que encontrar qué claves había que modificar en el registro (yo tengo algo cambiado), pero tampoco te creas que te lo va a arreglar del todo...
Si no lo tienes, puedes instalarte alguna aplicación basada en Rivatuner (MSI Afterburner, EVGA Precission, o cualquier otra más "cutre") para tener en tiempo real o guardar los valores del sistema (temperaturas, FPS, framebuffer, frecuencias de hilos de CPU, voltajes,de GPU, etc.) y ver si coincide con algún patrón que dé pistas de qué puede estar pasando.