YO uso algunos objetivos Nikkor (AF o AIs, con anillo de diafragmas) en una m4/3 sin más problema que el enfocar a mano, y perder algunos otros automatismos, como el modo "S"- Pero en "A", y si te apañas para enfocar a mano (aquí la cosa cambia de objetivo a objetivo: los AI/AIs suelen tener unos anillos de enfoque generosos, con casi un giro completo de desplazamiento desde la distancia mínima de enfoque hasta el enfoque a infinito, pero los AF/D son diferentes, con un anillo de enfoque mucho más sensible.
Respecto a al pérdida de calidad: en principio, si enfocas bien, ninguna. Date cuenta de que la distancia de registro (distancia entre el plano del sensor hasta la bayoneta) es mayor en la montura Nikon F que en m4/3, por lo que los adaptadores vienen a ser algo parecido a un tubo hueco.
Si sufre la montura. Pues también depende de qué objetivo montes y de cómo lo sujetes: si montas un teleobjetivo largo y pesado, y solo sujetas la cámara, pues imagino que algo sufra la bayoneta. Pero si el objetivo es más pequeño, o si lo sujetas, pues no veo por qué tendría que sufrir