Daqui por dez anos alguém no Governo vai ter esta brilhante ideia!

Aqui o megalómano, como alguns do meu partido me chamam; aqui o “incompetente” (e outros epítetos nada lisonjeiros), como alguns anónimos me chamam (quer em comentários que para aqui me escrevem quer em comentários que escreveram noutro blog aqui do Barreiro), faz dois anos que alerta para os erros que se estão a cometer no tema da avaliação do desempenho (por exemplo, dos funcionários públicos) e temas correlacionados com o desempenho organizacional.

Clama a minha voz em pleno deserto de ideias, sem efeitos práticos, sem que ninguém de direito faça caso das minhas palavras. Mas… daqui por dez anos, alguém terá a repentina e brilhante ideia: A discriminação do desempenho individual é legítima e útil ao desempenho das organizações.

Estará na moda. Chegará finalmente a Portugal pela mão de algum “Guru” que – por convite – virá cá dar umas conferências sobre o assunto a troco de chorudo cheque de honorários. Nessa altura ninguém se lembrará aqui dos alertas do “megalómano” e muito menos que o conteúdo das conferências do dito “Guru”, por mais módica quantia, podia ter sido obtido fazendo uso da “prata da casa”. Mas teremos o “grande evento” e o processionário beija-mão de quem finalmente foi bafejado pela Luz da sabença do “Guru” … Ministros, Governantes, CEO’s e outros importantes gestores “embandeirarão em arco” com as sábias palavras do “Guru”, cantarão hossanas ao “Guru” e vergar-se-ão em profunda vénia perante tão doutos conhecimentos do “Grande Guru” que lhes fará exclamar – Uhau!

As palavras que o “Guru” irá dizer já existem e estão disponíveis em diversos pontos da Internet. Dado que “vozes de burro não chegam ao Céu”, aqui fica para memória futura.

Vídeo com possível discurso do Guru



Vídeo com os festejos dos que cantarão as tais hossanas ao “Guru”

Tudo o que precisa de saber sobre a Avaliação de Professores Chilenos

Andam por aí a afirmar que o modelo de avaliação de desempenho dos professores foi copiado do modelo Chileno. Tudo o que precisa de saber sobre a Avaliação de Professores Chilenos está aqui!

Numa primeira abordagem ao sítio da avaliação dos professores Chilenos detecto que: 1) A avaliação não é anual, ou seja, em cada ano só um determinado grupo de professores é que é avaliado; 2) A avaliação só se repete no ano seguinte para os professores que obtiveram uma classificação «não satisfaz»; 3) As boas prácticas de ensino que servem de base para os critérios de avaliação foram elaboradas tomando a opinião dos docentes deste país; 4) Existem muitas semelhanças entre este modelo de avaliação e o modelo português, mas o modelo Chileno foi desenhado para uma avaliação plurianual e não para uma avaliação anual [só assim se entende a implementação de um modelo tão complexo, pesado e que ocupa muito tempo ao docente avaliado no ano em que lhe compete ser avaliado]; 5) Uma parte da avaliação, referente à correcção do portafolio, é realizada por instituições universitárias.

Eu bem estranhava que nesta história toda havia algo muito mal contado! Alguns pensam que o Chile é o terceiro mundo, mas quem conhece algumas coisas bem feitas na América Latina sabe que os Latino-americanos nada têm de "párvulos" (párvulo = Inocente, que sabe poco o es fácil de engañar). Afinal o sistema foi concebido para uma avaliação que não é anual e que ocorrerá de X em X anos a cada professor.

Sou céptico face a este tipo de avaliação, mas reservo melhor opinião sobre o modelo, a qual terá de ser fundamentada na análise cuidada de toda a documentação existente no sítio oficial da avaliação do desempenho dos professores Chilenos. Todavia, possuo já alguns indicadores de que o modelo é baseado num modelo anglo-sáxonico mais ligeiro. Infelizmente, nós latinos, temos tendência para complicar aquilo que é simples e tomar como simples o que é complicado.

Nota final relacionada com a Foto deste texto: «Los profesores chilenos entran en paro indefinido como rechazo a la nueva ley de educación. Los dirigentes del Colegio de profesores, con alrededor de 90 mil afiliados y que esperaban reunir a unas 15.000 personas en la Plaza de Armas, insistieron que el paro fue un éxito.» Agencia EFE y adn.es

O problema do modelo de avaliação de desempenho dos professores não é só burocracia!

Segundo o Público «Ministra da Educação disposta a tornar avaliação menos burocrática », mas parece pouco disposta a avaliar a bondade, fiabilidade e consistência do própio modelo de avaliação escolhido.

Há um conjunto de perguntas sobre este modelo de avaliação de desempenho dos professores que ninguém faz e que a própria Ministra está desejosa que nunca, jamais em tempo algum, alguém se lembre de fazer em público e em directo:

1. Qual o fundamento científico deste modelo?
2. Quais os estudos empíricos efectuados e quais os resultados?
3. Quais os verdadeiros objectivos do modelo? Quais os resultados esperados?
4. Quais os modelos alternativos e porque razão se considera este modelo melhor que as suas alternativas?
5. Como se garante através deste modelo o compromisso organizacional dos professores em relação à Escola?
6. Quais a variáveis que directamente dependem da actividade do professor e que este pode controlar (ou seja assumir-se como responsável por elas)?
7. Como fomenta este modelo de avaliação de desempenho comportamentos desejáveis por parte dos professores? Por exemplo, como fomenta o espírito de equipa e o trabalho de equipa?
8. Como garante o modelo que os comportamentos premiáveis são efectivamente os comportamentos que se deseja premiar?
9. Como garante o modelo a avaliação do desempenho extra papel (componente "out role" do desempenho) do professor?
10. Que constructo de desempenho se pretende medir com o modelo?
11. Como garante o modelo os desvios e erros de avaliação dos avaliadores? Em que medida e com que mecanismos de regulação?
12. Como se garante a justiça procedimental e a justiça distributiva no modelo?

Em lugar de responder a estas perguntas, a Sra. Ministra prepara-se para colocar em acção mais umas medidas que inevitavelmente redundarão em dislate. Entre elas, conforme surge no Jornal Público, dar "mais autonomia para as escolas" num processo de avaliação de desempenho que parece reteridado das obras literárias de František Kafka. Já não bastavam as influências do «O Processo» e do «O Castelo», vêm aí agora as influências d' «A Metemorfóse» do Sistema de Avaliação do Desempenho.

Manuel Alegre na TSF e a Avaliação de Desempenho dos Professores

Manuel Alegre no programa Discurso Directo, na TSF, abordou o tema da avaliação do desempenho dos professores com lucidez e muito bom senso. É de assinalar a sua nota sobre os Governos que funcionam em «circuito fechado» - curiosamente algo que não é só característica dos governos, mas que ocorre igualmente na gestão empresarial - e a tónica que coloca sobre o facto de os professores estarem a perder a alegria e o gosto de ensinar.

Contrastando com o bom senso de Manuel Alegre, lá sai dislate da boca de um dos entrevistadores ao afirmar - «mas isso tem pouco a ver com a avaliação.» - como se a motivação (alegria e gosto de ensinar) não tivesse qualquer relação com a avaliação do desempenho. Boa resposta a de Manuel Alegre, o qual sem ser perito ou cientista no assunto, usando somente do bom senso, coloca os pontos nos "ii" sobre o dislate de dois jornalistas que não souberam fazer o seu trabalho de casa e apresentam neste aspecto um mau desempenho.

Um modelo de avaliação de desempenho só funciona se estiver baseado num modelo concreto de desempenho. Existem diversos modelos de desempenho sugeridos pelos cientistas da psicologia organizacional e da gestão. Por exemplo, Blumberg e Pringle [1] definem o desempenho como um modelo multipicativo baseado em três dimensões: Capacidade, Vontade e Oportunidade de desempenhar.

Desempenho = Capacidade X Vontade X Oportunidade

Estas três dimensões correspondem a agregados de variáveis com impacto no desempenho. A Capacidade para desempenhar corresponde a variáveis relacionadas com as capacidades técnicas e físicas para executar o trabalho requerido.

A Vontade para desempenhar agrega um conjunto de variáveis como a motivação, satisfação (com o trabalho), ansiedade, estatuto do posto de trabalho (prestígio), legitemidade de participação, percepções sobre as características das tarefas a executar, (...) , compromisso com o trabalho, , personalidade da pessoa, normas e valores, sentimentos sobre a equidade, e percepções sobre as expectativas do papel a desempenhar no posto de trabalho.

A Oportunidade para desempenhar corresponde a um conjunto de variáveis como as ferramentas de trabalho, os equipamentos, as matérias primas e o seu fornecimento, as condições de trabalho, as actividades e acções dos colegas, o comportamento do líder, (...), as políticas organizacionais, as regras e procedimentos, a informação, o tempo disponível e a remuneração.

São diversos os factores com influência quer no desempenho individual quer no desempenho de uma organização. Entre elas, a alegria e o gosto de ensinar que Manuel Alegre referiu, as quais são representadas na literatura científica pela variável «satisfação laboral» (job satisfaction, na literatura anglo-saxónica). A análise da satisfação laboral daria aqui "pano para mangas". Assim, indo directo ao refutar do dislate produzido pelos entrevistadores, centro-me concretamente no estudo científico de Cawley, Keeping, Levy [2], que constataram (e não são os únicos) que a participação no processo de avaliação do desempenho está directamente relacionada com a satisfação e a aceitação do sistema de avaliação do desempenho (no original, participation in the appraisal process is directly related to employees' satisfaction with and acceptance of the performance appraisal system).

O que o Ministério da Educação, a Ministra, os Secretários de Estado e muitos dos Jornalistas da nossa praça não percebem sobre este sistema de avaliação e a reacção dos professores está explicado em diversos trabalhos científicos:

• Simcha [3], refere o impacto do sistema de valores pessoais do empregado na motivação, nas atitudes de trabalho e na percepção do sistema de recompensas utilizado na organização; (um trabalho de investigação publicado em 1978 e perfeitamente actual)
• Lovrich, Hopkins, Shaffer, e Yale [4], relacionam directamente os efeitos e impactos dos sistemas de avaliação do desempenho na satisfação laboral, no clima organizacional (ou laboral) e nos valores profissionais. {Na minha opinião, o actual clima de conflitualidade organizacional é um autêntico sinal de alarme sobre o impacto deste sistema de avaliação no quotidiano da Escola no médio e longo prazo.}
• Dois respeitáveis professores e cientistas, Zahra e Calvasina [5], referem explicitamente: «Motivation is a singularly important determinant of individual performance, and it is a major ingredient of job satisfaction. There are a number of ways in which managers can enhance motivation among their subordinates: 1. The motivation process should be personalized, given that different individuals value basic human needs in different ways. If the uniqueness of employees is being overlooked, then more emphasis needs to be placed on the orientation process for new employees. 2. The job itself can be a major motivator if there is ample opportunity for recognition and challenge and if the sense of accomplishment is enhanced. 3. The working climate should be conducive to achievement through such means as adoption of participative management in goal setting and leadership, continuous feedback and communication, and a suitable reward system. 4. The emphasis should be on equity, since fairness is essential to motivation.»
• Zahra [6] dá pistas muito claras sobre a importância da variável compromisso organizacional {na minha opinião, uma variável que o Ministério da Educação não se preocupou em controlar e está completamente desgovernada} ao assinalar "As the search for better ways to manage human resources continues, the concept of organizational commitment (OC) is being more carefully scrutinized. It has been suggested that OC is a more significant factor in employee turnover than job satisfaction. OC is also an important factor in absenteeism, tardiness, and overall employee performance. Thus, supervisors must understand the nature and determinants of OC. OC involves: 1. acceptance of organizational goals and values, 2. willingness to exert substantial effort to achieve these goals, and 3. a concrete desire to maintain an active membership in the organization. To build OC, it is necessary to understand the background, personality, and organizational factors that determine it. Supervisors play a critical role in determining an employee's OC. To be effective, supervisors must understand that: 1. OC begins with the recruitment process. 2. Proper employee orientation is imperative. 3. The first 3-6 months are particularly important. 4. Good personnel practices should be emphasized."
• Chandler [7] coloca em evidencia o mito da superioridade do sector privado em relação ao sector público. {Não esquecer que o actual sistema de avaliação tem raizes nos modelos utilizados no sector privado, alguns dos quais têm-se demonstrado autênticos "flops" no longo prazo}
• Daley [8], evidencia a existencia de uma relação positiva, mas moderada, entre a avaliação do desempenho baseada na gestão pr objectivos e o sucesso da organização. O estudo é referente à Administração Pública do Estado de Iowa nos Estados Unidos da América.
  

Não é por mero acaso, é propositadamente que apresento artigos científicos que não são recentes e publicados revistas científicas isentas de qualquer suspeição. Existe considerável literatura científica sobre o assunto nos últimos 30 anos. Se os dirigentes do Ministério da Educação tivessem em consideração estes simples 8 artigos, os quais já são "velhinhos" mas perfeitamente actuais, o que foi abordado por Manuel Alegre na sua entrevista não teria sido tema actual de entrevista, nem tão pouco assistiriamos às manifestações de professores que temos assisto.

Manuel Alegre, com bom senso e usando de palavras simples, sintetizou o que é sabido e tem sido comprovado pela comunidade científica nos últimos 30 anos.

Referências Bibliográficas

[1] Blumberg, M., y Pringle, C. D. (1982). The Missing Opportunity in Organizational Research: Some Implications for a Theory of Work Performance. Academy of Management Review, 7(4), 560-569.

[2] Cawley, B. D., Keeping, L. M., y Levy, P. E. (1998). Participation in the Performance Appraisal Process and Employee Reactions: A Meta-Analytic Review of Field Investigations. Journal of Applied Psychology, 83(4), 615.

[3] Simcha, R. (1978). Personal Values: A Basis for Work Motivational Set and Work Attitudes. Organizational Behavior and Human Performance, 21(1), 80.

[4] Lovrich, N. P., Jr., Hopkins, R. H., Shaffer, P. L., y Yale, D. A. (1981). Participative Performance Appraisal Effects Upon Job Satisfaction, Agency Climate, and Work Values: Results of a Quasi-Experimental Study in Six State Agencies. Review of Public Personnel Administration, 1(3), 51.

[5] Zahra, S. A., y Calvasina, G. E. (1982). Practical Tips for Motivation. Management Quarterly, 23(1), 23.

[6] Zahra, S. A. (1984). Understanding Organizational Commitment. Supervisory Management, 29(3), 16.

[7] Chandler, R. C. (1986). The Myth of Private Sector Superiority in Personnel Administration. Policy Studies Review, 5(3), 643-653.

[8] Daley, D. (1988). Performance Appraisal and Organizational Success. Review of Public Personnel Administration, 9(1), 17.

Cuidado com o coice... do «O Jumento»

Estou habituado a que o blog «O Jumento» asseste uns coices bem dados e certeiros pelo raciocínio ou fundamentação.

Para minha surpresa O Jumento reproduziu nos seus «Coices noutros Blogs» um coice vindo do blog Random Precision que foge ao normal rigor dos coices publicados no O Jumento.

Afirma o Random Precision que "Uma professora quer que a gente acredite que trabalha 12 horas por dia na escola e ainda mais (talvez outras tantas) em casa, embora não tenha dito qual é «o seu dia de folga» (...)" . Ora só a falta de conhecimento de causa pode levar a que se produza esta afirmação. Há efectivamente professores que trabalham mais de 12 horas diárias e sem "dia de folga" durante os cinco dias úteis. Há efectivamente professores que trabalham ao fim-de-semana quando deveriam estar a descansar.

Umas simples contas tomando o caso de uma professora ou professor com sete turmas a seu cargo, correspondendo a um total de 180 alunos, tornam plausível a afirmação dessa professora.

Admita-se que em média um docente leva 14 minutos a ler, corrigir (comentários deixados nos testes, como vi em muitos testes dos meus filhos) e avaliar um teste de avaliação e multiplique-se esse tempo médio por 180 alunos. Temos 2.520 minutos utilizados no processo de avaliação dos alunos, o que corresponde a 42 horas de trabalho. Admita-se que atende um encarregado de educação durante 30 minutos e que escreve três ou quatro mensagens a encarregados de educação dos seus discentes correspondentes a 10 minutos do seu tempo de trabalho, que utiliza 20 minutos do seu tempo para actividades administrativas como participação de faltas disciplinares, comunicação de faltas ou elaboração de um relatório. Junte-se 22 horas de aulas, acrescidas de 2 horas de permanência em sala de estudo e teremos um total de 67 horas de trabalho, para as quais ainda não foram contabilizadas outras actividades como o tempo despendido na preparação das matérias a leccionar, elaboração de fichas didácticas para os alunos, etc.

Dividindo as 67 horas por cinco dias úteis de trabalho temos uma média diária de 13 horas e 24 minutos de trabalho. Parece-me assim plausível a afirmação da Professora contrariamente ao que insinua o blog Random Precision, quanto mais não seja numa semana em que o docente corrija e avalie os testes dos seus alunos. Pode não ser assim todas as semanas, mas a avaliar pelos trabalhos de casa que os meus filhos trazem para casa ao longo dos sucessivos anos lectivos, na minha qualidade de encarregado de educação, não me oferece dúvidas que em outras semanas onde não há testes, os docentes empenhados trabalhem muito para além das 35 horas semanais a que contratualmente estão obrigados.

Mais! As novas tecnologias trouxeram novidades na interacção entre alunos e professores e ainda reentemente fui positivamente surpreendido por existirem professores que utilizam o messenger para esclarecer dúvidas dos alunos, por exemplo, após a hora de jantar.

Qualquer pai ou encarregado de educação mininamente atento, sabe que não pode meter tudo no mesmo saco e que seria da maior injustiça não reconhecer que há muitos professores empenhados que, para cumprirem conscientemente com os seus deveres profissionais, não olham ao número de horas que trabalham. Cuidado com o coice... que poderá não ser justo nem merecido.

Sobre a avalição de desempenho, o Random Precision (e indirectamente o O Jumento) devia ler a produção científica existente sobre o tema: Há factores que são controláveis por quem é avaliado e outros que o não são. Um dos grandes problemas da avaliação do desempenho está precisamente em avaliar-se o avaliado por factores sobre os quais tem pouco ou nenhum controlo.

Em lugar de produzir opinião baseada no preconceito ou no estereótipo, melhor seria um coice dado com base em alguns dos melhores artigos científico sobre desempenho e avaliação do desempenho, já que uma das maiores pechas sobre a legislação produzida sobre a avaliação de desempenho dos professores ou de quaisquer outros funcionários públicos é a má fundamentação (ou nenhuma fundamentação) científica dos modelos propostos. Sugiro assim, entre outros, a leitura de:

Arvey, R. D. and Murphy, K. R. (1998). Performance evaluation in work settings. Annual Review of Psychology. 49: 141-168

Blumberg, M. and Pringle, Charles D. (1982). The Missing Opportunity in Organizational Research: Some Implications for a Theory of Work Performance. Academy of Management Review. Vol. 7, No. 4, pp. 560-569.

Borman, W. C., & Motowidlo, S. J. (1993). Expanding the criterion domain to include elements of contextual performance. In N. Schmitt & W. C. Borman (Eds.), Personnel selection in organizations (pp. 71–98). San Francisco: Jossey-Bass

Bretz Jr., Robert D., Milkovich, Georg T. and Read, Walter (1992). The Current State of Performance Appraisal research and Practice: Concerns, Directions and Implications. Journal of Management, Vol.18, Nº. 2, 321-352.

Burke, W. W. and Litwin, G. H. (1992), A causal model of organizational performance. Journal of Management. Vol. 18, N.º 3, pp. 523-545.

Campbell, J. P. (1990). Modeling the performance prediction problem in industrial and organizational psychology. In M. D. Dunnette & L. Hough (Eds.). Handbook of industrial and organizational psychology (Vol. 1, pp. 687-732). Palo Alto: Consulting Psychologists Press.

Chen, Li Yueh (2004). Examining the Effect of Organization Culture and Leadership Behaviors on Organizational Commitment, Job Satisfaction, and Job Performance at Small and Middle-sized Firms of Taiwan. Journal of American Academy of Business. Vol. 5, 1/2, 432 – 438.

Churchill, G.A.; Ford, N. M.; Hartley, S. W; Walker, O. C. (1985). The determinants of salesperson performance: A meta-analysis. Journal of Marketing Research. N.º 22, pp 103-118.

Campbell, J. P.; McCloy, R. A.; Oppler, S. H. and Sager, C. E. (1993). A theory of performance. In E. Schmitt, W. C. Bormann & Associates (Eds.), Personnel Selection in organizations (pp. 35-70). San Francisco: Jossey-Bass.

Devries, David L., Morrison, Ann M., Shullman, Sandra L., Gerlach, Michael (1981). Performance Appraisal on the Line, John Wiley & Sons Inc, New York

Feather, N. T. and Rauter, Katrin A. (2004). Organizational citizenship behaviours in relation to job status, job insecurity, organizational commitment and identification, job satisfaction and work values. Journal of Occupational and Organizational Psychology. 77, 81 – 94.

Haar, Jarrod and Spell, Chester S. (2003). Where is the justice? Examining work-family backlash in New Zealand: The potential for employee resentment. New Zealand Journal of Industrial Relations. Vol. 28, 1, 59 – 74.

Hacket, Rick D. (2002). Understanding and Predicting Work Performance in the Canadian Military. Canadian Journal of Behavioural Science, 34:2, 131-140.

Hall, James L.; Posner, Barry Z.; Harder, Joseph W. (1989). Performance Appraisal Systems. Matching Practice with Theory. Group & Organization Studies. 14, 1, pp 51 -69

Hoffmann, Terrence (1999). The meanings of competency. Journal of European Industrial Training. Vol. 23 / 3; 275-285.

Ilgen, D. R. and Schneider, J. (1991). Performance measurement: A multi-discipline view. In C. L. Cooper & I. T. Robertson (Eds.), International review of industrial and organizational psychology (Vol. 6, pp.71-108). Chichester: Wiley.

Ilgen, D. R., Barnes-Farrel, J. L. and McKellin, D. B. (1993). Performance appraisal process research in the 1980s: What has it contributed to appraisals in use? Organizational Behavior and Human Decision Processes, 54, 321-368

Johnson, Jonathan L. and O'leary-Kelly, Anne M. (2003). The effects of psychological contract breach and organizational cynicism: Not all social exchange violations are created equal. Journal of Organizational Behavior. Vol. 24, No.5, 627 – 647.

Judge, Timothy A.; Thoresen, Carl J.; Bono, Joyce E.; Patton, Gregory K. (2001). The Job Satisfaction – Job Performance Relationship: A qualitative and Quantitative Review. Psychological Bulletin. Vol. 127, Iss. 3; pg. 376.

Keller, Robert T. (1997). Job Involvement and Organizational Commitment as Longitudinal Predictors of Job Performance: A Study of Scientists and Engineers. Journal of Applied Psychology. , Vol. 82, No. 4, 539 - 545

Lam, Simon S. K.; Yik, Michelle S. M. and Schaubroeck, John (2002). Responses to Formal Performance Appraisal Feedback: The Role of Negative Affectivity. Journal of Applied Psychology. Vol. 87, No. 1, 192 – 201.

Levy, Paul E. and Williams, Jane. R. (1998). The role of perceived system knowledge in predicting appraisal reactions, job satisfaction and organizational commitment. Journal of Organizational Behavior. Vol. 19, No. 1, 53 – 65.

Lok, Peter and Crawford, John (2004). The effect of organisational culture and leadership style on job satisfaction and organizational commitment: A cross-national comparasion. The Journal of Management Development. Vol. 23, 3/4, 321 – 338.

London, Manuel, Mone, Edward M. and Scott, John C. (2004). Performance Management and Assessment: Methods for improved rater accuracy and employee goal setting. Human Resource Management. Vol. 43, Nº. 4, pp. 319-336.

McNeese-Smith, Donna (1996). Increasing employee productivity, job satisfaction, and organizational commitment. Hospital & Health Services Administration. Vol. 41, No. 2, 160 – 175.

Meglino, Bruce M.; Ravlin, Elizabeth C. and Adkins, Cheryl L. (1989). A Work Values Approach to Corporate Culture: A Field Test of the Value Congruence Process and Its Relationship to Individual Outcomes. Journal of Applied Psychology. Vol. 74, No. 3, 424 - 432.

Motowidlo, S. J., & Van Scotter, J. R. (1994). Evidence that task performance should be distinguished from contextual performance. Journal of Applied Psychology, 79, 475-480.

Motowidlo, S. J.; Borman, W. C. and Schmit, M. J. (1997). A theory of individual differences in task and contextual performance. Human Performance, 10, pp. 71-83.

Murphy, K. R. and Cleveland, J.N. (1991). Performance Appraisal: An Organizational Perspective, Allyn & Bacon, Boston.

Murphy, Kevin R. and Jeanette N. Cleveland (1995). Understanding performance appraisal: social, organizational, and goal-based perspectives. Thousand Oaks, CA: Sage Publications.

Newton, T. and Findlay, P. (1996). Playing God? The performance appraisal. Human Resource Management Journal 6(3), pp. 42-58.

Poropat, A., (2000). An Examination Of The Relationship Between Contextual And Technical Performance In An Academic Setting, TLRP Annual Conference. http://www.tlrp.org/pub/acadpub/Poropat2000.pdf, (10 de febrero de 2004)

Rotundo, M. (2002) Defining and Mesuring Individual Level of Job Performance: A Review and Integration. Canadian Forces Leadership Institute. In http://www.cda-acd.forces.gc.ca/CFLI/engraph/research/pdf/06.pdf

Smith, Alan D.; Rupp, William T. (2003). Knowledge workers: exploring the link among performance rating, pay and motivational aspects. Journal of Knowledge Management. Vol. 7, N.º 1, pp 107-124.

Smith, Alan D.; Rupp, William T. (2004). Knowledge workers’ perceptions of performance ratings. Journal of Workplace Learning. Vol. 16, N.º 3, pp 146-166.

Ting, Yuan (1997). Determinants of job satisfaction of federal government employees. Public Personnel Management. Vol. 26, No. 3, 313 – 334.

Vancouver, Jeffrey B.; Millsap, Roger E. and Peters, Patricia A. (1994). Multilevel Analysis of Organizational Goal Congruence. Journal of Applied Psychology. Vol. 79, No. 5, 666-679.

Werner, J. M. (1994). Dimensions that make a difference: Examining the impact of in-role and extra-role behaviors on supervisory ratings. Journal of Applied Psychology, 79, 98-107.

Wiese, Danielle S. and Buckley, M. Ronald (1998). The evolution of the performance appraisal process. Journal of Management History. Vol. 4, pp. 223-249