Modelos e práticas de avaliação de recursos educativos digitais

Transcrição

1 Modelos e práticas de avaliação de recursos educativos digitais Ramos, J.L., Duarte,V.D., Carvalho, J.M., Ferreira, F.M. e Maio,V.M. Resumo Este texto resulta da reflexão realizada em torno da segunda fase do processo de concepção e implementação do Sistema de Avaliação, Certificação e Apoio à Utilização de Software para a Educação e Formação (SACAUSEF). Trata-se de um dos projectos em desenvolvimento no âmbito do Ministério da Educação, e que resulta de uma parceria com a Universidade de Évora. Na sua fase inicial o SACAUSEF centrou-se na avaliação e certificação de software educativo. O SACAUSEF atinge agora a fase de alargamento à avaliação e certificação de recursos digitais para a Internet (RED). É apresentada uma proposta de definição de recurso educativo digital, discutidas as possibilidades de organização dos recursos educativos digitais e descritos alguns dos modelos e práticas de avaliação existentes, procurando retirar ilações que sirvam o desenho do sistema de avaliação deste tipo de recursos a desenvolver em Portugal, no âmbito do SACAUSEF. 1. O que avaliar? A recente e generalizada disponibilidade de recursos educativos digitais na Internet encerra um grande potencial de transformação da educação (Recker, M. et. all., 2005). O alargamento do Sistema de Avaliação, Certificação e Apoio à Utilização de Software para a Educação e para a Formação a recursos educativos digitais disponíveis na Internet impõe, como primeira preocupação a avaliação da qualidade educativa destes recursos e do seu potencial para ajudar na mudança das práticas dos professores e das Escolas, no sentido da melhoria dos processos de ensino e aprendizagem. A justificação da existência de sistemas de avaliação com estes objectivos foi alvo já de análises anteriores (Ramos, et.al., 2004). Como reforço de posições anteriormente assumidas, socorremo-nos de Nesbit, et.al (2002) para identificar algumas das razões que sustentam o desenvolvimento de sistemas de avaliação de objectos ou recursos educativos digitais: a) Classificar e avaliar qualitativamente este tipo de materiais ajuda os indivíduos na pesquisa e selecção de materiais e recursos de qualidade; b) As avaliações podem fornecer informações e orientações sobre as melhores formas de usar os recursos e particularmente úteis para os professores e paras as Escolas; c) A qualidade dos materiais educativos pode aumentar através da avaliação, em especial nas etapas de design e desenvolvimento; d) As avaliações podem ajudar a melhorar as práticas de desenho e produção de materiais e recursos digitais; e) Participação nas actividades de avaliação pode contribuir para o desenvolvimento profissional dos que trabalham com recursos ou objectos de aprendizagem; 79

2 Cadernos SACAUSEF 2 f) As actividades de avaliação podem suportar comunidades de prática em relação aos recursos e materiais avaliados; g) Avaliações positivas podem promover o reconhecimento social de conceptores e programadores h) Um sistema de avaliação fiável pode ser uma etapa essencial tendo em vista o desenvolvimento de modelos economicamente viáveis. Considerando a enorme diversidade dos recursos digitais existentes, a definição e delimitação conceptual do objecto de avaliação em uso nesta fase do projecto SACAUSEF, é uma das prioridades do Projecto. De uma forma muito genérica, um recurso pode ser entendido como algo necessário à execução de uma tarefa, ou seja, um recurso pode ser qualquer pessoa, objecto (material ou imaterial) serviço, instrumento, artefacto, etc. Um recurso digital na Internet remete-nos não só para a eventual dimensão educativa mas também para a especificidade do suporte e ao mesmo tempo para uma multiplicidade de valências inerentes à Internet, enquanto: sistema capaz de processar quantidades gigantescas de informação e de dados da mais diversa natureza; meio ou dispositivo que permite a biliões de pessoas comunicarem e colaborarem; ambiente de aprendizagem; ambiente de criação de conteúdos e materiais de grande importância para as sociedades nos dias de hoje. Em todas estas dimensões da Internet é possível encontrar e mobilizar um vasto leque de recursos para desenvolver e atingir finalidades muito variadas. Entre estas interessam-nos em particular as finalidades educativas. Coloca-se assim a questão de determinar e identificar, o mais objectivamente possível, os recursos digitais disponíveis na Internet de natureza educativa. Por outras palavras, o que avaliar? Ou ainda, a que recursos nos referimos no âmbito do projecto SACAUSEF? Note-se que o sistema tem como uma das suas finalidades a certificação de materiais que, comprovadamente, têm reconhecido interesse para a educação e para a formação. Numa primeira aproximação ao conceito operatório de recurso educativo digital (RED) e resultado da reflexão levada a cabo, vários foram os aspectos discutidos no sentido de especificar e descrever o melhor possível o que verdadeiramente se entende por RED. Neste sentido, considera-se como essencial na consideração de um RED, a existência cumulativa de quatro atributos: O RED deve ter uma clara finalidade educativa; 1 O RED deve poder responder a necessidades do sistema educativo português (p.e., currículos da educação formal, informal e não-formal, formação profissional); O RED deve apresentar uma identidade autónoma relativamente a outros objectos e serviços de natureza digital; O RED deve satisfazer critérios pré-definidos de qualidade nas suas dimensões essenciais. 1 - Trata-se aqui de retomar o conceito já em uso na primeira fase do projecto: um recurso é educativo quando é pensado, desenhado e elaborado com uma finalidade educativa. 80

3 Modelos e práticas de avaliação de recursos educativos digitais Em síntese, no âmbito deste projecto, um recurso digital de interesse para a educação e formação é um objecto ou serviço a que se acede através da Internet, que contém intrinsecamente uma clara finalidade educativa, se enquadra nas necessidades do sistema educativo português, tem identidade e autonomia relativamente a outros objectos e satisfaz padrões de qualidade, de acordo com os critérios de avaliação definidos no âmbito do Projecto SACAUSEF. Apesar de constituir um importante e necessário ponto de partida para a definição dos recursos digitais a avaliar no âmbito do projecto SACAUSEF, é preciso notar que esta definição deixa de fora muitos recursos digitais com potencial valor educativo que não foram especificamente desenhados e elaborados com finalidade educativa. Tal deve ser objecto de contínua observação e reflexão da parte dos responsáveis do sistema, pois pode tornar-se evidente a necessidade de vir a contemplar os recursos não especificamente educativos, tal como definidos por Albert Ip (2000). 2. Tipos de recursos educativos digitais na Internet Um outro aspecto a considerar, do ponto de vista prático de qualquer modelo de avaliação é a necessidade de propor um sistema de classificação que facilite a identificação, a organização e a localização de recursos. Entre as múltiplas formas de organização dos recursos, referem-se dois modelos, a titulo meramente exemplificativo: a biblioteca de recursos educativos digitais da National Science Foundation (DLSE) 2 e o MERLOT 3 (Multimedia Educational Resource for Learning and Online Teaching). A biblioteca da NSF constitui um centro de recursos disponível para a comunidade (professores, estudantes, investigadores e famílias) que disponibiliza uma apreciável quantidade de recursos organizados por diferentes categorias: nível de educação, tipo de recurso, colecções e referências curriculares. Neste modelo, os recursos são avaliados pelos próprios serviços e por professores dispondo de um kit a ser usado na avaliação de um determinado recurso. Uma outra forma de organização é a usada pelo MERLOT. Trata-se de um sistema de avaliação e disseminação de materiais de aprendizagem destinado essencialmente a estudantes universitários e que pode ser utilizado gratuitamente. Este sistema de assenta no modelo de avaliação por pares ( peer review ) muito comum no quadro da investigação e edição académica e os critérios de avaliação de qualidade estão agrupados em três grandes dimensões: qualidade do conteúdo, facilidade de uso e potencialidades como ferramenta de ensino-aprendizagem. No caso do MERLOT, esta última dimensão de qualidade dispõe de um alerta para os/as avaliadores/as assinalando que neste domínio o processo de avaliação deverá incluir o uso efectivo dos materiais de aprendizagem por estudantes. Avaliar as potencialidades educativas é fazer um juízo, que deve ser baseado no conhecimento e na prática do/a professor/a, considerando o contexto e a forma como os estudantes usaram determinado recurso

4 Cadernos SACAUSEF 2 Estas são apenas algumas das possibilidades de organizar os produtos no âmbito de um serviço de avaliação de recursos digitais. Os critérios de organização e categorização dos recursos poderão seguir um ou qualquer outro padrão, mas a sua existência em sistemas de avaliação e informação baseados na Internet é imprescindível, pois para além de facilitar a identificação dos recursos por parte dos professores e dos estudantes, facilita a sua localização, ao associar a esta tipologia a mecanismos de navegação e/ou pesquisa de recursos. Numa perspectiva educativa e de formação, e considerando os destinatários dos serviços a implementar no SACAUSEF, consideramos que os recursos devem estar organizados a partir do seu enquadramento curricular ou formativo. Ou seja, um determinado recurso deverá ser classificado e catalogado tendo como referência, entre outros critérios, o nível de escolaridade/formação ou de formação profissional, áreas curriculares e disciplina (s). Esta opção tem a ver com a finalidade do próprio SACAUSEF e do seu potencial públicoalvo e que não é de mais recordar: proporcionar à comunidade educativa em geral e aos professores em particular a informação pedagógica essencial sobre o software e sobre os recursos educativos digitais existentes na Internet. Procura-se assim assegurar que a informação existente sobre os produtos e materiais não se limite à perspectiva do criador/produtor ou vendedor mas contemple também aspectos que são verdadeiramente importantes para a Escola, para os professores e para os estudantes. Só uma avaliação sistemática e realizada em contexto permitirá conhecer em que medida é que este ou aquele software ou recurso pode ser adequado ou apropriado para uso no âmbito do currículo, da Escola e da aprendizagem. Ou seja, é preciso assegurar algo mais do que a informação que está na caixa de software ou no título do recurso na página da Internet. Esta informação sendo importante, é, hoje em dia, claramente insuficiente. 3. Modelos e práticas de avaliação de recursos digitais O desenvolvimento projecto SACAUSEF, no sentido da inclusão de recursos educativos digitais levanta um conjunto de questões a que importa dar resposta. Como é que este desiderato é alcançado em outros países e sistemas é um aspecto que merece também alguma atenção. Através de uma análise a outros serviços da mesma natureza e disponíveis em diferentes países, procuramos descrever resumidamente alguns desses sistemas de avaliação de recursos educativos digitais, de modo a ter uma visão um pouco mais alargada de modelos e práticas neste domínio. Trataremos de descrever os casos de França, Inglaterra e Itália. O caso francês Trata-se de um sistema de avaliação de produtos multimédia apoiado pelo Ministério da Educação nacional e que tem como objectivos: orientar os professores e as escolas no mundo do multimédia, permitir identificar os produtos que respondem às necessidades do Sistema Educativo e apoiar projectos de desenvolvimento de software educativo e de recursos digitais para a Internet. Pretende ainda apoiar a utilização de recursos audiovisuais livres de direitos de utilização (TV, Vídeos, CDROM, etc.) por parte das Escolas e da Comunidade Educativa. Este sistema de avaliação assenta na assumpção de parcerias entre o Estado, o sector público 82

5 Modelos e práticas de avaliação de recursos educativos digitais e o sector privado. O primeiro, enquanto mediador entre a oferta e a procura de produtos, assegurando a existência de critérios de qualidade bem como as necessidades e prioridades do sistema educativo. Os sectores público (entendido aqui enquanto Escolas, Centros de Formação, Universidades, etc.) e privado (Empresas, Escolas, Associações) são, ao mesmo tempo, os produtores e consumidores destes produtos. O sistema de avaliação oferece a possibilidade de obtenção de uma marca de qualidade, a marca RIP (reconnu de interet pedagogique) que é atribuída mediante a apresentação do produto a um Comissão de Avaliação Multimédia e o reconhecimento da sua qualidade educativa. Esta é constituída por representantes dos diferentes sectores em presença, desde as instituições públicas às empresas e grupo editoriais da indústria de conteúdos. Os produtos apresentados são, na sua maioria, em suporte CD-ROM, DVD, Vídeos e em quase todos está incluída documentação pedagógica de acompanhamento das intervenções educativas. A Comissão de Avaliação Multimédia atribui regulamente a marca RIP, através da afixação de lista de produtos a que foi atribuída a marca e que, por isso, foram considerados de qualidade por professores avaliadores, especialistas de conteúdo. A divulgação dos produtos e recursos educativos digitais pode ser encontrada numa grande variedade de locais virtuais 5 que assentam quer nos serviços e redes públicas quer nos locais virtuais da entidades privadas. Este modelo de avaliação é assente, a montante, numa politica educativa para este sector que apoia a produção, quer do sector privado quer do sector público, através do apoio a projectos de concepção e desenvolvimento de software educativo. Por outro lado e a jusante do sistema de avaliação, o estado francês presta apoio às Escolas através de dotações que suportam o acesso dos professores e dos estudantes aos recursos, em grande parte, assegurando as subscrições dos serviços e recursos em linha disponíveis. Este dispositivo de acesso aos recursos é realizado através do datapasse educacion que está disponível para estabelecimentos de ensino e colectividades e funciona para todos os recursos disponíveis e subscritos pela Escola, para os seus professores e alunos. O sistema de avaliação francês procura com este dispositivo a assegurar qualidade dos recursos que entram na Escola e que também correspondam aos interesse do Sistema Educativo, através da Marca RIP, e ao mesmo tempo, estimular e fortalecer a indústria de conteúdos (já muito forte e consolidada ao longos de décadas) através da produção e distribuição de produtos didácticos digitais de qualidade. O sistema de avaliação assegura a sua validade através de estudos e avaliações externas, racionalizando o processo de tomada de decisões: estudos sobre o impacto da marca RIP, questionários, acordos, etc. O Estado, ao mesmo tempo que tem um papel de estimulador da actividade económica e produtiva, tem também um papel facilitador no acesso e distribuição destes recursos e pode, embora de forma indirecta e através da atribuição da marca RIP, definir prioridades nacionais no que diz respeito ao uso pelas escolas dos recursos educativos digitais, utilizando, de forma benéfica para a sociedade, as parcerias entre o sector público e privado. 5 - Ligações consultadas e de interesse para o caso francês (último acesso: 27 de Maio de 2006, 11.00, am)

6 Cadernos SACAUSEF 2 O caso italiano Trata-se de um sistema de avaliação de software educativo e de recursos digitais para a web, da responsabilidade do INDIRE, l'instituto Nazionale di Documentazione per l'innovazione e Ricerca Educativa 6 e tem como finalidade, anunciada no local virtual do projecto 7, a promoção da qualidade didáctica dos recursos multimédia. Os editores podem submeter os seus produtos para apreciação em ordem a obter um selo de qualidade. O software didáctico e os recursos digitais são examinados de forma independente e cruzada por dois experts e, pelo menos, duas escolas. O local virtual disponibiliza os resultados da avaliação de cada produto 8, quer a avaliação de dois especialistas, quer a avaliação realizada na Escola. As escolas podem manifestar o seu interesse na avaliação dos produtos. Ao terminar este processo o produto multimédia avaliado fica na Escola. Para além das escolas e professores que realizam a avaliação dos produtos, contribuições adicionais são solicitadas por parte de outras escolas e professores que tenham utilizado o produto, no referido local. No local virtual, os produtos podem ser encontrados por área temática, idade dos alunos, titulo, editora, por resultado de avaliação dos experts, tipo de licença e pesquisa livre, aparecendo em destaque os últimos títulos avaliados. Os critérios de avaliação estão publicados no local virtual bem como os respectivos instrumentos de avaliação desenvolvidos pelas Universidades de Bolonha e Florença, por um grupo de experts. O local virtual dispõe ainda de informação bibliográfica adicional sobre o tema. Aos editores e produtores independentes é autorizada a utilização do selo de qualidade para o software ou recurso digital que tenha sido valorizado positivamente. O software ou o recurso digital pode ser encontrado em cerca de 60 Centros, apenas para consulta e uso no Centro por parte dos estudantes e professores e em 13 Centros para consulta e venda dos produtos. Estes Centros estão distribuídos por todas as províncias do país. 9 Tal como em França, o papel do Estado é essencialmente de um facilitador e mediador de interesses quer dos consumidores quer dos produtores, assegurando a uns o acesso aos produtos, através da rede de bibliotecas e centros de documentação, e assegurando a outros, o mercado a que legitimamente aspiram. 6 - Nasce da transformação da antiga BDP (Biblioteca di Documentazione Pedagogica) A 27 de Maio de 2006 o portal continha 300 avaliações disponíveis relativas a produtos avaliados e certificados. 9 - Última consulta a 28 de Maio de

7 Modelos e práticas de avaliação de recursos educativos digitais O caso Inglês Em Inglaterra podem ser encontrados diversos sistemas de avaliação resultado de diferentes perspectivas, modelos e práticas de avaliação dos recursos educativos digitais. Diversas entidades e organizações suportam informação educativa e serviços destinados aos professores e aos estudantes e às famílias 10. O resultado é a existência de diversos locais virtuais onde pode ser encontrada informação resultante de revisão de produtos e recursos digitais bem como campanhas de sensibilização, programas e outras iniciativas dedicadas à questão da qualidade educativa de produtos e serviços, e outras temáticas, como por exemplo, a segurança na Internet, copyright, informação e recursos para necessidade educativas especiais, etc. Destacamos neste texto uma das principais entidades que se dedica à avaliação de software educativo e de recursos educativos digitais na web: TEEM (Teachers Evaluating Educational Multimédia). Esta entidade dispõe de um sistema de avaliação baseado na apresentação de produtos online por parte dos produtores e das empresas. A avaliação dos produtos implica uma avaliação descritiva e em contexto de sala de aula. Os resultados e as informações de avaliação são publicados nos guias e catálogos em suporte papel e ficam também disponíveis no Portal, incluindo informação sobre as editoras. Este dispositivo de avaliação não concede certificação dos produtos. A avaliação, realizada a partir da utilização de instrumentos de avaliação especificamente desenhados para o efeito, por professores com experiência na avaliação de produtos, é publicada no local virtual. Para além da avaliação de produtos multimédia e recursos digitais para a web, esta entidade participa e organiza exposições anuais sobre os serviços que oferece incluindo software educativo, recursos educativos digitais e informação sobre hardware. A organização suporta igualmente a realização de investigações sobre o uso educativo destes produtos multimédia. No caso inglês o papel do Estado centra-se essencialmente no apoio a entidades e organizações que realizam a avaliação dos produtos e disseminam os resultados obtidos através de diversos meios de comunicação. Uma aposta forte na informação sobre a qualidade dos produtos, um apoio directo às escolas para a aquisição de produtos de qualidade através de um sistema de créditos (elc ou elearning Credits) permite às escolas escolherem os recursos que desejam adquirir ou subscreverem os que consideram ser apropriados às suas necessidades, assegura a qualidade dos recursos educativos digitais e a liberdade de escolha individual e institucional e permite estimular a produção e distribuição de produtos didácticos de qualidade (British Educational Communications and Technology Agency) (PIN - Parents Information Network) (Teachers' Evaluating Educational Multimedia) 85

8 Cadernos SACAUSEF 2 4. Notas finais A aposta na produção e distribuição de recursos digitais tem como questão prévia a generalização do acesso à Internet e a criação de condições de aquisição e utilização deste tipo de recursos. Sem uma aposta clara nestas condições dificilmente se poderá investir no âmbito da produção de recursos em suporte digital. É nossa convicção que os sistemas de avaliação e certificação de recursos didácticos podem proporcionar benefícios importantes à comunidade em geral e à comunidade educativa em particular. Estes benefícios explicarão, em grande parte, a existência deste tipo de sistemas em vários países do mundo. Uns de iniciativa pública, outros de iniciativa privada mas todos com a mesma preocupação: assegurar tanto quanto possível a qualidade dos recursos digitais disponíveis na Internet que podem ser usados pelos estudantes, pelos professores, pela Escola e pelas famílias. Uma das principais finalidades do Sistema de Avaliação, Certificação e Apoio à Utilização de Software para a Educação e Formação é contribuir para a presença de uma perspectiva educativa neste domínio. Sabemos que muitas das práticas existentes neste domínio se orientam fundamentalmente para a divulgação dos produtos, muitas vezes sob a forma de publicidade tout court, donde a informação obtida resulta quase sempre apenas de um ponto de vista: o do produtor, vendedor, ou outro agente, mais ou menos conhecido. Em alguns destes serviços, as avaliações (revisões) são resumidas a um ranking dos produtos (com estrelas, pontuações, etc.) e apenas alguns admitem participação dos utilizadores, embora também tal seja de valor muito relativo. Mesmo considerando que o fornecimento de informação constitui por si uma mais valia relativamente aos aspectos mencionados, é preciso reforçar que, no caso do SACAUSEF, se pretende disponibilizar informação e recursos que possam contribuir para uma mudança de paradigma da aprendizagem e não apenas construir um catálogo de produtos. Importa que os processos de avaliação e as dinâmicas associadas possam ajudar os professores e a comunidade a dar passos no sentido da construção de abordagens mais consistentes e inovadoras que promovam a efectiva integração curricular deste tipo de recursos e conduzam à reflexão sobre os contextos, os estilos de aprendizagem e as competências a desenvolver. A existência de um sistema como o que se propõe no âmbito do SACAUSEF permitirá introduzir a avaliação sistemática dos produtos e recursos digitais a partir de critérios que atendem aos aspectos educativos, produzindo assim uma informação acerca do produto mais ajustada às necessidades e perspectivas dos agentes educativos ou de formação. Tal implica que cada recurso seja avaliado não só de uma forma descritiva e compreensiva mas também em contexto, na escola e na sala de aula e/ou no centro de formação. É através da concertação das duas fases de avaliação que o ciclo se cumpre e a avaliação ganha verdadeiramente significado. Entendemos que, deste modo, será possível construir uma base de conhecimento pedagógico acerca da forma como cada recurso pode ser utilizado em contexto curricular, educativo e/ou formativo. Essa base de conhecimento pedagógico pode e deve ser enriquecida a partir de outras actividades desenvolvidas e propostas por outros professores e estudantes e que queiram partilhar as aprendizagens em comunidade, no local virtual do projecto SACAUSEF. Importa também sublinhar que o funcionamento pleno de um tal sistema de avaliação requer a definição clara de procedimentos, a construção de instrumentos, a definição de critérios, a formação de avaliadores/as e a participação de especialistas e consultores mas carece também de um suporte tecnológico ágil e robusto. 86

9 Modelos e práticas de avaliação de recursos educativos digitais Este projecto poderá abrir perspectivas de realização de estudos e investigações uma vez que temos muito pouco conhecimento sobre um conjunto alargado de questões relacionadas com o uso de recursos educativos digitais. Tais estudos devem ser realizados no sentido de conhecer melhor os processos e preferências de pesquisa de materiais e recursos por parte dos professores e das famílias, o tipo e o modo de uso que fazem dos recursos uma vez encontrados na Internet, quer seja na escola, em casa, ou noutro contexto, entre muitas outras questões que ressaltam de um sistema desta natureza. Referências bibliográficas Ip. A., Morrison, I., Currie, M., Mason, J. (2000). Managing Online Resources for Teaching and Learning. Available: Último acesso 27 de Maio de Nesbit, J., Belfer, K., Vargo, J. (2002). A Convergent Participation Model for Evaluation of Learning Objects. Canadian Journal of Learning and Technology. Ralph Cafolla, R. (2002) Project Merlot: Bringing Peer Review to Web-based Educational Resources. Available: Ramos, J.L. et.al.(2004) Sistema de Avaliação, Certificação, e Apoio à Utilização de Software para a Educação e Formação. Cadernos SACAUSEF nº1, Junho. Ministério da Educação. Recker, M. M., Dorward, J., & Nelson, L.M. (2004). Discovery and Use of Online Learning Resources: Case Study Findings. Educational Technology & Society, 7 (2), Recker,M., Dorward, J., Dawson, D., Mao, Xin, Ye Liu, Palmer, B, Halioris, S. & Park, J. (2005) Teaching, Designing, and Sharing: A Context for Learning Objects. Interdisciplinary Journal of Knowledge and Learning Objects. Volume 1, 28(3). ELAR Guidelines (2005) Guidelines, Review Process, and Criteria for the Review and Inclusion of Electronic. Learning Assessment Resources in the CLRN.Online Database. Available: Schroc, K. (1999) Teaching Media Literacy in the Age of the Internet. The ABC of web site evaluation. CLASSROOM CONNECT. December 1998/January