Quase qualquer ferramenta de catalogação com IA parece boa numa demonstração. Ela pega num documento e em segundos devolve um registo completo, com os campos preenchidos e bem formados. Mas essa primeira impressão não responde à pergunta decisiva para uma instituição com acervo: esse registo é fiável dentro do seu catálogo, onde um dado errado fica invisível e permanente? As perguntas seguintes são as que o determinam, e servem para avaliar qualquer ferramenta, a nossa inclusive.
De onde vem cada dado? Um modelo de IA faz algo mais do que ler o documento: completa campos que o documento não trazia, a partir do que já sabe. Isso é útil e ao mesmo tempo arriscado, porque um dado que parece correto pode ser falso. Pergunte se a ferramenta distingue o que verificou do que deduziu, e se o deixa marcado. Numa boa resposta, os nomes e os assuntos que foram validados contra uma fonte saem com essa fonte anotada no registo, e o que vem apenas do modelo fica sem essa marca, para que saiba o que convém rever.
Contra quais autoridades verifica, e funcionam com os seus sistemas? O controlo de autoridades é o que evita que um mesmo autor entre no catálogo com três grafias distintas e acabe como três pessoas. Pergunte contra quais fontes ela confronta os nomes e os assuntos, desde vocabulários universais até ao seu próprio catálogo de autoridade. E se o seu material não pode sair da instituição, pergunte se essa verificação também funciona sem ligação ao exterior, contra os seus sistemas.
Calcula o que tem regra, ou adivinha? Alguns campos têm uma resposta correta, não uma estimativa: o número de classificação, certos subcampos, o nível de descrição arquivística. Pergunte se a ferramenta os calcula seguindo a regra ou se os pede ao modelo. Quando existe uma regra pública, aproximar não basta.
O registo está correto na norma, não só na forma? Uma norma como MARC21, ISAD-G ou CDWA não é apenas uma estrutura de campos: traz regras sobre proveniência, hierarquia, repetição de campos e vocabulário. Peça um registo real na sua norma e reveja-o contra a norma, não contra a sua aparência. Um registo pode ter a forma correta de MARC e ainda assim estar errado.
Avalia e marca cada registo? Em escala, ninguém revê registo por registo. Pergunte se a ferramenta pontua cada um e marca os que não atingem um mínimo, para que a revisão se concentre no que foi assinalado. Sem isso, recebe um lote inteiro sem saber quais olhar.
Ajusta-se ao seu acervo, ou é tamanho único? O mesmo documento, sob a mesma norma, é catalogado de forma diferente em cada instituição, conforme o seu quadro de classificação, as suas autoridades e o idioma em que descreve. Peça para a ver configurada para o seu esquema, não uma demonstração genérica. Se não se puder ajustar ao seu acervo, dificilmente será correta para o seu.
Se o seu material não pode sair, processa na sua infraestrutura? Alguns acervos não podem sair da instituição: processos sensíveis ou regulados, e também, numa biblioteca, as teses com propriedade intelectual restrita. Para esses casos, pergunte se a ferramenta corre nos seus próprios servidores, inclusive numa rede isolada da internet, e que informação sai em cada modo de operação: se tudo é processado localmente, ou se algo é enviado para fora já anonimizado.
Diz onde falha? Um fornecedor que promete nunca errar está a esconder o risco, não a eliminá-lo. A resposta séria explica como deteta e marca os seus erros: do que depende a qualidade do resultado, sobretudo da qualidade do material de partida, em que casos tem pior desempenho e como o avisa. Que uma ferramenta reconheça os seus limites diz mais sobre a sua fiabilidade do que qualquer número.
Se está a avaliar ferramentas de catalogação com IA e quer contrastar estas perguntas com o seu acervo e a sua norma, escreva-nos para info@janium.com e dizemos onde o Collect se encaixa e onde não.