Grandes modelos de linguagem como advogados fiscais: este artigo sobre IA explora as capacidades do LLM na aplicação da legislação tributária

Feb 05, 2024

Avanços na IA estão sendo feitos. Grandes Modelos de Linguagem (LLMs) são onde os rápidos avanços estão acontecendo. LLMs modernos podem usar ferramentas, planejar e passar em avaliações padronizadas. Mas mesmo para seus criadores, os LLMs são simplesmente caixas misteriosas. Eles não sabem muito sobre como pensam por dentro e não podem prever como um LLM agiria em uma nova situação. Antes de os modelos serem usados ​​fora do ambiente de pesquisa, é uma prática recomendada avaliar o desempenho do LLM em uma longa lista de benchmarks. No entanto, estes benchmarks frequentemente precisam de reflectir actividades do mundo real que são importantes para nós ou que podem ter sido memorizadas pelo LLM durante a formação. Os dados necessários para avaliação de desempenho são comumente incluídos nos conjuntos de dados usados ​​para treinamento de LLMs, que são frequentemente baixados da Internet.

A sobreposição pode superestimar o desempenho do modelo, criando a impressão de compreensão quando pode ser apenas um simples reconhecimento. Eles concentram especialmente os seus esforços de avaliação nas competências analíticas jurídicas dos LLMs por três razões. Primeiro, determinar até que ponto os LLMs compreendem a lei pode ajudar na regulamentação mais geral dos LLMs e dos sistemas automatizados. Uma estratégia relevante para as políticas é utilizar o raciocínio jurídico e regulamentar nos LLMs para uma “IA informada pela lei” que se alinhe com os ideais sociais estabelecidos através de procedimentos democráticos e da legislação. Esta estratégia “A lei informa o código” baseia-se na capacidade demonstrada pelo processo democrático de produzir normas jurídicas flexíveis, como obrigações fiduciárias, através de deliberação iterativa e litígio. A ideia é que ensinar aos sistemas de IA o espírito da lei pode ajudá-los a tomar decisões defensáveis ​​em situações desconhecidas. Quando um sistema alimentado por LLM apoia um princípio humano, esta capacidade precoce de detectar quando as responsabilidades fiduciárias são quebradas pode permitir implementações de IA mais seguras. Em segundo lugar, seja através do autoatendimento ou de um advogado qualificado, os LLMs podem ser utilizados como instrumentos pelas pessoas para prestar serviços jurídicos de forma mais rápida e eficaz. Os modelos podem ser mais confiáveis ​​e valiosos se compreenderem melhor a lei. Os LLMs podem ajudar em diversas atividades, desde a previsão de casos até à análise de contratos, democratizando assim o acesso à assistência jurídica e reduzindo o custo e a complexidade para indivíduos que, de outra forma, poderiam ter dificuldade em compreender o sistema jurídico.

Dada a natureza delicada do trabalho jurídico, certas proteções devem ser implementadas à medida que estes modelos são implementados. Isto implica melhorar a privacidade dos dados, reduzir preconceitos, defender a responsabilidade pelas escolhas destes modelos e avaliar a aplicabilidade dos LLMs para um caso de utilização específico. Assim, avaliações sistemáticas são necessárias. Terceiro, se os LLMs tiverem conhecimento jurídico suficiente, poderão ser utilizados pelo governo, pelo povo e pelos académicos para detectar contradições jurídicas. Os LLMs podem melhorar a eficácia global e a abertura dos governos. Por exemplo, os LLMs frequentemente podem explicar regras e regulamentos complicados de uma forma clara e inteligível.

No futuro, os LLMs podem prever os prováveis ​​efeitos de novas leis ou políticas. Os LLMs podem identificar legislação possivelmente “desactualizada” ou situações em que a lei é omissa quando, noutros casos comparáveis, o legislador ou os reguladores fornecem orientação através da análise de enormes quantidades de linguagem jurídica e das implementações que os acompanham. Nesta pesquisa, pesquisadores da Universidade de Stanford, Universidade de Michigan, Universidade de Washington, Universidade do Sul da Califórnia, Northwestern Pritzker School of Law e SimPPL investigam a criação de LLMs com recuperação aumentada usando o texto do Código dos EUA (uma coleção de legislação federal ) e o Código de Regulamentações Federais dos EUA (CFR). Eles avaliam a compreensão em desenvolvimento do direito tributário de um grupo de LLMs. Eles decidiram sobre a legislação tributária por quatro fatores.

A autoridade legal em direito tributário está contida principalmente em duas fontes: os Regulamentos do Tesouro sob o CFR e o Título 26 do Código dos EUA (comumente conhecido como Código da Receita Federal). Isto contrasta várias áreas jurídicas onde as doutrinas são destiladas de múltiplos precedentes. Isto permite-nos complementar a recuperação do LLM utilizando um universo predefinido de documentos possivelmente pertinentes. Em segundo lugar, muitas leis fiscais permitem respostas conclusivas às perguntas. Isso nos permite criar fluxos de trabalho de validação automática consistentes. Terceiro, abordar questões de direito tributário para um caso específico normalmente requer mais do que apenas ler a autoridade legal pertinente; portanto, eles podem avaliar as competências do LLM de uma forma que se aplique à prática do mundo real.