Método. Versión 1. La fase de investigación.
Primera versión del diseño del proceso de escritura creativa con asistencia de la IA. En este caso empleando el making off del post de deuda cognitiva.
En esta ocasión, e influenciado por el tema del post sobre la deuda cognitiva y el uso de la IA, he decidido poner el foco en crear una primera versión de un proceso completo de escritura creativa asistida por la IA. Voy a usar este Making Off para presentar esta primera versión con algunos comentarios sobre los resultados obtenidos en esta primera ocasión y las líneas de trabajo para evolucionarlo que he identificado.
Consideraciones previas.
Como puede verse en la gráfica he imaginado el proceso creativo como un proceso que ocurre en cuatro planos diferenciados con líneas horizontales en el dibujo. Estos distintos planos son:
Plano 1: Sólo Cerebro: Son actividades del proceso que debo hacer yo sólo con mi cerebro, sin asistencia de la IA.
Plano 2: Solo LLM 1: en este plano voy a describir las tareas que le encargo a la IA para preparar documentos sencillo, ordenar prompts, o evaluar y resumir textos. Son tarea automatizables, orientadas a revisar los textos y los prompts y a ayudarme a mantenerlos ordenados y estructurados.
Plano 3: Interacción Cerebro - LLM: son tareas que hago de forma interactiva con la ayuda de la IA. Revisar textos y pedir cambios, enriquecer datos de contexto, planes de investigación, y otras partes del proceso que permiten obtener todo el modelo documental que voy necesitando.
Plano 4: Solo LLM 2: estas son tareas de investigación profunda que le solicito a la IA.
Con este modelo por capas, el proceso se diseña como un conjunto de tareas específicas que transita entre los varios niveles de colaboración definidos con la IA.
En esta primera versión del método que he esbozado, me he centrado más en construir un modelo de un proceso, que en fijarme en la calidad de los prompts y en tener completamente cubiertos todos los aspectos individuales de cada tarea. Volveré sobre cada una de estas tareas más adelante, y comentaré los avances y las evoluciones de los prompts del proceso.
Resultados y productos
Para este versión me he fijado también el objetivo de identificar qué artefactos del proceso deben ser valiosos, y me he centrado en dos:
El POST: el objetivo es que el post escrito por el asistente sea de calidad, y que el que yo escriba de forma manual sea aún mejor (medido con un criterio estandarizado).
El INFORME DE INVESTIGACIÓN: Un resultado que espero que - al menos en esta fase del proyecto - sea claramente de valor, es el informe de investigación previo a la escritura del post.
En este caso me he enfocado principalmente en el segundo de los puntos. En obtener un informe resumen de investigación de calidad y que pueda incluso resultarme útil en el futuro (si ocurre eso ya será valioso). Aquí os dejo los resultados obtenidos para el post sobre la deuda cognitiva.
Mi evaluación personal es la siguiente:
El informe de research que he obtenido es valioso, pero contiene varias repeticiones y resulta algo pesado. Tiene un problema importante con las referencias, que ya es bastante conocido. El producto en cualquier caso es valioso.
El post creado por la IA es realmente malo según mi criterio. Repite párrafos enteros y parece cubrir todos los temas explorados en la fase de research pero apenas resalta opiniones mías que he trabajado en el contexto antes de pedir la redacción.
El post creado por mí, es satisfactorio. De no ser así no estaría escribiendo esto. Pero el mecanismo de valoración del POST no le da una nota muy diferente al generado por la IA que, como os digo, es muy malo y jamás saldría publicado y firmado por mí tal y como está.
La mejora de estos aspectos, como de otros que comentaré ahora más abajo, pasa por una buena ingeniería de prompts y una buena ingeniería de contexto. Ambas cosas no han sido la prioridad para esta primera versión, y evolucionaré el modelo empezando por ese aspecto como tema prioritario.
Los pasos del proceso.
A continuación voy a presentar, de forma superficial por ahora, todos los bloques del proceso.
Contexto del post y motivación del plan de research
A partir de unas referencias iniciales - unos artículos que he leído - y tomando notas sobre mis ideas iniciales y sobre las conclusiones que me gustaría sacar en el post, creo un conjunto de información denominado POST_CONTEXT_Título del Post..
Motivación de la investigación inicial
Con las referencias iniciales, revisadas y comentadas por mí la IA me prepara una propuesta de plan de investigación sobre los temas que pueden ser de interés para la cuestión planteada en las referencias iniciales, desde diversas perspectivas. El resultado de esta tarea - POST_RESEARCH_MOTIVATION_Titulo_post - incluye un resumen estructurado de todas las referencias iniciales.
Plan para la investigación inicial
En un proceso de revisión interactiva de la motivación preparada por la IA, los resúmenes de los artículos iniciales, vamos construyendo un plan de investigación profunda sobre el tema. Esto lo hago con un prompt denominado POST_PROMPT_RESEARCH_PLAN_Titulo_post, y el resultado que obtengo es una primera versión del informe de investigación sobre el tema. Este artefacto se llama POST_PROMPT_RESEARCH_REPORT_INITIAL_Titulo_post.
Evaluación y revisión del informe de investigación
Después de obtener la primera versión del informe de investigación, la IA me ayuda a construir 2 subproductos relacionados.
Una descripción completa del ecosistema de opinión en torno a la temática del post. Lo obtengo con el prompt SBSTK_RESEARCH_ECOSYSTEM_EXPLORER com el pido al asistente que me identifique las diferentes corrientes de pensamiento, los principales puntos de vista y debates, y me identifique los autores y escuelas más relevantes.
Una evaluación de la calidad del informe de research, que justifique que la cobertura del espectro de opiniones y escuelas relacionadas con la temática están debidamente representadas, y que me indique si existen algunas líneas o escuelas de pensamiento que no han sido incluidas en el informe. Esto lo ejecuto con un prompt independiente llamado SBSTK_RESEARCH_EVALUATOR.
Como habréis visto, en la preparación del plan de research yo no incluyo ningún elemento que sesgue la investigación o la contamine con los prejuicios e hipótesis con los que inicio el trabajo de investigar y escribir. El contexto del post no se ha usado en ningún momento del proceso de investigación, hasta este momento.
En este punto dispongo de un informe de research preliminar que se llama POST_RESEARCH_REPORT_INITIAL_Título_Post, y dos productos más
RESEARCH_EVALUATION_REPORT_Título_Post
POST_RESEARCH_ECOSYSTEM_EXPLORATION_Titulo_Post
Evaluación del contexto y de mi modelo mental
En este punto le pido a la IA que haga una investigación profunda para comparar o validar mis puntos de partida sobre el tema contenidas en el contexto del post, con el informe de investigación y que me indique si lo que voy a decir son chorradas o están validadas puede estar soportadas por alguna investigación revisada en el informe. Entre otras cosas recibo como respuesta una tabla como esta:
La idea es evolucionar esta capacidad hacia un fact checker de mis propias opiniones, así que trataré de evolucionar esta componente en este sentido.
Revisión y mejora del informe de investigación.
El último paso previo a la obtención del informe de investigación definitivo es su revisión y mejora basada en mi lectura detenida del informe. De hecho el mecanismo que he empleado para esta revisión, se basa en anotar directamente en el texto tareas de profundización y extensión del plan de investigación:
El plan de refinamiento ejecutado y, mediante un proceso - todavía tedioso - de limpieza y edición manual de los documentos, puedo construir un informe completo de research sobre la deuda cognitiva que me sirve como un punto de entrada fiable a la temática sobre la que quiero escribir.